Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет dolboeb ([info]dolboeb)
@ 2004-09-03 15:57:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Лента.Ру
Лично мне Ленту сейчас чаще не видно, чем видно.
Сужу о ее самочувствии по счетчикам Рамблера и Мэйла.
Счетчики фиксируют более 55.000 успешных обращений в час, против среднеавгустовского значения в 10.000.
То есть предел нагрузки оказался на уровне в 5,5 раз превышающем норму.
Запишем, учтем на будущее.
Придется, видимо, докупать железяки, разносить зеркала и переписывать софтину, не дожидаясь продолжения.

(Добавить комментарий)


[info]agaspher@lj
2004-09-03 01:59 (ссылка)
Если не секрет, что собой представляет сейчас Лента в плане hardware?

(Ответить) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:19 (ссылка)
Это к Мошкову, я не слежу.

(Ответить) (Уровень выше)


[info]vovka@lj
2004-09-03 02:01 (ссылка)
около 14 часов висела лента. газета и rbc минут 10 не мог пробится
такого я еще не помню...

(Ответить) (Ветвь дискуссии)


[info]ex_ex_annut@lj
2004-09-03 02:02 (ссылка)
а зачем софтину переписывать? нельзя решить проблему на более низком уровне?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:05 (ссылка)
Софтину переписывать на предмет децентрализации и разноса ресурсов.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ex_annut@lj
2004-09-03 02:10 (ссылка)
Может пригодиться Вам
Вы Волкова знаете? Он года четыре назад работал в рамблере, а может яндексе
Сделал достаточно интересную работу (написал софт, который реально работал и Рамблер на нем стоял ) и в том числе диссер защитил в ВЦ РАН

У них была примерна таже работа - как справляться с большой нагрузкой
При этом все запросы проходили через базу данных (электронные магазины) оракл
Что-то около до 100 запросо в секунду
проблема была как распареллить при известных стохастических ограничения на нагрузку (вероятность что увелится во столько то раз не больше чем столько то) и при этом при минимальной стоимости
Вроде в его компании они решили проблему и много с экономили по сравнению с простым решением (купить x новых серверов)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]gong@lj
2004-09-03 02:43 (ссылка)
Я думаю, что никто лучше юзера avva с задачей не справился бы.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ex_annut@lj
2004-09-03 02:47 (ссылка)
amazon не оказывает услуг по программированию и не продает софта
Услуги Аввы лично, если он окажет такие (боюсь времени нет у него) будут стоить дороже чем человека из рамблера
Я знаю людей которые сделали очень хорошую работу вXerox
Параллельно около 500 серверов
Это вам не amazon
ага
аналогично про IBM -toronto
:)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]gong@lj
2004-09-03 03:20 (ссылка)
Барышня, я тоже знаю массу людей, и со Скоттом МакНилли знаком всего через одного человека.

И что теперь?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ex_annut@lj
2004-09-03 03:24 (ссылка)
Я ответила на ваш вопрос
Scott McNeilly в этой области не сделал ничего примечательного

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]gong@lj
2004-09-03 03:36 (ссылка)
Scott McNealy

Насчёт ничего примечательного - это да, шедевр.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ex_annut@lj
2004-09-03 03:39 (ссылка)
вэтой области он сделал нуль

да для таких областей деятельности
диаметр графа достижемости "по знакомсту" обычно не больше 6
причем среднее растояние между точками около 2.6
так что "через одного" знают примерно друг друга около 30: процентов человек
Как говорится тбыли бы у вас мозги, не работали бы вы в рашке

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]gong@lj
2004-09-03 05:06 (ссылка)
В какой этой области? В проектировании отказоусточивых кластерных систем?

Всё, я уже с Вами во всём согласен.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ex_ex_annut@lj
2004-09-03 05:23 (ссылка)
очень большая область отказоусточивые кластерные системы
стив МкНили не имеет никакого образования кроме МБА Стэнфорда (и какого-то там бакалавра в бизнесе)
прекрасный планировщик, администратор и бизнесмен,
но специалист в ИТ не очень
Хорошо, что он "за свободный софт", но и крепко дружит с Израилем
но больше ничем не примечателен

(Ответить) (Уровень выше)


[info]xxqs@lj
2004-09-03 02:22 (ссылка)
В августе 1998. Лента.ру лежала, RBC работал. Про остальных не помню, но тоже не ахти.

Сентябрь 2001. CNN лежала в дровах, пока не отключили всю графику.




(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:26 (ссылка)
В августе 1998 года Лента.Ру отмечала 13 месяцев до запуска.
В декабре 1998 года начались первые работы по Газете.Ру.
В марте 1999 года Газета.Ру стартовала.
Лента.Ру запустилась в первую неделю сентября 1999 на той же платформе.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]xxqs@lj
2004-09-03 02:54 (ссылка)
сорри, похоже, я ошибся

(почесывая лоб) но кто же тогда лежал в 1998? Точно помню, РБК был практически единственным живым источником.

Отчетливо помню молчащую Ленту.ру, только не могу вспомнить повод.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]anjey@lj
2004-09-03 04:03 (ссылка)
Риан.ру, кажется

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 13:56 (ссылка)
Тогда был единственный ресурс, от которого ждали ответов.
Он назывался НСН, Национальная служба новостей.
И как раз в связи с кризисом он полег.
Его владельцем оказался вдруг банкир Смоленский.

(Ответить) (Уровень выше)


[info]bazik@lj
2004-09-03 02:02 (ссылка)
Как хотелось бы чтобы Вам не пришлось докупать, разносить и переписывать....

(Ответить) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:07 (ссылка)
Да и мне хотелось бы.
Но увы, опыт учит, что не судьба.
Дело не только в масштабе терактов, кстати сказать.
Рижская дала приток вдвое против небоскребов.
Увеличивается численность интернет-аудитории, одновременно сокращаются возможности получения оперативной информации по ТВ.
Сейчас, вроде, НТВ лучше всех работает, но на НТВ цензура прямо в кадре.
Причем цензура не военная, а нагло пиарошная.
Какую угрозу безопасности могла б представлять правдивая информация о числе убитых и раненых при штурме?
Кто б пострадал, если б мы знали правду?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]object@lj
2004-09-03 02:10 (ссылка)
Я не видел репортаж НТВ. В каком смысле у них была пиарошная цензура?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]yakovis@lj
2004-09-03 02:13 (ссылка)
http://www.livejournal.com/users/yakovis/284307.html
Вот в таком примерно.

(Ответить) (Уровень выше)


[info]uncle_becher@lj
2004-09-03 02:03 (ссылка)
читал заголовки новостей на mail.lenta.ru -- грузилось буз пролем. При этом по линкам пройти не удавалось.

(Ответить) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:04 (ссылка)
У мэйла вообще посторонний хостинг, факт.
Надо было, конечно, экспорт наладить.

(Ответить) (Уровень выше)


[info]nameless_0ne@lj
2004-09-03 02:06 (ссылка)
Вот http://www.strana.ru вообще в текстовую вресию свалилась. И, имхо, верно.

(Ответить) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:07 (ссылка)
Мы тоже сейчас на что-то вроде pda.lenta.ru пытаемся переехать.

(Ответить) (Уровень выше)


[info]asd@lj
2004-09-03 02:07 (ссылка)
Придется, видимо, докупать железяки, разносить зеркала и переписывать софтину, не дожидаясь продолжения.
Точно-точно. Сегодня наблюдал за всеми новостными сайтами со словами и несовершенстве веб-технологий -- просели все.

(Ответить) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:09 (ссылка)
Я б с удовольствием пронаблюдал какую-нибудь авиакомпанию, железную дорогу, метрополитен, энергосистему или телефонную сеть, где при единовременном, но долгосрочном росте нагрузок в 5,5 раз не наступили бы перебои со связью.

Закладывать такую резервную емкость, как 500% от нормы — роскошь запредельная при больших объемах сервиса.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]nameless_0ne@lj
2004-09-03 02:12 (ссылка)
Вот rbc.ru не просели. Интересно -- как? Такой запас или так грамотно реализовано зеркалирование и прописан софт?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]asd@lj
2004-09-03 02:15 (ссылка)
Вообще-то я был свидетелем того, как rbc.ru отвалился по connection timeout...

(Ответить) (Уровень выше)


[info]jerom@lj
2004-09-03 02:21 (ссылка)
У rbc не 5.5 раз рост был... Да и система, вроде, более распределённая.

У gazeta.ru проседаний было меньше чем у ленты, а вот рост посещаемости раз в 8... Среагировали лучше?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mdh@lj
2004-09-03 02:50 (ссылка)
просто газета уже насколько лет работает через систему раздачи контента зенона

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]jerom@lj
2004-09-03 02:54 (ссылка)
Да, [info]ico@lj упоминал.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ico@lj
2004-09-03 03:29 (ссылка)
url? :)

(Ответить) (Уровень выше)


[info]a48@lj
2004-09-03 03:13 (ссылка)
While trying to retrieve the URL: http://gazeta.ru/

The following error was encountered:

Connection Failed
The system returned:

(61) Connection refused
The remote host or network may be down. Please try the request again

:)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mdh@lj
2004-09-03 03:14 (ссылка)
и что?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]a48@lj
2004-09-03 03:17 (ссылка)
ну типа "систему раздачи контента зенона" - тоже не панацея. просели сегодня все, газета втч. хотя субъективно из тройки rbc/lenta/gazeta последняя чувствовала себя лучше всех.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]mdh@lj
2004-09-03 03:19 (ссылка)
а я что сказал, что система раздачи контента зенона это панацея? :-)

у меня кстати connection failed не было
может у тебя канал или прокси перегружен :)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]a48@lj
2004-09-03 03:22 (ссылка)
ну, наверное, я проверил про канал и прокси прежде, чем писать? :)

(Ответить) (Уровень выше)


[info]dimulka_9@lj
2004-09-03 04:04 (ссылка)
У меня было, я следил ;)

-bash-2.05b$ wget gazeta.ru
--15:48:57-- http://gazeta.ru/
=> `index.html.8'
Преобразование адреса gazeta.ru... сделано.
Установка соединения с gazeta.ru[195.2.91.115]:80... соединились.
Запрос HTTP послан, ожидание ответа... 400 Bad Request
15:48:57 ОШИБКА 400: Bad Request.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]ico@lj
2004-09-03 04:10 (ссылка)
Bad Request несколько отличается от No Answer, ты не находишь? :)
Возьми у [info]kippie@lj нормальную строчку:
> time wget -q -o /dev/null --cache=off http://gazeta.ru

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dimulka_9@lj
2004-09-03 04:14 (ссылка)
Игорь, и действительно ;)

(Ответить) (Уровень выше)


[info]mdh@lj
2004-09-03 04:22 (ссылка)
У меня было, я следил ;)

Ты на Петю становишся похожим

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dimulka_9@lj
2004-09-03 04:33 (ссылка)
Куда мне. Да и зачем? Я душой болел, помню же загрузку газеты в ночь дубровки, аккурат работал в ту ночь в Зеноне.

(Ответить) (Уровень выше)


[info]mdh@lj
2004-09-03 03:20 (ссылка)
но я согласен - газета была лучше всех, а лента хуже всех

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]a48@lj
2004-09-03 03:23 (ссылка)
из этой тройки. просто есть скажем еще дни, на тех я вообще не заметил никакого проседания. возможно, они просто гораздо менее популярны, тут я не знаю ситуации.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dimulka_9@lj
2004-09-03 04:04 (ссылка)
На днях проседания не было вообще, но судя по хостам, там нагрузка была в несколько раз меньше.

(Ответить) (Уровень выше)


[info]dolboeb@lj
2004-09-03 02:23 (ссылка)
РБК вообще-то одна из крупнейших хостинговых площадок России.
У них мощностей не в 10 раз поболе, чем у Ленты, а в 50 примерно.
Стоимость этих мощностей - примерно в 1000 раз выше нашей, там в оборудование миллионы долларов вложено, согласно проспекту эмиссии.

(Ответить) (Уровень выше)


[info]gray_ru@lj
2004-09-03 02:14 (ссылка)
В расчеты обычно закладывается 150% максимум.

(Ответить) (Уровень выше)


[info]megla@lj
2004-09-03 13:58 (ссылка)
Ne vdavayas v disput, chto schitat bol'shim obyemom, ya obychno proektiruyu systemy s 10-ti kratnym zapasom. Umnie klienty - platyat, glupie - padayut. (Moi clienty - eto izrailskie ISP i finansovie organizatsii)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 14:55 (ссылка)
Ты не понял постановку задачи.

У нас система стартовала в сентябре 1999 года, при среднесуточной аудитории в 5000 человек. То есть нормативная нагрузка не превышала 500 запросов в час. Сейчас эта система выдерживает 55.000 запросов в час.

Фокус в том, что уже вычерпан оказался и десятикратный, и стократный запас. Просто жизнь продолжается.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]megla@lj
2004-09-03 16:14 (ссылка)
Ya prekrasno ponyal. No s sentyabrya 1999 goda proshlo 5 let! Norativnaya nagruzka ne est konstanta - ona vychislyaetsya primerno raz v god po novoi. Kakaya byla srednyaya normativnaya nagruzka za 6/2003 - 6/2004?
V seryoznyh izrailskih firmah eti dannie, kak ya uzhe i skazal, podchityvayutsya zanovo raz v god. A esli byli prichiny (naprimer bol'shaya marketingovaya kompaniya) to i chasche.
I vot tak kazdiy god prinimaetsya reshenie ischerpala li sebya systema ili net. Dlya nekotoryh system zapas v 200% schitaetsya priemlimym, a dlya nekotoryh system trebuetsya postoyanniy zapas prochnosti v 600-700%. I esli za posledniy god systema perestala imet takoi zapas prochnosti - eyo menyayut.
Obrati vnimanie, chto process etot idet postoyanno. Poetomu dannie 1999 goda brat v raschet prosto smeshno.
Vot esli-b ty mne skazal, chto za posledniy god systema v srednem derzhla 1000 v chas i v pikah 2-3 tyschi v chas, a tut privalilo 55.000 v chas - ya by s toboi soglasilsya - delat oversizing na takie skachki ne tselesoobazno. No naskol'ko ya ponimayu realnaya tsifra ~10.000 v chas pri normalnoi zhizni. Tak chto skachok byl vsego pyatikratniy.
Kstati, naskol'ko ya znau, YNET derzhit resursy dlya 20-ti kratnyh skachkov na pikah. I sami i cherez AKAMAI. Nasha zhizn daet povody dlya takih skachkov.

(Ответить) (Уровень выше)


[info]gray_ru@lj
2004-09-03 02:11 (ссылка)
Антон, а зачем сегодня на Ленте вернули баннеры? Я с утра весьма удивился, увидев.

(Ответить) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 02:24 (ссылка)
А это разные способы борьбы с нагрузкой - снимать графику (только свою, кстати сказать) и кэшировать/акселерировать.

Отключение собственной графики - путь наименее эффективный.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]nameless_0ne@lj
2004-09-03 02:38 (ссылка)
Отключением графики вы решаете и проблему ширины канала. Видимо, с каналами в рамблере все нормально.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]dolboeb@lj
2004-09-03 03:15 (ссылка)
Нет шансов, что именно Лента перегрузит Рамблеру канал.

(Ответить) (Уровень выше)


[info]kurnosenko@lj
2004-09-03 02:13 (ссылка)
Да, gazeta.ru намного бысрее

(Ответить)


[info]in_the_dark@lj
2004-09-03 02:14 (ссылка)
РБК и РИА "Новости" тоже висели:(

(Ответить)

офф
[info]dashetta@lj
2004-09-03 02:26 (ссылка)
Image
ведет на http://lenta.ru/terror/
источник не указан

(Ответить) (Ветвь дискуссии)

Re: офф
[info]dolboeb@lj
2004-09-03 03:16 (ссылка)
Надо, видимо, кому-то дать по башке.

(Ответить) (Уровень выше)


[info]1master@lj
2004-09-03 02:31 (ссылка)
Кстати, а чего оно периодически еще и в koi8 переключается? Через секунд 30 проходит.

(Ответить)


[info]winnie22@lj
2004-09-03 03:18 (ссылка)
utro.ru только работало. ни газета ни лента вообще были не видны. ну и блоги.

(Ответить)


[info]unclehm@lj
2004-09-03 03:44 (ссылка)
во посчитал :) только просьба за крутой пафос не прнимать %) так просто приблизительный подсчет по придуманному способу :)


статистика top100.rambler.ru показывает следующее (на 17:15)

хосты клиент хиты

1 РБК: Освобождение заложников: Хроника событий 111630 223648 749578
2 YTPO 03.09 В здании школы начался пожар 94200 172691 367278
3 Газета.Ru: 150 погибло, 385 госпитализировано 92526 145407 652238
4 TOP.RBC.RU: Боевики пытаются скрыться в городе 92370 196623 399043
5 Lenta.ru,03.09:Во Владикавказ привезли 185 дет 92042 140479 296920
6 NEWSru: Хаос в Беслане (ФОТО, ВИДЕО) 84292 125329 306840
7 TOP.RBC.RU: ТЕРРОР в России: все подробности, 43539 73821 249842
8 ИЗВЕСТИЯ:Почему террористы напали на Северную 37324 49291 84819
9 ДНИ.РУ // В Беслане царит хаос 37284 56819 97693
10 KM.RU: ОСВОБОЖДЕНИЕ ЗАЛОЖНИКОВ: ХРОНИКА СОБЫТИЙ 33936 43874 81038


Количество уникальных хостов - показывает популярность сайта и
соотвественно может является относительной величиной ожидаемой нагрузки.

количество хитов же показывает число показов и соотвественно
относительную нагрузку, которую ресурс смог выдержать.

таким образом отношение хиты/хосты можно считать относительным QoS -
качеством обслуживания.


Таким образом получаем следующие QoS ля сравнимых по числу хостов
ресурсов.

rbc 6.714
utro 3.899
gazeta 7.049
top.rbc 4.320
lenta 3.225
newsru 3.640




---
Vladimir A. Rusinov. Zenon N.S.P.

(Ответить) (Ветвь дискуссии)


[info]mdh@lj
2004-09-03 04:01 (ссылка)
зная, сколько стоит решение зенона для газеты могу предположить, что рбк свои миллионы баксов пустили на раскурку

(Ответить) (Уровень выше)


[info]kitp@lj
2004-09-03 04:32 (ссылка)

(Ответить)


[info]gorry@lj
2004-09-03 06:36 (ссылка)
Добрый вы человек, Долбоеб Железкин!

(Ответить)


[info]mratner@lj
2004-09-03 17:56 (ссылка)
Антон, если Вы можете оказать влияние на содержимое ленты.ру, пожалуйста скажите им, чтобы добавили URL ( http://www.moscowhelp.org ) в эту историю:

http://lenta.ru/terror/2004/09/04/money/

чтобы люди знали, куда идти с пожертвованиями. Огромное спасибо заранее.

(Ответить)


[info]kamarado@lj
2004-09-03 19:35 (ссылка)
И поработайте над html кодом пожалуйста, а то очень уж у вас там лишних тегов много. При желании ведь можно в два, три, раза всё уменьшить без потери дизайна.

(Ответить)


[info]sinodov@lj
2004-09-04 00:47 (ссылка)
Среднеавгустовское значение в 10'000 складывается из ночных четырех тысяч и рабочедневных шестнадцати-двадцати.
То бишь нормальная нагрузка ленты - 20'000.
Заложить трехкратную бы... И все, может быть, и прошло нормально. Хотя и сомневаюсь - "F5" Ленту добило б, когда бы она продолжала работать без перебоев.

(Ответить)