Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет mumuntu ([info]mumuntu)
@ 2011-04-08 18:47:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Некая попытка соцопроса.
- Как вы думаете (не глядя в счетчики), много ли сейчас в Рунете веб-ресурсов с пиковой нагрузкой в районе 1000 rps, а средней, скажем, 300-500 rps?
- Было бы вам интересно послушать доклад про тюнинг LAMP-проекта под такую нагрузку?


(Читать комментарии) - (Добавить комментарий)


[info]sorhed@lj
2011-04-08 11:44 (ссылка)
Не знаю, но такая нагрузка представляется мне довольно-таки straightforward и хорошо поддающейся оптимизации. Ну там кэш поставить, прелоадить его, сделать push-сервера, заполняющие кэш контентом, а реквесты пусть из кэша всегда читают.

Вот раздавать поток котировок (50 сообщений в секунду в одном потоке) и принимать ордера на исполнение от нескольких тысяч клиентов сразу, где нужно stateful-соединение — вот это весело.

(Ответить) (Ветвь дискуссии)


[info]sorhed@lj
2011-04-08 11:45 (ссылка)
(кроме того, я в недоумении, почему LAMP до сих пор не умер)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]alexclear@lj
2011-04-08 12:01 (ссылка)
Так а довольно дешево выходит - сначала некий программист (допустим, Вася) делает какой-нибудь open source проект на PHP с целью изучения этого замечательного языка. В процессе изучения он понимает, что он не хочет это больше изучать, а проект уже живет отдельной жизнью и по прихоти судьбы обрастает какой-то юзербазой. И вот один из счастливых юзеров находит программиста Петю и просит его посмотреть, а чего это у него все тормозит. Как говорил мой коллега, и тут из кустов появляемся мы.

(Ответить) (Уровень выше)


[info]olkash@lj
2011-04-08 12:24 (ссылка)
так незачем ему умирать
кроме трейдерских платформ есть и другие, и под другие задачи

(Ответить) (Уровень выше)


[info]alexclear@lj
2011-04-08 11:59 (ссылка)
Не знаю, но такая нагрузка представляется мне довольно-таки straightforward и хорошо поддающейся оптимизации. Ну там кэш поставить, прелоадить его, сделать push-сервера, заполняющие кэш контентом, а реквесты пусть из кэша всегда читают.

Ну да, это совсем не rocket science.
Но общественность многие вещи воспринимает как проявления магии, какой только фигни я не слышал от младших коллег по вопросам оптимизации производительности.

Вот раздавать поток котировок (50 сообщений в секунду в одном потоке) и принимать ордера на исполнение от нескольких тысяч клиентов сразу, где нужно stateful-соединение — вот это весело.

Когда я первый раз услышал порядок нагрузки в трейдерских системах, я протер уши и попросил еще раз повторить. Да, там другие порядки совсем.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]satanail@lj
2011-04-08 14:04 (ссылка)
какие там алгоритмы и на чем народ пишет, не секрет?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]lionet@lj
2011-04-08 15:33 (ссылка)
Некоторые на окамле пишут.

http://www.janestcapital.com/technology/ocaml.php

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]satanail@lj
2011-04-08 15:35 (ссылка)
ну там наверняка не только в ЯП дело, архитектура тоже должна специфичной быть

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]lionet@lj
2011-04-08 15:39 (ссылка)
Я не вижу проблем в 50rps и тысячах клиентов, хоть убей. У меня RabbitMQ делает без тюнинга 20k и несколько сотен клиентов, а это Эрланг (примерно python по перформансу).

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]satanail@lj
2011-04-08 15:55 (ссылка)
50rps - это копейки.надо  в третью степень возводить хотя бы, чтоб были нагрузки

(Ответить) (Уровень выше)

Re: Ответ на ваш комментарий...
[info]plumqqz@lj
2011-04-09 00:06 (ссылка)
Я думаю, там опечатка - видимо, 50 тыс. реквестов в секунду.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]hydrobiont@lj
2011-04-09 02:07 (ссылка)
я одну такую систему на 150к _проектной_ нагрузки знаю. там правда экзадата)

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]plumqqz@lj
2011-04-09 07:16 (ссылка)
А вот кстати, где они такой поток событий берут? Датчики с большого адронного коллайдера?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]hydrobiont@lj
2011-04-09 07:29 (ссылка)
трейдинг) там ваще диковиного много

(Ответить) (Уровень выше)

Re: Ответ на ваш комментарий...
[info]_slw@lj
2011-04-11 15:12 (ссылка)
ну я тоже несколько подивился и решил, что видимо 50rps с каждого из тысячи клиентов.
===
(50 сообщений в секунду в одном потоке) и принимать ордера на исполнение от нескольких тысяч клиентов сразу

(Ответить) (Уровень выше)

Re: Ответ на ваш комментарий...
[info]_slw@lj
2011-04-11 17:30 (ссылка)
а вот об очередях. а что там такого сложного?
я вот сейчас качаю apache-activemq-5.4.2-bin.tar.43gz. 43 MB.

сорок три мегабайта.
чего я не понимаю?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]kurilka@lj
2011-04-11 17:36 (ссылка)
а на жабе бывают маленькие приложения? :)

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]_slw@lj
2011-04-11 17:42 (ссылка)
но 43 мегабайта!
не 4.3, а 43!
что там даже на жабе такого можно наворотить?!

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]kurilka@lj
2011-04-11 17:47 (ссылка)
Ну "всё своё ношу с собой", а про своё вот тут можно глянуть - http://repo2.maven.org/maven2/org/apache/activemq/activemq-core/5.5.0/activemq-core-5.5.0.pom
каждая зависимость вполне может в несколько метров выйти и больше

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]_slw@lj
2011-04-11 17:57 (ссылка)
и зачем это все?
какой в этом смысл?
чего я не понимаю?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]kurilka@lj
2011-04-11 18:06 (ссылка)
Ну ты ведь не удивляешься, что приложению на Ruby/Python/Perl/C++/Whateva могут требоваться библиотеки?
Про конкретный набор и величину библиотек - к авторам, я тут аргументированного ответа дать не смогу.

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]_slw@lj
2011-04-11 18:14 (ссылка)
зависит от приложения.
если приложению "хелло мир!" требуется два десятка библиотек -- меня это несомненно удивляет.

что такого в очередях, что там требуется столько странных библиотек?

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]kurilka@lj
2011-04-11 18:19 (ссылка)
Вы спрашиваете будто я эти ActiveMQ трогал...

(Ответить) (Уровень выше) (Ветвь дискуссии)

Re: Ответ на ваш комментарий...
[info]_slw@lj
2011-04-11 18:28 (ссылка)
ну что-то же общее во всех очередях есть?

(Ответить) (Уровень выше)


(Читать комментарии) -