k001
k001
:...

April 2032
        1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30

k001 [userpic]
перфоманс тестинг ин прогресс

Я тут вчера, вооружившись большим компьютером и ядром 2.6.31, мерял производительность network namespaces с помощью netperf.

В тестировании ведь одно из главных требований -- повторяемость результатов. Если результаты зависят от времени суток, фазы луны, настроения тестера -- то это не результаты, а мусор. Ну да я бывалый тестер, посему сразу же выключил всякие там кроны, анакроны и прочее, способное привести к нежелательным вариациям в результатах тестирования.

Меряю я, значит, меряю, а получается всё время какая-то ерунда! То побыстрее, то помедленнее, то ступеньками -- каждый следующий прогон на 5 mbps хуже предыдущего. Интуитивно поставил между прогонами паузу на 2 минуты, вроде стало почти хорошо, но всё равно какие-то есть флуктуации.

И сегодня только выяснил, в чём дело. Оказывается, процессоры перегревались и включался throttling (это когда перегревшийся процессор специально пропускает такты, чтобы, значит, совсем не сгореть). Именно поэтому пауза и помогала -- собственно, процессор чуток остывал (иногда не успевал). А у нас ещё в этом месте солнце светит через окна в полный рост, поэтому жарко, несмотря на обилие кондиционеров. Ну вот я и мерял, по сути, температуру в комнате...

Пошёл к админам, взял самый большой и шумный вентилятор, который смогли найти, поставил в большой компьютер, меряю заново, теперь уже результаты стабильные.

Собственно, к чему пишу?
1. И на старуху бывает проруха, как говорил друг моего детства Коля Остен-Бакен...
2. Следите за троттлингом (dmesg | tail), а то потеряете день, как я.
3. Большинству результатов измерений, которые вы видите в разных публикациях и т.п., доверять категорически нельзя, ибо большинство измеряющих не настолько въедливы и скрупулёзны, чтобы выяснить, что мешает, как мешает, почему мешает и как померять правильно.

Tags: , ,
Comments

собственно старая истина про то что надо всегда смотреть есть ли в работе методики измерения. если нет - сразу выкидывать.

Не озвучено главное - что в итоге показали тесты, как там с производительностью? :-) Можно хотя бы намекнуть, что потери не более пяти процентов, а сам бенч будет выложен позже :-)

Я пока пытаюсь что-то померять, этап интерпретации результатов, выводы и т.п. будут позже -- Паша Емельянов выступает на Linux Plumbers с докладом на эту тему, примерно через неделю. После конференции что-нибудь выложу.

Видео оттуда планируется, не знаешь?

ага, очень радуют люди меряющие файловые системы на размере файла меньше чем объем оперативки