Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет mumuntu ([info]mumuntu)
@ 2011-04-09 10:03:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Поучительная статья, можно оценить размеры битвы за урожай. Выделю интересные моменты:

Управление сервисами происходит через централизованную систему конфигурации. Система самописная.

Общий объем данных без резервирования – 160 TB. Используются два решения для хранения и сервирования данных – MS SQL и BerkeleyDB.

Для мониторинга “здоровья” оборудования используем Zabbix, статистику по использованию ресурсов серверов и сети накапливаем в Cacti.

• Операционные системы: MS Windows, openSUSE

• Используем GWT для придания динамики WEB интерфейсу. С использованием GWT написаны такие модули как Сообщения, Обсуждения и Оповещения

Как видите, много достаточно оригинальных решений.
Если люди действительно хотят разогнаться - их ничто не остановит.


(Добавить комментарий)


[info]alexclear@lj
2011-04-09 02:05 (ссылка)
> статистику по использованию ресурсов серверов и сети накапливаем в Cacti.

Судя по всему, они запретили Zabbix накапливать и обрабатывать статистику, используют только для оповещения, не для сбора трендов.
Могу их понять.

(Ответить) (Ветвь дискуссии)


[info]sa_chernomor@lj
2011-04-13 15:06 (ссылка)
Можно чуть подробнее?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]alexclear@lj
2011-04-13 15:24 (ссылка)
Да
Здесь в комментариях есть: http://community.livejournal.com/ru_sysadmins/1668450.html
Zabbix не очень хорошо подходит для визуализации трендов

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sa_chernomor@lj
2011-04-14 01:05 (ссылка)
а большой период хранения у итемов?
тренды хранятся с детализацией в один час, поэтому для построения графиков по ним не должно быть проблем.

с другой стороны, большая инсталляция у нас живет примерно пару месяцев и я продолжаю ее понемногу докручивать, поэтому не могу сейчас сказать, как оно будет жить после стабилизации (еще месяца через два, наверное).

для большей части итемов выставлено время жизни в 90 дней, если не ошибаюсь.

PS. а запросы у вебморды и правда адские :)

(Ответить) (Уровень выше)


[info]alexclear@lj
2011-04-09 02:07 (ссылка)
Да, в комментариях там, как обычно, долбаный ад, никакого здоровья не хватит читать. Завидую терпению коллег.

(Ответить)

Спасибо за ссылку
[info]trbmaker@lj
2011-04-09 03:13 (ссылка)
Сложновато, в тоже время объяснимо - похоже для надежности разнесли по трех DC. Думаю что порядочно ресурсов уходит на дубликацию/синронизацию. Мда... нифигово проектик вырос.

(Ответить)


[info]_slw@lj
2011-04-09 04:01 (ссылка)
обоже, rstp!

(Ответить)


[info]_slw@lj
2011-04-09 04:16 (ссылка)
а еще меня не устает удивлять количество задействованных людей у нас на проектах:

Над проектом работают около 70 технических специалистов. Из них 40 разработчиков, 20 системных администраторов и инженеров, 8 тестеров.

я конечно понимаю, что мордокнига раз в 10 поболее, но Facebook has over 1,700 employees, а с ростом масштаба потребность в людях скорее логарифмическая. а еще говорят о низкой производительности труда

(Ответить) (Ветвь дискуссии)


[info]kukutz@lj
2011-04-09 04:41 (ссылка)
У Вконтакте народу ещё заметно меньше.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]_slw@lj
2011-04-09 04:52 (ссылка)
так у них жабы поди нет!

(Ответить) (Уровень выше)


[info]_slw@lj
2011-04-09 05:01 (ссылка)
слушай, у меня вопрос наполовину по я.вебмастер, наполовину по я.паспорт.
Ticket#11030520211451638
техподдержка твердит что-то невнятное и пошла на второй круг, а я не могу понять был у вас просто сбой или мне пароль надо менять.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kukutz@lj
2011-04-09 05:06 (ссылка)
у меня сейчас нет доступа к системе тикетов, можешь сфорвардить переписку на kukutz@yandex-team.ru?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]_slw@lj
2011-04-09 05:22 (ссылка)
done

(Ответить) (Уровень выше)


[info]b00ter@lj
2011-04-09 06:24 (ссылка)
В Фейсбуках, поди, строем умеют ходить. У нас проще вложится в маленький коллектив "светил".

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]_slw@lj
2011-04-09 06:29 (ссылка)
ну один-два светила наверное есть, но вряд ли больше.
как бэ вакансии проскакивали, деньги там не для светил.

(Ответить) (Уровень выше)


[info]sorhed@lj
2011-04-09 07:26 (ссылка)
У фейсбука ПЯТЬСОТ МИЛЛИОНОВ СРАНЫХ ЮЗЕРОВ. В 10 раз больше, чем у одноклассников, и нагрузка на проект заоблачная, учитывая эти их applications и прочую фигню.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]_slw@lj
2011-04-09 07:50 (ссылка)
читать -- тяжелый труд, понимаю.
и если у них апликэшены как вконтакте -- то они в нагрузке не учавствуют

(Ответить) (Уровень выше)


[info]drpryor@lj
2011-04-09 05:46 (ссылка)
Интересно там написано про "тяжёлый" delete в MSSQL. Неужели это правда и выгоднее выполнить один update? И потом в каждом селекте писать предикат is_deleted is not null? Который не будет использовать индекс из-за низкой селективности наверняка.

(Ответить) (Ветвь дискуссии)


[info]_slw@lj
2011-04-09 06:30 (ссылка)
я думаю это BerkleyDB

(Ответить) (Уровень выше)


[info]m_a_m_o_n@lj
2011-04-10 17:25 (ссылка)
Вообще базы с этим нормально справляются.

(Ответить) (Уровень выше)


[info]xmmnd@lj
2011-04-09 06:18 (ссылка)
я, конечно не программер и не сисадмин и не вообще. но как их не заебывает такой зоопарк держать ? на месте технического писателя я бы повесился это описывать

(Ответить)


[info]sorhed@lj
2011-04-09 07:27 (ссылка)
Управление сервисами происходит через централизованную систему конфигурации. Система самописная.

Благородный дон не мог бы подсказать мне уже существующую адекватную систему конфигурации? У меня тоже самописная, потому что я не нашёл.

А так-то хорошо всё.

(Ответить) (Ветвь дискуссии)


[info]alexclear@lj
2011-04-10 05:34 (ссылка)
Puppet?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]sorhed@lj
2011-04-10 12:11 (ссылка)
Quite enterprisey, да ещё и дорог и неопенсорсен.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kurilka@lj
2011-04-10 12:38 (ссылка)
GPL2 не канает за опенсорс?

(Ответить) (Уровень выше)


[info]alexclear@lj
2011-04-11 07:04 (ссылка)
> да ещё и дорог и неопенсорсен

Вроде бы, вполне опенсорсен.

(Ответить) (Уровень выше)


[info]awind@lj
2011-04-09 11:13 (ссылка)
я так и не понял, 150К запросов, это страниц, или "а теперь отдайте мне вот эту картинку"?

(Ответить)


[info]altmind@lj
2011-04-09 11:19 (ссылка)
berkleydb. мне кажется, они немного не так поняли моду на nosql.

(Ответить)


[info]hobohabilis@lj
2011-04-09 15:51 (ссылка)

В запросах к БД не используются JOIN даже среди локальных таблиц для минимизации нагрузки на CPU. Вместо этого используется денормализация данных или JOIN происходят на уровне бизнес сервисов. В этом случае JOIN происходит как с данными из БД, так и с данными из кеша.


Переизобретем колесо, а вдруг у нас ровнее получится.


При проектировании структуры данных не используются внешние ключи, хранимые процедуры и триггеры. Опять же для снижения нагрузки на CPU серверов БД.


Не успел заметить, когда хранимые процедуры и функции успели стать злом.

40 девелоперов приличной квалификации - это 8 проектов примерно такой же сложности, как и Одноклассники. Конечно, если не делать вещи через жопу.

(Ответить)

обои для ремонта квартиры капитальный ремонт квартир
(Анонимно)
2011-04-25 17:43 (ссылка)
ремонт квартир фото (http://remroom.ru) Реставрация и отделка помещений, комнат или загородных домов – это насущная на сегодня проблема многих людей, решившихся, наконец, улучшить свой дом. Мало того, что ремонт – это занятие трудоемкое и напряженное, еще и найти заслуживающую доверия фирму, занимающуюся отделкой комнат или загородных домов сегодня практически невозможно. Дело в том, что все меньше и меньше в Москве существует фирм, делающих свою работу качественно, эффективно и недорого. ремонт 3 комнатной квартиры (http://remroom.ru)
Однако наша организация является приятным исключением из этого неприятного правила. Мы вот уже много лет занимается улучшением помещений, комнат, загородных домов и еще ни разу нам не приходило от наших клиентов ни неприятных отзывов, ни каких-либо жалоб. ремонт квартир в новостройках москвы (http://remroom.ru) Богатый опыт наших специалистов, а также высокий профессионализм всех без исключения наших работников, поможет сделать хорошо, качественно и – главное - доступно как косметический, так и капитальный ремонт. ремонт квартир и офисов (http://remroom.ru) Современное оборудование, новые технологии планировки и дизайна, а также индивидуальный подход к каждому клиенту и гибкая система скидок сделали нашу фирму самой успешной на сегодня фирмой, оказывающей услуги реставрации и отделке помещений, квартир или домов. ремонт квартир в лобне (http://remroom.ru)
ремонт квартир (http://remroom.ru) ремонт квартиры (http://remroom.ru)

(Ответить)