Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет pe3yc ([info]pe3yc)
@ 2011-04-05 16:00:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
¤ Шесть покрошены, одна так брошена
Пока криворукие поцы из Сцуппа™ молчат или лепечут "мы собираемся обратиться с Заявлением в Органы" (© Светлана "У" Иванникова) или "в этот раз это была не атака на канал и оборудование, а наоборот, атака на канал и оборудование" (© Илья "Игрик" Дронов), я расскажу вам, какой вся эта история представляется мне.

В конце марта криворукие поцы собрались внедрять систему фронтлайн-кэширования от стороннего производителя Varnish. Но поскольку у криворуких поцев, - как следует из их названия, - руки имеют значительную кривизну, вместо внедрения получился систематический отказ в обслуживании и вся эта халабуда начала тормозить ещё сильнее обычного, выдавать систематчиеские ошибки 503 и вообще еле ползать.

Примерно в это же время спаммеры и ботоводы активизировали засирание жежешечки. Отмечу, что это как раз те самые калоши спаммеры и ботоводы, которых Сцупп™ старательно разводил, размножал и ститмулировал, а также холил и лелеял весь период своего существования. Ибо они приносили и продолжают приносить ему трафик.

Причём никакой это не DDoS, а обычный флуд. Он идёт, судя по всему, от неанонимных эккаунтов, с нормальными хидерами, с валидным содержанием. Скорее всего, это автоматические флуд-комменты от многочисленных ботов. Причём валятся они вперемежку с нормальными сообщениями нормальных юзеров и формально-технически от них ничем не отличаются. Сцупп™ сделал так много работы по стиранию грани между спамботом и юзером, что и сам давно уже не может отличить одного от другого, - по крайней мере не может это сделать автоматически.

Флуд этот, в свою очередь, привёл к дополнительным отказам в обслуживании той самой системы Varnish, которую недовнедрили кривоврукие поцы. Реакция оказалась самоподдерживающейся по типу качелей: массивный флуд учащает и усугубляет отказы в обслуживании запросов, а отказы приводят к новым и новым повторным попыткам, то есть к усилению флуда и забиванию каналов.

Криворукие поцы торжественно назвали этот процесс DDoS атакой и пытаются скрыть роль собственной криворукости в создании такой ситуации. Истина в их словах есть, но её довольно мало: атака действительно имела (и, вероятно, продолжает иметь) место, но это не DDoS-атака, не особенно массированная атака, не она сыграла решающую роль в том, что жежешечка систематически бывает недоступной часами, и атаку эту ведут не ддосеры, а жежешные спамботы, бороться с которыми Сцупп™ отказывался всегда. Что здесь действительно от настоящего ботнета, так это проксирование адресов, но такую технологию спамботы научились использовать не сейчас, а ранее.

Проще говоря,

- имеет место ситуация стечения двух обстоятельств: совпали по времени два процесса: активизация спамботов и кривые попытки внедрения системы кэширования,
- Сцупп™ сам создал такую ситуацию, во-первых, не будучи готовым к внедрению (или выбрав неподоходящую конфигурацию системы), во-вторых, долгое время закрывая глаза на создание и отладку огромной армии спамботов (если только не поощряя эти процессы или даже участвуя в них), и в-третьих, вообще не имея никаких инструментов борьбы с флудом,
- пользователям, разумеется, признаться во всём этом криворукие поцы не могут, поэтому нет ни релизов, ни внятного объяснения, а есть только детский лепет.

Разумеется, эта картинка не претендует на предельную объективность. Так ситуация мне видится со стороны, причём со стороны, с которой нет доступа ни к логам, ни к другим прямым данным. Но в данном случае и косвенных данных достаточно, чтобы сложить паззл..


(Читать комментарии) - (Добавить комментарий)


[info]maksa@lj
2011-04-05 15:59 (ссылка)
Можно просто принудительно первый месяц (но не меньше 5 записей) держать журнал закрытым от индексации. Это сразу резко сократит привлекательность ЖЖ для ботов, а уж если будет подкрепляться анализом осмысленности и оригинальности контента, то задача будет решена в целом. Но желания такого, конечно, не было.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]stas@lj
2011-04-05 17:10 (ссылка)
Это ведь легко обойти - 5 записей делаются копипастой, а месяц быстро проходит. Ну и организуются лавки "10 выдержанных индексируемых журналов за доллар" и т.п.
Сравнивать же контент в таком количестве журналов у сцупа наверняка денег нет. Учитывая, что бизнес-кейс для такой траты трудно построить.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]maksa@lj
2011-04-05 17:11 (ссылка)
Так в том-то и дело, что затраты вырастают на порядок, плюс нет мгновенной отдачи.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]stas@lj
2011-04-05 17:17 (ссылка)
Да не вырастают затраты, просто будут заготавливать журналы тоннами и продавать. После первого месяца-двух, когда pipeline будет строиться и выгодность спама снизится, всё вернётся на круги своя и к услугам желающих будут журналы любой выдержки за мелкую копейку - поскольку их создание и поддержание не стоит ничего, как и раньше. Откуда порядок возьмётся?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]maksa@lj
2011-04-05 17:39 (ссылка)
Затраты будут не только на написание ботов, но и на наполнение журнала первыми записями. Если за ворованный или бессмысленный контент будут банить, если будут не давать подозрительным журналам индексацию и возможность ставить ссылки, то писать записи придётся вручную. Что сразу делает всю затею невыгодной. Кроме того, ботами занимаются любители срубить деньги по-быстрому, а если отдача будет минимум через месяц, да ещё и с немалой вероятностью тебя удалят, то привлекательность ботописания катастрофически снижается.

Одно дело — придумать ник и выбрать тему оформления. Другое — сидеть писать в каждый из своих журналов, зная, что даже если первичный фильтр они пройдут, за подозрительную деятельность их могут заблокировать уже после третьей спамерской записи.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]stas@lj
2011-04-05 17:53 (ссылка)
1. За копипасту банить не будут, потому что:
а. для облегчения копипасты в ЖЖ даже есть специальная кнопка, так что копипаста - священный институт ЖЖ
б. для отлова копипасты автоматом нужны серьёзные инвестиции в processing power, а смысл?

2. Месяц ждать не придётся, потому что будут готовые выдержанные журналы на продажу, как сейчас есть готовый софт для спама, ддоса и т.п. И именно поэтому удаление и т.п. будет пофиг - ну удалят журнал, так он купит за две копейки ещё десяток. Это у нас с вами личный журнал - ценность, а у них-то нет.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]maksa@lj
2011-04-05 18:22 (ссылка)
1. Вот отсюда и проблемы у ЖЖ. )
А вообще копипаста копипасте рознь. Если в журнале пишется, как сегодня выгуливал собачку, и это взято из другого журнала, то да, надо блокировать до выяснения обстоятельств.

2. Значит, журналы на продажу будут достаточно дорогими для того, чтобы покупать их десятками и затем заспамливать. В отличие от софта, не масштабируется.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]asc_ii@lj
2011-04-06 11:34 (ссылка)
и кто же это будет делать?
как лично вы предлагаете программными методами выяснять, что можно копипастить (что такое вообще "ворованный контент"?), а что нельзя, отслеживать это по блогам, выносить вердикты и суспендить?
заодно учтите негодование засуспенженых неправомерно

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]maksa@lj
2011-04-06 12:09 (ссылка)
Если СУП решит взять меня на работу главным по отстрелу ботов, я предложу детальную программу. А пока не вижу смысла теоретизировать.

(Ответить) (Уровень выше)


[info]dvasnickolas@lj
2011-04-05 18:12 (ссылка)
А как их первично фильтровать? Написать генерилку грамматически и лексически связного текста может третьекурсник.

И откуда такие данные о ботнетоводах? Ботов разводят вдумчивые и серьезные люди, это пишут в них нищеброды-клоуны, и закупают непрофессиональные маркетологи.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]maksa@lj
2011-04-05 18:28 (ссылка)
Есть ещё политика френдования (и статистика по обратному процессу), статистика по комментированию записей в новом журнале и по комментариям в других журналах. Есть сообщения «это спам» от пользователей. Если журнал прошёл все эти тесты и не попал под подозрение, можно и глазом глянуть по истечении карантина. А дальше будут работать данные по оставляемым ссылкам, по комментариям входящим и оставленным, по жалобам пользователей. Было бы желание.

А о его отсутствии наглядно говорит выключенная возможность читателей сообществ жаловаться на спам. Раньше было, а потом закрыли. Хотя надо было усиливать пользовательскую обратную связь.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]shancevyi@lj
2011-04-12 21:11 (ссылка)
Вы не совсем понимаете.
Активных журналов порядка 400 000. Это как минимум. Каждый день добавляется около 500 ников, пусть один новый оставляет один комментарий. У активных журналов, ну предположим - 2 комментария на запись, ну пусть будет 3 записи в сутки.
Итого имеем - (400 000 х 3 х 2) + 500 каждый день.


>>можно и глазом глянуть по истечении карантина.

Можно?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]maksa@lj
2011-04-13 00:04 (ссылка)
Я не предлагал читать все комментарии. Каждый день нужно проверять этих 500 зарегистрировавшихся месяц назад. Причём способов упростить себе жизнь, автоматически определяя вероятность того, человек это или бот, масса.

(Ответить) (Уровень выше)


(Читать комментарии) -