Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет kouzdra ([info]kouzdra)
@ 2007-09-13 23:17:00
Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Entry tags:Интернет

Про программку для зачистки комментов от спама:

Тексты лежат здесь
Скомпилированный бинарник для Fedora 5 - здесь
Собрать под Вынь можно, но мне сейчас лень.

Пользоваться ей просто:

после запуска она спрашивает:



Ей надо сказать пароль-логин и номер первого коммента со спамом (тот, который в номере треда выдается). Она некотрое время (небольшое - на быстрой сетке 10-20 секунд) подумает, попишет в консоль всякую лабуду, и выдаст примерно такую картинку:



После чего надо выделить тех пользователей, комментарии от которых надо оптом удалить и нажать "delete". Если не хочется банить и отмечать как спам - убрать соответствующие галочки.

Пойдет процесс. На хорошей сетке и при 128 тредах скорость удаления - несколько десятков комментов в секунду. Удаляются тоьлко те комменты, которые были сделаны позже того, номер которого задан как начальный.

Клики на заголовки столбцов их сортируют. Мне лично была полезна сортировка по номерам аккаунта (поскольку мудаг регистрировал свои аккаунты пачкой, номера у них были более или менее вместе).

С анонимными комментами скорее всего работать не будет - если надо, несложно сделать.

Собственно - все.


PS: У меня никаких неприятностей с прогой не было - в смысле ничего лишнего она не сносила даже в ходе отладки, но сами понимаете - писано на коленке и довольно быстро. Так что - пользование на свой страх и риск.

PPS: Файлы xmlm.ml и xmlm.mli скопированы без изменений из библиотеки XmlM

(Добавить комментарий)


[info]signamax.livejournal.com
2007-09-14 03:31 (ссылка)
а как запустить под мак?

(Ответить) (Ветвь дискуссии)


[info]polytheme
2007-09-14 11:27 (ссылка)
возможно, имеет смысл скомпилировать в байт-код, а, Антон ? тогда, по идее, перекомпилировать
ничего не нужно будет

вроде бы там нагрузка только только на сеть, а не на проц

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-14 11:31 (ссылка)
В принципе - можно, но запускалка все равно нужна.
Кроме того - там много библиотек используется. В общем -
если тебе не лень - займись. Я с этой стороной O'Caml
не очень знаком.

PS: Только имей в виду, что тексты не вполне up-to-date. Если
понадобятся актуальные - стукнись в комменты - я тебе вход в CVS
открою.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]polytheme
2007-09-14 12:12 (ссылка)
я тебе сейчас по телефону звонить буду :)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-14 12:30 (ссылка)
И где?

(Ответить) (Уровень выше)


[info]kouzdra
2007-09-14 11:29 (ссылка)
Под Мак надо просто собрать. Но для этого надо иметь под рукой
1) Мак
2) некоторое количество свободного времени

(Ответить) (Уровень выше)


[info]a_karpov
2007-09-14 03:39 (ссылка)
Однако надо отдать Хэллу должное - воюет он только в livejournal, а lj.rossia.org не трогает.

Вообще говоря, не лучшим образом получилось, как по мне. И не в комментариях дело - гмэйл два гигабайта разрешает хранить, так что оно не скоро переполнится =) - но Ваша реакция была не самой лучшей; нужно уметь обходиться без провокаций и "мудагов" и банов, ящитайу.

(Ответить) (Ветвь дискуссии)


[info]kouzdra
2007-09-14 09:50 (ссылка)
Ну если он начнет воевать в LJR его отсюда быстро снесут и качественно забанят. Как раз этот случай правилами предусмотрен и даже не требует решения попечительского совета :)

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]svgmzr.livejournal.com
2007-09-15 08:12 (ссылка)
Ну да, забанят, вместе со всей Onion network.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-15 08:36 (ссылка)
Пока что никаких анонимайзеров по крайней мере в моем случае не замечено.
Срач идет с все того же немецкого DSL-евкского адреса. В принципе - можно просто стукануть провайдеру.

А банится такое очень просто - по обычным критериям спама. Я собственно как раз сейчас отлаживал автоматическу банилку для мудака. Просто по частоте.

Если править софт - делается это еще проще - ставятся частотные ограничения на комменты (ну и про IP забывать не стоит) или байесовский фильтр.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]svgmzr.livejournal.com
2007-09-15 09:00 (ссылка)
Фильтр поможет, но так и останется частным решением, на один дневник.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-15 09:34 (ссылка)
Собственно - лучше всего поможет введение режима комментирования, когда для не-френдовых комментов будет запрашиваться подтверждение с распознаванием картинки с цифирками. Оно и не фатально напрягает и действенно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]svgmzr.livejournal.com
2007-09-15 09:53 (ссылка)
Спамерам капча не мешает - Хэлл без проблем создал огромное количество аккаунтов. Бывают, конечно, и злые тесты, типа такого http://www.thebox.bz/freecap.php, но их и человек не всегда проходит.

(Ответить) (Уровень выше)


[info]geekkoo
2007-09-14 08:25 (ссылка)
А вы статистический спам-фильтр не Хелла натаскайте. И по результатам spam/ham расскринивайте каменты. Пока он из Гугля цитаты не начал таскать - может сработает.

(Replies frozen) (Ветвь дискуссии)


[info]kouzdra
2007-09-14 09:49 (ссылка)
Можно, но сейчас несколько лениво. Там вообще получилось забавно - реально прога скачивает практически всю базу комментов и несложно скачать и основные данные постингов. Помимо спам-фильтра там можно много интересного сделать.

(Ответить) (Уровень выше)


[info]alexartukov
2007-09-14 09:25 (ссылка)
Может, Хелл работает по анекдоту "не догоню, так согреюсь"? Интересно, когда он утомится?

Желаю Вам здравствовать.

(Ответить)


[info]lqp
2007-09-14 10:01 (ссылка)
У него, кстати, похоже тоже робат, который генерирует ругань автоматически.

(Ответить) (Ветвь дискуссии)


[info]le
2007-09-14 16:05 (ссылка)
Удивительно было бы, если бы он сам весь этот ужас писал. :)))

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-14 16:08 (ссылка)
Тем не менее, подозреваю, что сам. Стиль не отличается от авторских комментов и ЖЖ, а программист из него судя по некоторым признакам никакой.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]le
2007-09-14 16:10 (ссылка)
Не может быть. Он генерит такие каменты с нереальной для человека скоростью. Семь страниц -- шутка ли?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-14 16:12 (ссылка)
Я думаю, что они повторяются. Хотя не смотрел специально.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]le
2007-09-14 16:14 (ссылка)
Там повторяются некоторые фразы и обороты, типа "гхы гхы". Дальше цитировать не буду :D

(Ответить) (Уровень выше)


[info]tiphareth
2007-09-15 01:10 (ссылка)
Там стоит псевдо-AI.
Тот же самый, который используется
для спамогенератора а ля
http://imperium.lenin.ru/LENIN/2uzhas/37.html#rastut

Растут ли груди от капусты
Поиск груди расти становились больше прин╦с около 1800 результатов, но как всегда, подавляющая часть их была полной фигн╦й. растут ли груди от капусты. Как, ты не знаешь что такое сауна кормление грудью?! Это, пожалуй лучшая статья про фотографии девушек голыми влагалищами. Хочешь растут ли груди от капусты? Вот телефончики. Дискуссии по пышные груди в лифчике конечно ведуться, но не в таком широком масштабе. А вот и ресурсы про растут ли груди от капусты: Не надо забывать и про защемить груди. Ищете связал руки груди у основания? На нашем сайте - самая подробная информация. изображения голых проводниц довольно интересно с этой точки зрения. Возможно, если бы опрос по алика смехова грудь проводился анонимно, результат был бы другой. Хочешь растут ли груди от капусты? Вот телефончики. Хотите несколько ссылок по сходной для не╦ (эротика грудь галерея) теме? Их есть у меня! Девки, кто вам сказал, что голая соня - это классно? Бывает, ищешь грудь дженнифер лопес в яндексе, рамблере, но получаешь всякую ерунду в ответ. Если вы ищете совершенно голые т╦тки, то попробуйте обратить сво╦ внимание на эти ссылки. Обширный каталог ресурсов по салон груди. Ах да, я обещал рассказать про коррекция груди фотографии... Мы мало знаем о растут ли груди от капусты, но по многочисленным легендам, свидетельствам современников и сообщениям позднейших историков мы можем представить себе основные черты. Казалось бы - катерина груди. Что в этом такого? растут ли груди от капусты. Более подоробно, чем я описал выше, фотографии голой дувственницы представить нельзя. А кто может толково рассказать про вакумный аппарат для увеличения груди? Сегодня вс╦ чаще говорят о улучшение формы груди после родов. Ну колитесь про груди женщины великанши-то! растут ли груди от капусты. Это, пожалуй лучшая статья про растут ли груди от капусты. Я бы сказал, фотографии голых знаменитостеи - очень интересная тема! Кто знает, как скрыть огромную грудь? Девки, кто вам сказал, что растут ли груди от капусты - это классно? Тематика случайно выпавшая грудь сложна и запутанна, мы попытаемся разобраться. растут ли груди от капусты. Хочешь что бы грудь росла? Вот телефончики. Кто сказал, что прыщи на груди невозможно найти? Кто просил статьи про вырезали груди? Дискуссии по голая юля чечерина конечно ведуться, но не в таком широком масштабе. Мы мало знаем о статистика рак груди, но по многочисленным легендам, свидетельствам современников и сообщениям позднейших историков мы можем представить себе основные черты. Ищете голая яна швидкая? большая грудь в лифчике галерея: факты и комментарии. Более чем доступно раскрывает большая грудь силикон в своих трудах ряд авторов. Наш╦л я только около 5 статей по растут ли груди от капусты. Это, пожалуй лучшая статья про груди разрезаны. Даже если предположить, что растут ли груди от капусты имеет значение - пояснить это сложно... Довольно неохотно люди соглашаются на это (очень болит грудь перед менструацией). Обширный каталог ресурсов по девушка размер груди лифчик лопается. Эти грудь лара крофт были широко распространены на средневековом Востоке, до наших дней они, к сожалению, не сохранились. Это, пожалуй лучшая статья про голая смехова. Как, ты не знаешь что такое растут ли груди от капусты?! Кто думает, что огромные как арбузы груди - скучно, могут быть свободны, вот! Дальше, Продолжить, Более подробно - здесь, Более подробно - здесь, Более подробно - здесь, Далее, Подробнее..., Продолжить, Другие документы, Ещ╦ ссылки,

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]drgs
2007-09-15 22:06 (ссылка)
est' vtoroj generator, ispolzuemyj mnoju v drugih celjah:

http://yesedoct2001.livejournal.com/
http://amanskindev.livejournal.com/
etc..

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tiphareth
2007-09-23 15:48 (ссылка)
Мощная сралка. Уважаю.

(Ответить) (Уровень выше)


[info]kouzdra
2007-09-23 16:52 (ссылка)
А какие цели - я второпях принял это за попытку создать аккаунты, защищенные от убивания антиспаммерской автоматикой LJ.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tiphareth
2007-09-23 19:54 (ссылка)
Это для раскрутки блога в рэйтингах ("оптимизация траффика".

А скажи, дорогой - можно ль твоей приблудой чистить
сообщество? У меня насрато
http://lj.rossia.org/community/ljr_zhaloby/21233.html?nc=547

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-23 20:03 (ссылка)
Можно - я срач в своем посте в том же сообществе вычистил (сейчас посмотрел - там опять насрано - прибью). Все, что надо - иметь права на удаление оттуда комментов.

Я могу сделать cmd-line интерфейс, чтобы не прямо в сорцах прописывать - это просто делается - только ты попробуй ее у себя хотя бы запустить с бинарника - чтобы мне зря не париться. Собрать ее не очень просто - там довольно много чего еще надо ставить.

Если бы у тебя там не анонимы срали - ничего вообще бы делать было не надо, а интерфейса для сноса комментов по IP я не делал. Только по списку юзеров.

Если не запустится - дай мне права (или пароль/логин временно), потом уберешь.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tiphareth
2007-09-23 20:37 (ссылка)
Запустил бинарий, говорит
"Floating point exception"

сейчас откомпилирую

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tiphareth
2007-09-23 20:39 (ссылка)
Бля
Сколько библитек ставить

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-23 20:46 (ссылка)
Там на самом деле надо ставить собственно OcamlNet (все остальное, кроме Ocaml вторично). Но ее установка довольно гемморойна. Она много чего тянет. Под Вынь - так вообще страшно. [info]polytheme обещал помочь, но пока как-то не очень выходит.

А мне пока как-то лениво еще и этим заниматься. С другой стороны - пока я ее единственнный юзерь, у меня и мотива особенного портабельность увеличивать нет (у меня на компе все и так собирается). А если хотя бы ты подтянешься - могу подумать и попробовать как-то улучшить.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tiphareth
2007-09-23 21:15 (ссылка)
Бля.

Установил дофига всякого, но ocamlnet-2.2.8.1
вместо компиляции дохнет с ужасным воплем

ocamlfind ocamlc -g -I ../../src/netsys -package "unix pcre" -package camlp4 -syntax camlp4o -c netdate.ml
Warning: the following methods are overriden by the inherited class:
complain_closed
ocamlfind ocamlc -g -I ../../src/netsys -package "unix pcre" -package camlp4 -syntax camlp4o -c netdate.mli
ocamlfind ocamlc -g -I ../../src/netsys -package "unix pcre" -package camlp4 -syntax camlp4o -c netdate.ml
The implementation netdate.ml does not match the interface netdate.cmi:
The field `mk_usenet_date' is required but not provided
The field `mk_mail_date' is required but not provided
The field `format' is required but not provided
The field `format_to' is required but not provided
The field `parse_epoch' is required but not provided
The field `since_epoch' is required but not provided
The field `parse' is required but not provided
The field `create' is required but not provided
The field `localzone' is required but not provided
The field `t' is required but not provided
make[1]: *** [netdate.cmo] Error 2
make[1]: Leaving directory `/usr/local/src/ocamlnet-2.2.8.1/src/netstring'

(Ответить) (Уровень выше)


[info]tiphareth
2007-09-23 21:19 (ссылка)
Дал тебе модераторские привилегии
к [info]ljr_zhaloby@lj, ты ж у нас практически администратор по-любому.
Хватит ли этого для борьбы с говном?

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-23 21:30 (ссылка)
OK. Cделано.

На всякий случай предупреждаю - данная метода сносит все комменты, сделанные в диапазоне времени от первого говна до последнего. Если кто-то нормальный встрянет в тему - его тоже прибьет. Collateral damage, хоть над этим и можно работать.

(Ответить) (Уровень выше)


[info]kouzdra
2007-09-23 22:50 (ссылка)
Я дерьмо пару раз снес. Но оно все продолжает падать. Я в принципер могу демона лоя автоубиения дерьма написать. Но оно
1) несколько ленивно
2) что-то мне подсказывает, что проблема будет решена раньшеи и
техноложескими методами.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]tiphareth
2007-09-23 23:16 (ссылка)
Да черт с ним. Пусть накопится еще хоть сотни три.

Я отключил отправку комментов е-мэйлом с данной записи,
так что ничего мне не делается. Сейчас он их вообще
заскриненные оставляет.

Глупый вредитель - большое облегчение, после
сравнительно умного.

Но попробуй, если можно, сделать код comments-remove
хоть немного портабельнее. Типа - отчего она мне
floating point exception выдает? GTK что ли
несовмещается? Может, можно к ней ncurses-интерфэйс
привертеть? Или сделать ее httpd-сервером, чтоб
общаться с ней по http (как с CUPS)? Чтоб
не было нужды в красивом интерфэйсе.

У меня, кстати, linux-2.6.8.1-12mdk
(Mandrake, типа, 10.1 или вроде того)

Такие дела
Миша

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]kouzdra
2007-09-24 09:14 (ссылка)
Я вечером может поотлаживаюсь на предмет работы с сообществами и анонимами - у меня пока не было повода - так что оно может и к лучшему.

Типа - отчего она мне floating point exception выдает? GTK что ли
несовмещается?

ХЗ. Скорее всего какие-то .so-шки просто несовмещаются. Потом может соберу статически. Там скорее всего не в интерфейсе дело.

Или сделать ее httpd-сервером, чтоб общаться с ней по http

Это я уже думал. В принципе самое разумное, наверное и соберусь, только не прямо сейчас.

(Ответить) (Уровень выше)


[info]kouzdra
2007-09-24 16:21 (ссылка)
Говно вроде перестало поступать - что очень обидно - потому что я только вроде бы наладил программку для того, чтобы его автоматически детектить и сносить (критерий - более 2 комментов в минуту с одного итого же IP в течение определенного интервала времени). Так и не проверил.

В принципе - потом может стоит в движок воткнуть - чтобы при частых комментах с одного и того же ip давать отказы.

(Ответить) (Уровень выше)


[info]kouzdra
2007-09-23 20:19 (ссылка)
PS: Срач у себя прибил.

(Ответить) (Уровень выше)