То, что он принял во внимание желания некоторых авторов.

Но он ни в коем случае не обязан был это делать.

По мне - строго наоборот. Принимая во внимание желание некоторых авторов, яндекс игнорирует желания миллионов своих пользователей-читателей, на которых и зарабатывает. То есть эта вежливость достигается не за счет самого яндекса, а за счет его пользователей-читателей. Не знаю, кто как, а мне вежливость за чужой счет не кажется великим достоинством. Очевидно, что это возможно только потому, что все эти неиднексируемые сайты остаются крайне маргинальны. Если бы дело обстояло иначе, то отказ от такой псевдо-вежливости стал бы важным инструментом конкуренции, и пользователи бы перекочевали к такому поисковику, который объявил бы об игнорировании пожеланий сайтовладельцев касательно неиндексирования их сайтов.

Это конечно уже Яндексу решать.

Хотя, возьмем пример Google. У них есть девиз "Do no evil". Они всегда согласны удалить ваш сайт из своего индекса. Но получается так, что те сайты которые удаляются сами становятся маргинальными, а их контент легко восполняется материалами подобных сайтов которие таки-да проиндексированы на Гугле.

В итоге, Гугл избегает нападки всяческих "прайваси"-активистов, и все равно предлагает своим пользователям довольно качественный продукт. И волки целы и овцы сыты, так сказать :)

Думаю, что здесь произойдет то же самое. Всякие крикуны найдут себе новую цель, а Яндекс будет спокойно предлагать поиск по большей части русскоязычного ЖЖ.

оставляя вопрос, что яндекс зарабатывает на рекламодателях, а не на пользователях, напомню более важное:

на обычных сайтах ставится файл robots.txt
его указаниям подчиняются ВСЕ поисковики
это стандарт
ну вот - так же, как любой вебмастер имеет право определить сам в robots.txt, какие файлы его сервера индексировать, а какие нет - такие же права нам даёт эта пресловутая птичка отказа от индексации дневника. просто другая реализация того же стандарта.

ты удивишься, если узнаешь, какое большое число файлов и директорий не индексируется принципиально. это не абстрактная, это работающая вещь, в постоянном пользовании практиков.

Так разговор же весь о том, что подчиняются поисковики этому стандарту добровольно (да и то не всегда (http://www.webmasterworld.com/forum93/411.htm)).

У HTML и CSS тоже есть стандарты, это не значит, что IE или Netscape соблюдают из всегда и везде.

я о том, что представление, что в мире есть капелька маргинальных неиндексируемых сайтов - неверное. немаргинальные поисковики уважают robots.txt и явно это описывают, и яндекс не исключение. (http://webmaster.yandex.ru/faq.xml?id=502499#robot)
абсолютно не маргинальные вебмастера прописывают этот файл ежедневно.

Насколько я понимаю, чаще всего robots.txt используют не для того, чтобы запретить поиск на сайте, а чтобы ограничить нагрузку на сервер. Это вполне реальные требования к поисковикам, и если они их не соблюдают, индексирование отрубается на корню - на файруолл ставится запрет на их IP.

Здесь же несколько другая постановка вопроса: я написал что-то, и дал возможность всему миру это посмотреть. Однако я не хочу, чтобы вы это индексировали из-за каких-то соображений. Можно скривиться и соблюдать это желание, а можно и нет, в зависимости от желаний пользователей данного поисковика.

В любом случае, утверждать, что кто-то имеет право контролировать распространение документа, который уже и так доступен абсолютно всем, безсмысленно.

ip роботов меняются часто, все не запретишь
реальная ситуация с запретом индексирования директорий: вот лежит на сервере директория, на которую никаких ссылок с собственно сайта. но не защищённая паролями. ну выложила организация всякие не особо секретные файлы для сотрудников, доступные из любого места, например из офиса клиента в другом городе. исходя из "кому надо - знает прямой url документа и имеет доступ, остальные его не увидят". однако проходит время и прямые ссылки на документы появляются, например, в файлах статистики, например, у того же клиента. есть, знаете ли, такие дурацкие админы, у которых отчёты лог-анализатора формируются как открытые html-документы. и вот по этим ссылкам роботы начинают находить ту директорию. здесь и срабатывает robots.txt.
это некоторая аналогия происходящему.
кстати, подозреваю, что при выставлении пользователем блога галочки "не индексировать" соответствующая директория просто автоматически вносится в тот самый robots.txt сервера, в данном случае livejournal.com - а как ещё-то?

По поводу секретных файлов в открытых директориях - это уже диагноз, тут никакие роботы не спасут. Расчитывать на то, что поисковики не выдадут вашу секретную информацию это халатность, мягко говоря.

А каким образом Яндекс проиндексировал запретные болги не знаю. Думаю, что они перекупили у кого-то технологию (например у lj.crossroads.ru), а те не уважали роботов.

Да, вот еще вопрос - как с постингами быть. Допустим я не хочу, чтобы мои комментарии на журнале bbb@lj были индексированы. Но реально такой возможности у меня нет. В этом случае поведение роботов не меняется, однако теперь они делают что-то с моими комментариями против моей воли.

Или наоборот - я оставил комментарий у corsica@lj с надеждой, что его проиндексируют, а мне большую дулю показывают. Нехорошо ведь :)

ну, я приводила пример из известной мне жизни, но не своей :)
у меня диагноза нет :)

кстати, подозреваю, что при выставлении пользователем блога галочки "не индексировать" соответствующая директория просто автоматически вносится в тот самый robots.txt сервера, в данном случае livejournal.com - а как ещё-то?

От этого утверждения и отвеча induke@lj я, откровенно говоря, совсем обалдеваю. Обращаю внимание, что вы с ним обсуждаете не неизвестно какой robots.txt, а вполне конкретный. Если вам вдруг лень набрать этот url, вот он: http://www.livejournal.com/robots.txt . Нажмите на эту ссылку и посмотрите что там написано! Вы увидите, что там не запрещен ни один журнал.

На самом деле по стандартам-традициям хозяин сайта может запретить не только в robots.txt (который, действительно, изначально придуман для уменьшения нагрузки на сервер), а еще и в специальном HTML-тэге, пример которого можно пронаблюдать на той же странице http://www.livejournal.com/users/corsika/

<meta name="robots" content="noindex, nofollow, noarchive" />

Яндекс.Блоги же индексируют информацию из RSS-фида, в данном случае http://www.livejournal.com/users/corsika/data/rss . В этом файле никаких сдедов запрета индексации нет. Поэтому в первые дни работы Яндекс.Блогов запрещенные дурналы и индексировались. Теперь специально для livejournal был сделан специальный (довольно грязный) хак, чтобы узнавать, запрезен конкретный журнал или нет.

спасибо большое!

Уточняю. Хак - не грязный, а просто кривой. Яндексу стыдиться нечего, проблемы на стороне LJ: кроме непоредственно самодеятельности с файлом robots.txt, они еще несколько мимо стандарта попадают... Так что факт учета "специфики" LJ Яндексом - акт доброй воли. Все остальные могут легко обойтись без такового, если выполнят необременительную модификацию при формировании RSS файлов.

Конечно, зарабатывает яндекс именно на пользователях, потому что рекламодатели размещают у него рекламу только потому, что рассчитывают на пользователей.

Далее, ты говоришь - "стандарт". Это не стандарт, а имеющаяся на сегодняшний день ситуация. Подумай, как молодо все это наше интернетное дело, с какой фантастической скоростью развивается. На самом деле абсолютно ничего тут не устоялось, все поменялось сто раз за, страшно подумать, с какого-нибудь 96-го года или когда стало реально говорить об интернете как массовом пространстве. Мы даже не заметили, как очутились в новой жизни. Особенно это ощущается, конечно, в Америке, где через интернет делается вообще все - теперь первая реакция на любую информационную проблему в широком смысле (включая "найти и купить") состоит в автоматическом открывании гугля.

Соответственно, роль поисковиков в жизни людей менятся драматически. Теперь это уже не самодеятельная примочка для нашего дружного комьюнити интернетчиков, имплицитно противостоящего океану ламеров. И правила жизни - тоже будут меняться.

В мире дружного комьюнити (скажем, вот есть тут в ЖЖ большое комьюнити поэтов, которые даже ездят толпами из москв в ленинграды и киевы и обратно) вполне нормально, когда один член комьюнити обращается к другим - ребята, такое дело, вы вот эти мои стихи, конечно, читайте, но на публику не надо, ОК? В мире безличного общества такой номер не пройдет - тут аналогом будет не кружок поэтов, а библиотекари, каталогизаторы и т.д., которые делают свое дело для своих массовых читателей и пользователей, и жеманные просьбы авторов им по барабану.

Да, переход из тепличной жизни комьюнити в "бездушный мир рынка" бывает тяжел, но он неизбежен. В мире печатной продукции такой переход уже произошел и все его воспринимают как данность. В интернете, видимо, еще происходит.

Видимо, это напоминает момент возникновения массовых публичных библиотек (не была ли Библиотека Конгресса первой из них? или это была библиотека Британского музея?). Если до того книги собирали любители, и можно было с ними "договариваться" (я слыхал, у тебя остался экземпляр моего тиража - мне сегодня так стыдно за ту книгу, ты ее выкини, брат, или никому не давай), то с библиотекой - никак.

понимаю этот коммент как просветительский и обращённый к широкой публике читателей этого треда, а не ко мне :)
я, хоть у меня галка и стоит - ну пока можно было оттянуть неизбежное, я пользовалась - на самом деле всё понимаю так же. я сюда влезла не про плохих гадов поругаться, попирающих мою прайваси. а только откомментировать ситуацию - внести уточнения. все эти вещи про robots.txt и про соответствующий стандарт w3 (http://www.w3.org/Search/9605-Indexing-Workshop/ReportOutcomes/Spidering.txt") ты вообще как бы не учитывал и описывал ситуацию как уже случившуюся с небольшими маргинальными исключениями - я лишь пояснила, что это не совсем так.

борь, что-то ты не то говоришь.
видится, что все проще. есть блог-сервис, который указывает возможность для каждого пользователя по его (пользователя) сугубому желанию вывесить "признак", что он (пользователь) не хочет, чтобы с тем, что он (пользователь) делает в рамках этого сервиса другие сервисы делали какие-то свои сервисные действия - например, поисковики индексировали. Этот блог-сервис имеет возможность это "показать" сервису. Совершенно нормально, чтобы это желание пользователя другие сервисы уважали. Сознательный отказ в таком поведении означает, что этот сервис не уважает недвусмысленно высказанную волю пользователя блог-сервиса, что некрасиво.
Причем тут все остальное-то?
И довод про "инструмент конкуренции" - контр-продуктивный; пользователи блог-сервисов, которых этот вопрос беспокоит - и которые собственно в рамках этого своего беспокойства и высказали такое пожелание - просто либо уйдут в приват, либо вообще перестанут пользоваться этим блог-сервисом. И кто тут окажется в выигрыше? Никто.

В этой конструкции присутствуют авторы текстов, серверы блогов и серверы поисковиков, и все выглядит гармонично. Это просто потому, что в ней потерян главный элемент - читатель-пользователь поисковика.

ага. потому что авторы текстов не ему пишут. и все уважают этот подход. кроме тебя :)

Сразу отмечу, что юридические аспекты обсуждаемого вопроса для меня так и остались неясными.

С другой стороны, автор, выкладывая материал в ЖЖ и не разрешая его индексировать, рассчитывает на вполне определенный объем аудитории. Если его ожидания не оправдаются вопреки его явно выраженной воле, вполне вероятно, что он перестанет выкладывать эту информацию вообще. Кто от этого выиграет?

С третьей стороны, позиция ЖЖ тоже выражена достаточно четко: стоящая опция запрета индексирования означает нежелательность индексирования. Действия Яндекса вопреки этой позиции могли бы привести к ответной реакции ЖЖ, который тоже должен защищать своих пользователей. Например, могли бы совсем отрубить Яндексу доступ или сделать что-то в этом роде. Кто от этого выиграет? Во всяком случае, не пользователи-читатели.

Часто, поступившись своими правами во имя интересов других, мы в результате выигрываем

Кто эти "мы", которые выигрываем? Я - не выигрываю. Пользователи яндекса - не выигрывают.

Если кого-то волнует приватность, то есть множество способов ее обеспечить. Замочки, пассворды.

Обязательно выиграем. И Вы, и я, и пользователи Яндекса.

Или наоборот - проиграем, если не проявим добрую волю. Потому что навесят замков и пассвордов, и информация станет совсем недоступна. То есть конечный результат может оказаться не тот, на который Вы первоначально рассчитываете.

Должны ли такие вещи регулироваться правом или нетикетом - не знаю.

Пользователи яндекса, по большому счету, и не проигрывают. Думаю, возможность поиска по журналам не желающих того авторов очень мало кому нужна. Сделали бы например опрос об этом -- мы бы хоть какое-то представление о проценте таких желающих получили. Кроме того, для поисковика довольно бессмысленно находить ссылки на журналы нежелающих того людей именно потому, что те всегда могут "повесить замок".

Придумал, как сформулировать то же на языке права.

Выставляя соответствующую опцию, хозяева сервера ЖЖ, вывешивают знак, запрещающий въезд поисковиков на соответствующие дорожки и кластеры жесткого диска, являющегося частным владением.

Или, точнее, поисковикам запрещается воздействовать на сервер ЖЖ электрическим сигналом такой конфигурации, который (согласно TCP/IP, HTTP и другим общепризнанным протоколам)вызывает обращение сервера ЖЖ к этим секторам.

Казуистика!

Проблема в том, что хозяева сервера не имеют средств и возможности определить, кто к ним залезает, робот-индексатор или кто-то другой, поэтому то, что вы назвали "запретом", на самом деле остается всего лишь просьбой. Если бы роботы вычислялись, то использовался бы мехинмзм их блокирования, не пропускающий даже тех, кто не уважает указанную просьбу.

Это примерно как объявление, позволяющее проходить в парк всем, кроме злых и нехороших. Ясно, что такое объявление не несет правовой нагрузки.

>>что хозяева сервера не имеют средств и возможности определить, кто к ним залезает, робот-индексатор или кто-то другой

Как правило, хозяева поисковиков занимаются своей деятельностью открыто, а результат ее доступен для всех :) Я думаю, они не станут отпираться и под присягой.

>>кроме злых и нехороших. Ясно, что такое объявление не несет правовой нагрузки

В силу размытости грани между добром и злом. Разницу между search engine и natural person суд легко определит :)

Я не являюсь IT-специалистом, но полагаю, что и ТЕХНИЧЕСКИ отличтить живого юзера от поисковика - не проблема.
Например, можно наставить невидимых для человека ложных ссылок "белое-на-белом", по которым тупой робот начинает ходить, после чего его IP попадает в "черный список", если робот нарушает правила для роботов.
Конечно, на любую хитрость можно придумать контрхитрость, последует война подобная нынешней войне спаммеров с почтовыми серверами, а мы с Вами только проиграем.
В любой войне страдает мирное население :(

можно наставить невидимых для человека ложных ссылок "белое-на-белом"

На Psionе я их увижу, например.

Во-первых, я не настаиваю на этом варианте, можно придумать что-то еще, например прозрачный гиф величиной в один пиксель или просто надпись "сюда не кликать!".

Во-вторых, я сразу утверждал, что от подобной "войны" в первую очередь пострадают пользователи.

ещё одно:
не знаю, есть ли платные поисковики. которые реально бизнес-моделью имеют зарабатывание на продаже результатов поиска пользователям. такие поисковики, если есть - конечно, будут действовать как ты говоришь.

в настоящий момент базовая бизнес-модель другая. что бы они ни декларировали, зарабатывают они на продаже рекламы (в последнее время всё больше - контекстной). то есть именно на владельцах сайтов. да, конечно, чем полнее и релевантнее поисковая выдача, тем больше посетителей - тем больше рекламный заработок; но это более косвенная заинтересованность, чем прямая во владельцах сайтов. и они предлагают всё новые платные механизмы для позиционирования себя сайтам, и всё более изощрённо их настраивают и дают настраивать сайтам-рекламодателям. вебмастера, а не посетители поиска, их постоянные корреспонденты в форуме и в мейле. и т.д.

Есть поисковики которые продают результаты поиска; Lexis-Nexis, например.

да, это я стормозила :)

А что, разве Lexis-Nexis ищет по интернету?

Нет, но это суть не меняет.

Если нужен платный поиск по интернету, есть Google Answers, например.

Значит, нам нужен другой Яндекс, который наплюет на мудаков типа Корсики !

хотя, на кой же чорт индексировать блоги идиотов ?
это я не подумал, да.

у меня тоже выставлена галка :)

каждая рыба - селедка, но не каждая селедка - рыба ... ой, т.е. наоборот ... в общем, ты поняла ;-)

Знаешь анекдот про хиппи - "Девушка, передайте пять копеек на билет. А я не девушка..."?

я его придумала

вот и врешь!

ну, с высоты тех 20-22х лет, что прошли с момента, как я его первый раз услышала, это неважно.

яндекс для мудаков типа тошика?

теперь счет выравнялся - так что позвольте мне ЭТУ ветку заморозить :)