Изначально там стояла ссылка на текст книги, защищенный паролем, и рядом был указан этот пароль.

Конечно, запрет на индексацию — это только просьба, и разработчики роботов сами решают, соблюдать его или нет. Гугль я упоминал к тому, что не нужно было особо стараться, чтобы найти запись Урбана. Возможно, я что-то не так понял в Вашей предыдущей реплике, и это было не к месту.