Ну тут два аспекта.
1. Нельзя договариваться не имея правил или имея слишком сложные правила. Первое понятно почему, а второе из опыта. Никто этих правил попросту не понимает, если они сложные. Кроме тех, кто их придумал.
2. Должна существовать некая сила, внешняя или внутренняя, которая определяет наличие договоренности и "правильность" поведения для достижения договоренности. "Сила" - название условное и ближе в данном случае к физической своей ипостаси, а не к социальной. Этой силой на примере ЖЖ может быть смотритель сообщества, который может забанить нарушающего правила или удалить его высказывание (более широко - власть, полиция, принуждение в целом). Этой силой может быть некий актив пользователей (участников сообщества, ведущих диалог), которые в рамках установленных правил действуют (будь они формализованы или нет) и э-э, ну скажем, своим примером дают пример любым новым членам сообщества, а если те не понимают, то и окорот дадут. Аналога в нынешнем (оффлайновом) обществе, за исключением, может быть, профессиональной сферы, где есть авторитеты, я не знаю. Возможно, место такого актива могли бы занять общественные организации, но им пока очень сложно. Это и благотворительные организации, и правозащитные (не политические, а сообщества автовладельцев или Институт развития свободы информации), и профсоюзы, и т.п. Все борятся за свои интересы, но способны, как правило, слышать и других. Третья сила, которую я вижу - это совместная цель или результат. В ЖЖ довольно мало примеров, но вот перевод доклада по поводу событий в Грузии прошлого года, объединивший нескольких пользователей - такой пример, наверное. В оффлайне - это бизнес, например. У каждого свои цели, но для достижения общей цели представители бизнеса могут объединиться в консорциум, договориться. Например, для получения государственного заказа. Наверное, и еще какие-то силы возможны.