LJ.Rossia.org fork development.'s Journal
 
[Most Recent Entries] [Calendar View] [Friends]

Below are the 10 most recent journal entries recorded in LJ.Rossia.org fork development.'s LiveJournal:

    Monday, July 20th, 2020
    11:12 pm
    [mironovd]

    Disclaimer.


    Просьба не путать это сообщество с [info]ljr_todo@lj и с [info]ljr_bugs@lj. Здесь не рассматриваются жалобы/просьбы пользователей, а, напротив, обсуждаются внутренние проблемы движка и методы его улучшения. Необходимыми условиями для вступления являются знание исходного кода LJ и/или хороший опыт программирования на Perl и прочие полезные знания/умения (например, администрирование/настройка RDBMS).
    Thursday, July 19th, 2012
    10:51 pm
    [mironovd]
    Задачи, связанные с перестройкой движка LJR.

    1. Сделать возможность использования различных БД. Очень хочется, чтобы была возможность использовать Postgres, Firebird/IB, MaxBD (бывший SAP, сейчас разрабатывается Mysql.com), Ingress (сейчас уже opensource). Необходимо привести все запросы в соответствие с SQL92/SQL99 (Imagenit, можешь просмотреть и выделить несовместимые?).

    2. Отказаться от использования memcached. Заменит его какой-нибудь другой, работающей, системой кэширования данных. Или выкинуть нафиг совсем...

    3. Избавиться от артефактов перехода со старой схемы БД , как уже описанная ранее мной проблема с юзерпиками.

    4. Изменить пакет отправки почты с MIME::Lite на что-нибудь разумное.

    5. Проверить работоспособность с Apache2.

    6. Wiki-markup система взамен <lj>-tag. (На мой взгляд, переход на wiki-markup благотворно повлияет на все проблемы с <lj>/<ljr>-tag)

    Эти задачи являются довольно приоритетными и стоит ими заниматься.

    ... А не переписать ли все это на Ruby???

    Friday, March 14th, 2008
    12:39 pm
    [kouzdra]
    Apache compression
    Я тут заметил, что при обращениях к LJR (и веротяно ко всему ленину) не используется сжатие. Mozilla морально готова пользоваться gzip compression и соответствующие запросы в Accept-Endodings прописывает. Насколько я понимаю - это надо где-то в настройках апача прописать, но я не очень компетентен в данном вопросе.

    PS: http://www.websiteoptimization.com/speed/tweak/compress/
    Monday, November 13th, 2006
    12:53 pm
    [kouzdra]
    А есть такой вопрос - такая фича LJ, как customview у нас есть?
    (http://community.livejournal.com/howto/16676.html)

    Или это какое-то нововведение LJ?
    Friday, July 29th, 2005
    11:22 pm
    [kouzdra]
    Я в каком-то виде довел до ума свой вариант lj-gate.


    Там причесан код (как мне кажется - довольно аккуратно) и избавлено от затеи с -10 минут (и фиксированного сдвига по времени). Ставить это сейчас не стоит, собака еще молодая, но я был бы признателен, если бы компетентные товарищи посмотрели на это дело и решили, что с этим делать дальше и стоит ли чего-то делать.

    Известные проблемы: в режиме только гейтования все должно быть хорошо, но если пользователь запостит в LJ-шный дневник постиннг руками - вероятно будут проблемы с backdate. Так же syncitems идейно правилен (с ним логика куда прозрачнее), но видимо нежелателен по соображеням эффективности. Ну и возможны глюки.

    Я бы не стал это сейчас посылать, но я завтра на несколько дней опять отваливаю и мне хотелось бы хотя бы минимального feedback'a.

    Upd:Кстати - тормозит гейт, скорее всего, потому что он каждые 10 минут должен опросить все трансляции, а сделать это кроме как тупо спросив про каждую, никак невозможно. Я думаю, что это и жрет основное время - постит любой человек гораздо реже. То есть у человека максимум 5 постингов в день - а запросов на него выдается за день почти 6*24=144.

    Так что syncitems вероятно можно и не выкидывать. А вот если дополнить функциональность syncitems возможностью спросить сразу про пачку пользователей я думаю, проблема вполне решится (его еще бы не помешало и нотификацией о удалениях дополнить - о новых комментах он вроде сообщает, хотя дока и утверждает, что это не реализовано).

    README из архива )
    7:15 pm
    [tiphareth]
    Итак,
    поставили наконец server-status,
    и все стало гораздо яснее.
    Вот типичный слепок со статуса
    (типичный за последние сутки - я его
    перегружаю постоянно)

    Read more... )

    И что видно из сего?

    А видно то, что 95% из всех процессов Апача
    (из которых каждый, я хочу отметить, жрет по
    50 мегабайт) заняты совершенно не тем.
    А именно:

    1. Примерно половина грузят статику

    2. 40% занимаются тем, что считывают
    записи LJ через клиентский интерфэйс.
    Эти 40% жрут вчетверо больше ресурсов,
    чем все остальное вместе взятое.

    3. Из оставшихся 10% половина грузят
    жабий скрип.

    Приоритетные направления оптимизации из этого
    совершенно ясны: это

    1. Перевод статики на другой сервер (на днях
    я сие обеспечу, если никто не возражает)

    2. Избавление lj-gate от /interface/xmlrpc
    который, судя по всему, совершенно сломан.
    Надо исправить его на /interface/plain
    либо (если это не улучшит ситуации)
    вообще заменить на прямое обращение
    к базе.

    На сей момент гэйт жрет больше половины ресурсов
    системы, при том, что им пользуются считанные десятки -
    это категорически неправильно.

    А в целом - мы имеем (при 1863 пользователях)
    load average 0.30. Это при том, что при 1-1.5
    она работает идеально, а при 4-5 работает
    без особых проблем (хотя и тормозит).
    То есть 20000 дневников, видимо, можно
    у нас и без всякой оптимизации запустить;
    просто не хочется ждать, когда начнутся
    проблемы.

    Такие дела
    Миша

    Current Mood: blank
    Current Music: Fly Pan Am - Dans Ses Cheveux Soixante Circuits
    Sunday, July 24th, 2005
    4:00 pm
    [kouzdra]
    Я сейчас с подачи [info]yushi@lj переписываю lj-gate. Что делаю -
    помимо "причесывания" кода, пересаживаю его на syncitems, там
    все можно сделать куда корректнее, чем сейчас, в частности -
    update и delete там явно отличатся от create. И, безусловно, надо выкидывать
    этот страх с -10 минут, а просто запоминать в базе
    время последней синхронизации, отданное syncitems (он отдает именно
    реальное время события, а не дату для постинга) и от него
    и плясать в следующий раз.

    Единственный вопрос - что делать с новыми пользователями - можно либо
    стартовать от текущей даты, либо копировать дневник с самого начала.
    Второе, наверное, не очень хорошо, хотя можно сделать параметром.

    Сейчас я вынужден уехать на несколько дней - так что, если не горит,
    - не трогайте его сильно.
    Wednesday, July 20th, 2005
    11:20 pm
    [mironovd]
    Кстати, может быть, отрубить возможность включать [info]lj_fif@lj во френды? Смысла то в этом нет...
    Хотя вреда пока тоже.
    UPD: а вред понял: от него действительно FOAF сильно перекашивает.
    11:18 pm
    [mironovd]
    OpenID на помойку...
    Вердикт, похоже, таков. Брэд опять сделал изменение, все стало немедленно криво. Работать с ним невозможно.
    ИМХО, это дело стоит пока отключить. Нафиг. Иначе пользователи будут вопить.
    Подождем стейбла.
    Saturday, July 16th, 2005
    11:39 pm
    [mironovd]
    Существует теперь специальная привилегия 'create_protected_com', созданная специально для того, чтобы обходить запрет на создание сообществ с запрещенными именами.
    Сделано хаком в community/create.bml и добавлением информации о привилегии в базу.
About LJ.Rossia.org