Сайт lleo.me стал настолько летописью моей жизни и работы, что сам я постоянно ищу на нем разную забытую информацию. В каком году я впервые ездил в Минск? Нужно ли обжаривать лук с морковкой для моего рецепта рассольника? Где фотка Васи Обломова в Чертаново? Помню, когда-то мне советовали в комментах библиотеки синтеза речи, какие? И каждый раз я лезу искать.

А история системы поиска на lleo.me классическая. Сперва это был тупой поиск подстроки по всей базе заметок и комментариев. С годами база разрослась, ожидание результатов могло занимать целую минуту, иногда вешая сайт. И если ты ставил ключевое слово не в том падеже, поиск ничего не находил. Год назад я привинтил для экспериментов рядом с MySQL базу Postgres и включил там опции полнотекстового поиска. Стало быстро, но хреново. Поэтому лично для себя в админке я оставил опцию прежнего поиска подстроки. И на время прервал эксперименты. Но эпоха нейросетей подарила нам технологии смыслового поиска — когда нейросеть понимает смысл заметки и индексирует какими-то своими цифрами в форме вектора в своем 1000-мерном пространстве. А потом такой же смысловой вектор делается для каждого поискового запроса и база ищет близкие результаты. Проще говоря, на запрос «рассказ, где учитель вырастил слоненка» система должна выдать первым результатом поэму «Про тигренка», хотя совпадений слов нет вообще. Самый модный сегодня для этой цели инструмент — база Qdrant, и я собираюсь ею воспользоваться сперва по рабочим задачам, а затем для своего сайта и конечно для Биноника. Вспомнить стих Иртеньева, Быкова или Седова, не помня точных фраз, — та ещё задача.
( Read more... )

Здесь будет скучное для программистов. Но у меня тут много классных программистов, может, кому будет интересно.

Итак. Хоть у меня сейчас фактически нет работы и финансовая жопа, но тем не менее, есть по крайней мере один интересный проект для друзей-химиков из Испании, над которым с удовольствием работаю. О самом проекте я как-нибудь потом расскажу вам подробнее: это автоматизированная система подготовки воды для частных бассейнов, электроника которой и датчики позволяют поддерживать оптимальные и своевременные режимы очистки с использованием минимума химикатов из нетоксичных. Соответственно, проекту нужна электроника, и до меня их моделька была на моей любимой ESP. Понятно, что бассейны разбросаны по глобусу хрен знает, где. Нужна хорошая связь с ними и управление в реальном времени, особенно на первых порах, пока отлаживается технология и нужно много наблюдать, делать эксперименты, включать разные агрегаты и снова смотреть данные. Это нужно и авторам проекта, и самим владельцам, и вообще. Короче, нужна какая-то надежная, быстрая и мгновенно реагирующая система связи с устройствами.
( Read more... )