Лаборатория в смартфоне: изучаем эффект Доплера на палочках в Android

В этой статье мы познакомимся с эффектом Доплера, но не так, как это рассказывается в школьном учебнике физики, а посредством своих любопытных глазок и ушек. Поможет нам в этом специально разработанное мной приложение для Андроид-смартфона.

Статья предназначена для девочек и мальчиков, а также их родителей.

Читать далее

(Comment on this)

Главное по ML/DL, часть 2: Вопрос → Краткий ответ → Разбор → Пример кода. SVD/PCA. Bias-variance. Деревья. Бустинг

У каждого наступает момент, когда нужно быстро освежить в памяти огромный пласт информации по всему ML. Причины разные - подготовка к собеседованию, начало преподавания или просто найти вдохновение.

Времени мало, объема много, цели амбициозные - нужно научиться легко и быстро объяснять, но так же не лишая полноты!

???? Обращу внимание, самый действенный способ разобраться и запомнить - это своими руками поисследовать задачу! Это самое важное, оно происходит в секции с кодом. Поэтому попробуйте сами решить предложенную задачку и придумать свою!

Будет здорово получить ваши задачи и в следующих выпусках разобрать!

Мы продолжаем. Обязательно испытайте себя в предыдущей [1] части!

Взглянуть на старое под новым углом

(Comment on this)

Математика бэкдора в Dual EC DRBG

Dual EC DRBG - нашумевшая схема генератора псевдослучайных чисел, который был стандартизован, несмотря на потенциальный бэкдор. Математическая часть данного бэкдора интересна и сама по себе, но особенно - как важная веха в истории современной криптографии. Статья посвящена математической части бэкдора и в деталях объясняет то, почему он работает. Для понимания потребуется хотя бы минимальное знакомство с основными понятиями алгебры и криптографии.

Читать далее

(Comment on this)

Пример применения алгоритма Берлекэмпа-Месси

Алгоритм Берлекэмпа-Месси используется для поиска минимального многочлена ЛРП. Его внешний вид может быть слегка пугающим, особенно если без должной подготовки нарваться на доказательства его корректности. Мы же здесь просто посмотрим работу данного алгоритма на конкретном примере и произведём проверку с помощью средств линейной алгебры.

Читать далее

(Comment on this)

Последовательность Фибоначчи как ЛРП или что делать, если хочется найти период у бесконечной последовательности?

Эта заметка про поиск так называемого периода Пизано, то есть периода последовательности Фибоначчи по простому модулю. Про сам этот период написано довольно много, но моё домашнее задание было достаточно конкретным, продемонстрировать связь порядка и периода. Я же, в качестве бонуса, опишу стратегию поведения и для случая когда правило "порядок это период" не актуально.

Читать далее

(Comment on this)

[Перевод] Тайное уравнение, позволявшее США следить за всеми

В 2006 году АНБ скрыла в криптографическом стандарте Dual EC DRBG математический бэкдор. Агентство отрицало его наличие восемь лет. Затем утечки Сноудена подтвердили его существование.

Двойные эллиптические кривые (Dual Elliptic Curve) используются как безопасные генераторы случайных чисел (RNG). Математический бэкдор позволял правительству США расшифровывать SSL-трафик Интернета (Green 2013)¹.

Эта статья будет технически глубоким исследованием для программистов. Мы реализуем и исходную правительственную научную статью (SP 800-90 2006)², и бэкдор, обнаруженный исследователями Microsoft (Shumow & Ferguson 2007)³.

На моём домашнем компьютере для взлома 28 байт (не бит) при помощи этого бэкдора требуется 2 минуты. Представьте, какой объём Интернет-трафика правительство США могло расшифровывать при помощи суперкомпьютеров Министерства обороны.

Читать далее

(Comment on this)

ChatGPT на экзамене в ШАД 2025

В статье мы разберём задачи с онлайн-экзамена в ШАД в 2025 году. Посмотрим как решал этот экзамен искусственный интеллект.

По традиции экзамены в ШАД в 2025 году начались в мае. Первый этап - онлайн-тестирование. Прошедших онлайн-тестирование приглашают на второй этап - онлайн-экзамен. Особо отличившихся на онлайн-тестировании приглашают на олимпиаду. После онлайн-экзамена ожидается серия собеседований.

Организаторы разрешили пользоваться чем угодно кроме мессенджеров. Даже использование LLM не запрещалось.

Вот сводная таблица результатов различных LLM по задачам с онлайн-экзамена:

Читать далее

(Comment on this)

Кривая спроса в недвижимости: «Как использовать то, чего нет» или Искусство стрельбы по движущимся мишеням

В прошлой статье мы разобрали, почему детерминированной «кривой спроса» в недвижимости не существует. Спрос — это не просто функция от цены, а результирующая влияния бесконечного количества факторов: макроэкономики, ключевой ставки ЦБ, маркетинговых усилий застройщика, навыков команды продаж, действий конкурентов, сезонности, курса доллара и т.д.

Что это значит для застройщиков:

Читать далее

(Comment on this)

Задача о пересечении интервалов (или зачем программисту MК стабильная сортировка)

В программировании микроконтроллеров эпизодически приходится решать задачу о выявлении пересечения интервалов.

На первый взгляд простая задачка, однако, как оказалось, реализовать такое в коде - это вовсе нетривиальная задачка. Но обо всём по порядку...

В этой заметка я представил свой алгоритм определения пересечений интервалов и его разбор.

Читать далее

(Comment on this)

[Перевод] Ищем игры для Atari в случайных данных

В рамках этого проекта я сгенерировал около 30 миллиардов файлов случайных данных по 4 КБ. Из этих файлов на основании эвристик из полной коллекции файлов ROM Atari было выбрано примерно 10 тысяч. Затем система классификатора просканировала их при помощи эмулятора Atari 2600, чтобы проверить, окажется ли какой-то из этих случайных файлов игрой для Atari. Этот проект отвечает на вопросы, которые никто не задавал, он никому не нужен и представляет собой огромную пустую трату ресурсов. Что, если засунуть в GPU миллиард обезьян и заставить их написать игру для Atari 2600?

Благодаря прогрессу GPU, ИИ и машинного обучения сегодня мы можем (очень быстро) написать на Python скрипт, который дампит мусор в ROM по 4 КБ и спрашивает: «похоже ли это на игру?». Проект был создан не из ностальгии, моей первой консолью была NES. Я вознамерился исследовать нечто невообразимо обширное и посмотреть, найдётся ли там что-нибудь странное.

Читать далее

(Comment on this)

Особенность дискретного логарифма —> математический бэкдор в протоколе Диффи — Хеллмана

Продолжаю изучать криптографию, делюсь опытом. Нашел интересную особенность дискретного логарифма, которая превращается в математический бэкдор протокола Диффи — Хеллмана.

Читать далее

(Comment on this)

Краткая история бесконечности. Часть 2

В прошлой статье мы остановились на том, как Коши навел порядок в матанализе, изгнав из него актуальную бесконечность. Казалось бы, всё устаканилось, и можно строить математику на строгих и достоверных основаниях. Но история сказала на это «три раза ха». С конца XIX века и по сей день в математике творится такое, что Аристотелю не привиделось бы и в кошмаре. Сегодня у нас в программе: множество множеств, бесконечность бесконечностей, несколько парадоксов и один глобальный кризис оснований математики. Сделайте глубокий вдох и ныряйте под кат.

Читать далее

(Comment on this)

Модель суперпрогрессий и квантово-подобные свойства распределения простых чисел

Тэкс...
Сразу обозначу - я не математик, а посему прошу некоторого снисхождения к тексту ниже.

Пару лет назад попалась мне на глаза римановская гипотеза о распределении простых чисел. Беглый взгляд дал понять, что мне потребуются годы на изучение того о чем там вообще идет речь, однако ключевая проблема стоящая перед гипотезой, довольно проста для понимания.

Читать далее

(Comment on this)

Фундаментальные вопросы по ML/DL, часть 1: Вопрос → Краткий ответ → Разбор → Пример кода. Линейки. Байес. Регуляризация

У каждого наступает момент, когда нужно быстро освежить в памяти огромный пласт информации по всему ML. Причины разные - подготовка к собеседованию, начало преподавания или просто найти вдохновение.

Времени мало, объема много, цели амбициозные - нужно научиться легко и быстро объяснять, но так же не лишая полноты!

Обращу внимание, самый действенный способ разобраться и запомнить - это своими руками поисследовать задачу! Это самое важное, оно происходит в секции с кодом.

Будет здорово получить ваши задачи и разобрать в следующих выпусках!

Взглянуть на старое под новым углом

(Comment on this)

Динамическое ценообразование в недвижимости: Как поймать то, чего нет, или Искусство стрельбы по движущимся мишеням

Если вы всерьёз рассчитываете построить «стабильную кривую спроса» на рынке недвижимости, то вы взялись за задачу, которая по сложности сравнима с предсказанием погоды на год вперед. Спрос в недвижимости — штука капризная, как погода в Питере. Вот жара и +28, прогноз на неделю - ни облачка... и вдруг гроза, ливень и +12.

Читать далее

(Comment on this)

[Перевод] Прогнозирование исходов футбольных матчей в реальном времени с помощью байесовской модели

Ставки в реальном времени очень популярны, и поэтому прогнозирование в реальном времени заслуживает особого внимания. Однако среди огромного количества литературы по прогнозированию футбольных матчей лишь немногие статьи сосредоточены на прогнозировании в реальном времени. Разбираем сложную модель калибровки динамической силы команд, основанную на байесовском методе, которая позволяет использовать информацию о текущем матче для калибровки оценок силы каждой команды.

Читать далее

(Comment on this)

Как устроено глубокое обучение нейросетей

Глубокое обучение - Способ обучения моделей на большом количестве данных, используя множество слоёв. Каждый слой сети обрабатывает информацию, "взвешивая" её при помощи параметров (весов и смещений), оставляя признаки или отбрасывая, посредством функций активации. Обучение происходит через итеративную (повторяющуюся) корректировку весов: сначала вычисляются градиенты ошибки с помощью обратного распространения (backpropagation), а затем веса обновляются при помощи оптимизаторов (SGD, Adam и др.).

Эта статья не ответит на все вопросы, но мы пробежимся по всем основам глубокого машинного обучения, что бы создать примерную начальную картину без сильного углубления в детали.

Читать далее

(Comment on this)

[Перевод] Современное шифрование, которое берёт своё начало в искусстве и математике Ренессанса

Наверно, тучный лысеющий архитектор эпохи Ренессанса привлекал любопытные взгляды, пока устанавливал сложный прибор для рисования на краю площади. Он установил свой инструмент, состоящий мольберта, зеркала и системы проводов, рядом с незавершённым флорентийским собором, монументальный купол которого он скоро спроектирует.

Его звали Филиппо Брунеллески. Он использовал этот аппарат, чтобы нарисовать расположенный рядом с собором баптистерий. Если его биографы не ошибаются, для этого он применил законы перспективы, открытые им приблизительно в 1415-1420 годах. Использование законов перспективы, поразившее случайных прохожих, изменило курс развития западного искусства более чем на 450 лет. Позже оно привело к математическим открытиям, позволившим реализовать эллиптическую криптографию — схему защиты, лежащую в основе биткойна и других криптовалют; сейчас она становится всё более популярным способом шифрования и на других Интернет-платформах.

Но как искусство Ренессанса привело к математическим основам современной криптографии? Эта история растянулась на шесть веков и два континента, прикоснувшись к самой вечности. Персонажами её стали французский военнопленный и два математика, умершие на пике своего развития, один от болезни, другой — от пистолета дуэлянта.

Читать далее

(Comment on this)

«Игра ли жизнь, если кубики поддельны?» • Эссе о реиграбельности в гейм-дизайне

Знаете, есть такой старый анекдот про математика, который отказывается лететь на самолёте, потому что посчитал вероятность теракта. Друзья его уговаривают:

«Ну что ты, вероятность же ничтожно мала!»

А он отвечает:

«Да, но вероятность того, что на борту окажутся две бомбы, ещё на порядки меньше. Поэтому одну бомбу я всегда вожу с собой!»

Эта шутка, при всей её абсурдности, для меня стала каким-то странным отражением того, как мы, Гейм Дизайнеры, часто обращаемся со случайностью.

Читать далее

(Comment on this)

Винтик и Шпунтик, часть 2: гиперкубы, шляпы и фартуки

Это вторая часть моих наработок по решению задачи про Винтика и Шпунтика в рамках челленджа @vvvphoenix. В первой части мы выразили ответ в виде формулы включений-исключений. Хотя в подобных формулах и получается огромное число слагаемых, часто оказывается, что либо они почти все равны нулю, либо объединяются в сравнительно небольшое число групп одинаковых, либо ещё что-нибудь. И в итоге огромная формула вычисляется чуть ли не на бумаге. В этой части мы будем сворачивать и оптимизировать нашу формулу для ускорения вычислений.

Читать далее

(Comment on this)