Linux.org.ru: Новости's Journal
[Most Recent Entries]
[Calendar View]
Tuesday, February 9th, 2021
| Time |
Event |
| 5:21p |
Выпуск key-value движка хранения libmdbx 0.9.3. Заявлено до 30% больше производительности в сравнении с LMDB Вышла версия 0.9.3 библиотеки libmdbx реализующей ультра-быстрый компактный встраиваемый движок ключ-значение. libmdbx является глубокой переработкой легендарной СУБД LMDB и по заявлению разработчиков превосходит прародителя по надежности, набору возможностей и производительности. В частности, утверждается что libmdbx до 20% быстрее LMDB в CRUD сценариях, и до 30% быстрее, если при сборке libmdbx, посредством опций, отключить внутренний контроль до сопоставимого с LMDB уровня.
Libmdbx предлагает ACID и zero-copy для нескольких локальных процессов, несколько key-value map и multimap в одной БД, оптимизацию хранения ключей и значений фиксированного размера, строгую сериализацию изменений и неблокирующее чтение с линейным масштабированием по ядрам CPU. Поддерживается автокомпактификация, автоматическое управление размером БД, единый формат БД для 32-битных и 64-битных сборок, оценка объёма выборок по диапазонам (range query estimation). Поставляется утилита проверки целостности структуры БД с некоторыми возможностями восстановления. При этом libmdbx кратно быстрее SQLite в сопоставимых сценариях.
Основные новшества, доработки и исправления после предыдущего релиза:
- В API добавлена установка опций времени выполнения, что позволяет работу движка под конкретные сценарии использования;
- Переработан свопинг на диск измененных страниц БД в очень больших транзакциях;
- Ускорена сортировка внутренних списков страниц;
- Доступен порт для FreeBSD и привязки для GoLang;
- Устранено более 10 ошибок и недочетов.
database, key-value, libmdbx, nosql | | 8:52p |
Релиз Datanymizer — анонимайзера чувствительных данных, написанного на Rust Очень часто в процессе разработки и тестирования бывает необходимо использовать в программе данные, максимально приближенные к реальным, уже имеющимся в продукте. Однако, чтобы избежать риска утечки реальных данных с продакшен-серверов, данные должны быть обработаны, из них должна быть удалена личная информация, такая как: имена и адреса пользователей, адреса электронной почты, номера телефонов, данные платёжных карт и пр.
Для этого предлагается использовать Datanymizer — он анонимизирует данные на стороне сервера и передаст в тестовую среду уже чистый SQL-дамп, в котором персональные данные удалены или заменены несуществующими данными, похожими по формату на реальные.
Datanymizer написан на Rust и поддерживает глобальные переменные, ограничения уникальности и встроенные правила.
Подробное описание установки и использования читайте в статье.
bigdata, production, rust, sql |
|