Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет nancygold ([info]nancygold)
@ 2024-07-24 19:18:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Настроение: amused
Entry tags:computing

"The Desktop Window Manager process has exited."
Ok. The hashtable thing ChatGPT recommended wasn't as effective (albeit faster than roaring bitmap) and in fact taught me the hard way that running out of memory on Windows 11 tends to crash the display manager, which wont restart automatically and there is nothing one can do to restart it. 1/10. don't recommend.

Have to proceed with my naive solution.

BTW, that roaring bitmaps is apparently used by serious businesses, which do analytics on trillions of entities (i.e. user clicked this button event at second T), so it is slow, but compresses a terabyte dataset into a 128mb one, allowing to perform otherwise impossible computation on a phone:
https://vikramoberoi.com/posts/using-bitmaps-to-run-interactive-retention-analyses-over-billions-of-events-for-less-than-100-mo/

I think I can implement something comparable by compressing the currently unused bitmaps regions.



(Читать комментарии) - (Добавить комментарий)


(Анонимно)
2024-07-25 07:51 (ссылка)
Btw, new large openweights models have released

llama 405b https://www.llama2.ai/

Mistral Large 2 https://chat.mistral.ai/chat

В мой комп не влезут даже в квантизированном виде. Sadge.

(Ответить) (Ветвь дискуссии)


[info]nancygold
2024-07-25 10:54 (ссылка)
I think these require server with 8 special graphic cards.
You can rent such a server, but paying for ChatGPT will be cheaper, unless you utilize it 24/7
Or you don't want OpenAI to mine your data.

(Ответить) (Уровень выше) (Ветвь дискуссии)


(Анонимно)
2024-07-25 11:08 (ссылка)
Мистрал кстати идет на одной H100, там писали...
Qно это все равно роскошь. Дешевле юзать API.

Например у mini API стоит копейки вообще.

(Ответить) (Уровень выше)


(Анонимно)
2024-07-26 00:08 (ссылка)
запустил лоботомированную (в Q3_K квантизации) Mistral-Large-Instruct-2407 на 64 гигах и одной 4090.

1.23 tokens per second

Юзать можно, но после нелоботомированной llama-405b как-то не очень. Ну и медленно.

(Ответить) (Уровень выше) (Ветвь дискуссии)


(Анонимно)
2024-07-26 11:02 (ссылка)
Уфф, ты богатый!
А мог бы юрке на 10 дронов задонатить.

(Ответить) (Уровень выше)


(Анонимно)
2024-07-25 11:06 (ссылка)
Разница большая? Что на счет цензуры и фильтров?

Мистрал требует аккаунт. Поэтому даже не тестил.

(Ответить) (Уровень выше) (Ветвь дискуссии)


[info]nancygold
2024-07-25 11:44 (ссылка)
The larger the model, the more digits of Pi it can recite.
Diminishing returns, but important for engineering and programming tasks.
Also,
https://www.reddit.com/r/LocalLLaMA/comments/17arxur/single_digit_tokenization_improves_llm_math/

(Ответить) (Уровень выше)


[info]necax
2024-07-25 16:59 (ссылка)
Ура, новая поебень на питоне!

(Ответить) (Уровень выше)


(Читать комментарии) -