Войти в систему

Home
    - Создать дневник
    - Написать в дневник
       - Подробный режим

LJ.Rossia.org
    - Новости сайта
    - Общие настройки
    - Sitemap
    - Оплата
    - ljr-fif

Редактировать...
    - Настройки
    - Список друзей
    - Дневник
    - Картинки
    - Пароль
    - Вид дневника

Сообщества

Настроить S2

Помощь
    - Забыли пароль?
    - FAQ
    - Тех. поддержка



Пишет nancygold ([info]nancygold)
@ 2024-09-26 17:16:00


Previous Entry  Add to memories!  Tell a Friend!  Next Entry
Настроение: amused
Entry tags:computing

The Barnes-Hut Algorithm for LLMs
So currently the main issue with LLMs is that they are bound by the N^2 law, where N is the context size.

The problem appears to be very similar to simulating gravity.

Yet for gravity we can use the Barnes-Hut approximation, where far away entities are grouped together as a single entity.

Therefore the question: is it possible to adapt Barnes-Hut to the attention matrix of LLMs?

I think people are trying to do something similar (hierarchical approaches, summaries and tree of thought), but they still don't see the forest behind the trees. I.e. that the language modelling is basically a physics problem.

All these N^2 connectednes/pathfinding problems appear to be expressible as gravity over some distance function, which itself a sorting problem, which can be solved by a N*log(N) algorithm.



(Читать комментарии) - (Добавить комментарий)


(Анонимно)
2024-09-26 18:22 (ссылка)
speakasap.com/nl/grammar/soslagatelnoe-naklonenie/
Упраж­не­ние №1
Впи­ши­те в ячей­ки гла­го­лы в пра­виль­ной форме
Пусть этот год при­не­сет вам много сча­стья!
Brengen
dit jaar u veel geluk! (brengen – при­но­сить; dit jaar – этот год; veel – много; het geluk – сча­стье)
Она не бо­га­та, иначе бы она по­ку­па­ла до­ро­гую одеж­ду. Zij is niet rijk, anders
kopen
zij dure kleren

. (rijk – бо­га­тый; duur – до­ро­гой; kleren – одеж­да; kopen – по­ку­пать)
Если бы наш отец толь­ко был здо­ров!
Zijn
onze vader maar gezond! (onze vader – наш отец; gezond – здо­ров)
Они ужас­но за­ня­ты, иначе они пошли бы с нами на кон­церт. Ze hebben het verschrikkelijk druk, anders
gaan
zij met ons naar het concert

. (het druk hebben – быть за­ня­тым; verschrikkelijk – ужас­но; anders – иначе; met ons – с нами; gaan – идти)
Я бы не мыл по­су­ду: я не люблю это де­лать.Ik
doen
de afwas niet

: ik doe dat niet graag. (de afwas doen – мыть по­су­ду; doen – де­лать; dat – это; graag – охот­но)
Если бы он толь­ко по­зво­нил мне вчера в 7 часов!
Opbellen
hij me gisteren om zeven uur

! (gisteren – вчера; om zeven uur – в 7 часов; opbellen – зво­нить)
Мы бы об­су­ди­ли с ней этот во­прос. We
bespreken
deze vraag met haar

. (deze vraag – этот во­прос; met haar – этот во­прос; bespreken – об­суж­дать)
Если бы она не хо­те­ла ри­со­вать, она бы не ри­со­ва­ла. Als zij niet
willen
tekenen, tekende zij niet. (willen – хо­теть; tekenen – ри­со­вать)
Если бы я мог ей все объ­яс­нить!
Kunnen
ik haar alles verklaren! (kunnen – мочь; alles – все; verklaren – объ­яс­нять)
Если бы Ольга была кра­си­вой, она бы нашла себе мужа. Als Olga mooi
zijn
(zou zijn), zou zij een man vinden. (mooi – кра­си­вый; vinden – на­хо­дить; een man – муж­чи­на, муж)
Они не ста­ра­ют­ся изо всех сил, иначе они хо­ди­ли бы ре­гу­ляр­но на уроки. Zij doen zijn best niet, anders
komen
zij regelmatig op de les

. (doen zijn best – ста­рать­ся изо всех сил; regelmatig – ре­гу­ляр­но; op de les – на уроки)
Если бы она тогда не села в тот поезд!
Pakken
zij toen die trein niet

! (die trein – тот поезд; toen – тогда; pakken – разг. са­дить­ся в транс­порт)
Я бы на твоем месте (если бы я был тобой) по­слал бы ему это пись­мо. Als ik jou
zijn
(zou zijn), zou ik hem deze brief sturen. (deze brief – это пись­мо; sturen – по­сы­лать)
Zij houdt van peren, anders
eten
ze er niet zo veel

. Она любит груши, иначе бы она их столь­ко не ела. (houden van – лю­бить; de peer – груша; zo veel – так много; eten – есть)
Слава богу, ты снова счаст­лив! God
zijn
dank, je bent weer gelukkig! (de god – бог; dank – спа­си­бо; weer – снова; gelukkig – счаст­ли­вый)
Если бы у меня были день­ги, я бы сразу уехал.
Hebben
ik geld, vertrok ik meteen. (geld – день­ги; meteen – сразу; vertrekken – уез­жать)
Я бы не по­ве­ри­ла ему: он часто лжет. Ik
geloven
hem niet

: hij liegt vaak. (geloven – ве­рить; liegen – врать; vaak – часто)
Если бы све­ти­ло солн­це, мы бы по­еха­ли на ве­ло­си­пе­де. Als de zon
schijnen
, namen we de fiets. (schijnen – све­тить; nemen – брать, са­дить­ся; de fiets – ве­ло­си­пед)
Если бы толь­ко дети умели сами оде­вать­ся! Als de kinderen zich zelf aankleden
kunnen
! (het kind – ре­бе­нок; zich aankleden – оде­вать­ся; zelf – сам)
Он, без­услов­но, не услы­шал во­про­са, иначе бы он от­ве­тил Вам. Hij heeft de vraag vast en zeker niet gehoord, anders
antwoorden
hij u hebben

. (de vraag – во­прос; vast en zeker – без­услов­но; horen – слы­шать; antwoorden – от­ве­чать)
Если бы мне толь­ко не было нужно каж­дый день рано вста­вать!
Hoeven
ik iedere dag niet vroeg te opstaan! (hoeven te – дол­жен­ство­вать; iedere dag – каж­дый день; vroeg – рано; opstaan – вста­вать)
Рань­ше я бы этого хотел, но тогда у меня не было вре­ме­ни. Vroeger
willen
ik het

, maar toen had ik geen tijd. (vroeger – рань­ше; willen – хо­теть; de tijd – время)
Если бы у нее был день рож­де­ния, она бы нас при­гла­си­ла. Als zij jarig
zijn
, nodigde zij ons uit. (jarig zijn – от­ме­чать день рож­де­ния; uitnodigen – при­гла­шать)
Если бы толь­ко у меня был ма­лень­кий нос! Als ik maar een kleine neus
hebben
! (maar – толь­ко; klein – ма­лень­кий; de neus – нос)
Я бы с тобой по­го­во­рил, но я дол­жен ра­бо­тать. Ik
praten
met je

, maar ik moet werken. (praten – раз­го­ва­ри­вать; werken – ра­бо­тать)
Проверить Очистить
Пра­виль­ные от­ве­ты

Проверьте Ваши ответы:
Brenge dit jaar u veel geluk!
Zij is niet rijk, anders zou zij dure kleren kopen.
Was onze vader maar gezond!
Ze hebben het verschrikkelijk druk, anders zouden zij met ons naar het concert gaan.
Ik zou de afwas niet doen: ik doe dat niet graag.
Had hij me gisteren om zeven uur opgebeld!
We zouden deze vraag met haar bespreken.
Als zij niet wilde tekenen, tekende zij niet.
Konde ik haar alles verklaren!
Als Olga mooi was (zou zijn), zou zij een man vinden.
Zij doen zijn best niet, anders zouden zij regelmatig op de les komen.
Had zij toen die trein niet gepakt!
Als ik jou was (zou zijn), zou ik hem deze brief sturen.
Zij houdt van peren, anders zou ze er niet zo veel eten.
God zij dank, je bent weer gelukkig!
Had ik geld, vertrok ik meteen.
Ik zou hem niet geloven: hij liegt vaak.
Als de kinderen zich zelf aankleden konden!
Als de zon scheen (zou schijnen), namen we de fiets.
Hij heeft de vraag vast en zeker niet gehoord, anders zou hij u hebben geantwoord.
Hoefde ik iedere dag niet vroeg te opstaan!
Vroeger zou ik het hebben gewild, maar toen had ik geen tijd.
Als zij jarig was, nodigde zij ons uit.
Als ik maar een kleine neus had!
Ik zou met je praten, maar ik moet werken.
1 из 3 
 Скачать PDF
speakasap.com/media/pdf/nl/grammar/conjunctief.pdf

(Ответить)


(Читать комментарии) -