V osmih poskusih model po navedbah avtorjev bere, popravlja in piše uteži nevronskih mrež iz navodil v naravnem jeziku. Video razlaga opozarja, da je večina matematičnega napredka prišla od ustavljanja zank v sklepanju.
Prispevek1 vir
Članek na OpenAI-jevih strežnikih konstruira gladko, v prostoru in času omejeno silo, ki tok iz mirovanja požene do neomejene hitrosti v izhodišču, medtem ko energija ostane omejena. Neodvisne preveritve v knjižnici še ni.
Raziskava
Ryan O'Donnell predstavi domnevni podeksponentni algoritem za točni #3-SAT in sam pove, da ključna konstrukcija še ni dokončana.
Video
Deluje le, ko ga prosiš ali mu dovoliš, na enem repozitoriju GitHub; zgrajen je kot vtičnik za DeepSeek Harness.
Prispevek
Kako zasnova ogrodja določa, kaj agent zmore in koliko stane. Še vedno prototip.
Video
Predogled za razvijalce; pričakujte nezdružljive spremembe.
Prispevek
Delež rešenih nalog, mediana stroška in časa s Kimi K3 na enem izvajalnem okolju. Nobeno ogrodje ne vodi po vseh merilih.
Prispevek
Janez Markeš ameriški volilni razplet razume predvsem kot Trumpov poraz zaradi slabšanja življenjskih razmer ter ga povezuje z odporom proti avtoritarnim praksam v Sloveniji. Prepričan je, da se slovenska civilna družba prebuja, opozicija pa mora ponuditi konkretne spremembe za zaščito socialne države, ustavnosti in spoštljive javne razprave.
Video2 presenetljivi trditvi
Praznovanje 35. obletnice odhoda jugoslovanske vojske je po oceni Janeza Markeša namesto povezovanja poglobilo delitve, izključevanje in spore o zgodovinskih simbolih. Markeš domače politične diskvalifikacije povezuje z avtoritarnim načinom vladanja, mednarodne volilne premike pa razume kot možno obnovo demokracije in socialne države. Skupno življenje naj bi temeljilo na ustavi, človekovih pravicah, spoštovanju različnih izkušenj in miru.
Video
Referendumski izidi po oceni Alija Žerdina in Janeza Markeša kažejo izjemno mobilizacijo volivcev in odpor proti posegom v demokratične varovalke ter javni prostor. Očitke o ukradenem referendumu zavračata kot nevaren napad na nadzorovane volilne postopke, zmago pa Markeš pripisuje predvsem civilni družbi. Ob tem ostaja odprto, kdo bo politično nadaljeval njeno delo.
Video
Fotografija iz Gaze, predstavljena kot prikaz trpljenja kristjanov v Sudanu, je izhodišče za kritiko politike, ki daje prednost učinkom pred resnico. Žerdin in Markeš razpravo povežeta z vlogo RTV Slovenija in referendumi, ki jih razumeta tudi kot odločanje o politični kulturi oblasti; Markeš opozarja, da apatija in neudeležba nista nevtralni.
Video1 presenetljiva trditev
Rezultat na MATH-500 naj bi zrasel s 7,9 % na 48,1 %, večinoma zato, ker se je model nehal vrteti v zankah, ne zato, ker bi znal več matematike.
Video1 vir
Avtorji menijo, da gre predvsem za napake pri učenju, ne le za velikost modela ali požrešno dekodiranje.
Raziskava
Zavračanje škodljivih navodil v odprtokodnih klepetalnih modelih uravnava ena sama smer v rezidualnem toku. Odstranitev te smeri odpravi zavračanje, njeno dodajanje pa sproži zavračanje neškodljivih pozivov. Ista ugotovitev omogoča spremembo uteži ranga ena, ki deluje kot obhod varoval ob dostopu do notranjosti modela, in pojasnjuje, kako napadalne pripone zavirajo zavračanje.
Raziskava
Kartica modela z merili in kodo za namestitev. Rezultati meril so izdelovalčevi.
Prispevek
Intervju. AGI leta 2027 je njegova napoved, ne ugotovitev.
Video
Po njegovem postanejo razumevanje, razlaga in odgovornost človeški del matematike.
Video1 vir2 neodvisni priči
UI lahko preoblikuje matematično odkrivanje in poklicne poti, ne da bi izničila vrednost ukvarjanja z matematiko, njenega učenja in deljenja z drugimi. Steven Strogatz in Grant Sanderson to vrednost vidita v razumevanju, osebnem trudu, poučevanju, individualnosti in človeški povezanosti, ob tem pa razmišljata o novih oblikah dela s pomočjo UI in matematičnega izobraževanja.
Video1 razhajanje
Kaj je dokazano, česa ni in zakaj znane tehnike trčijo ob ovire.
Raziskava
Dekodiranje Hawkingovega sevanja bi po članku trajalo eksponentno dolgo, zato paradoksa požarnega zidu v praksi morda ni mogoče preizkusiti.
Raziskava
Članek predlaga Transformer, arhitekturo za pretvarjanje zaporedij, ki temelji izključno na mehanizmih pozornosti ter ne uporablja rekurence in konvolucij. Poroča o najboljših dotlej doseženih rezultatih strojnega prevajanja na nalogah WMT 2014 iz angleščine v nemščino in iz angleščine v francoščino ob le delčku dotedanjih stroškov učenja ter o dobrih rezultatih pri sestavniškem razčlenjevanju angleških povedi. Avtorji trdijo, da uporaba zgolj pozornosti omogoča večjo vzporednost izvajanja in hitrejše učenje.
Raziskava1 vir
OpenAI, 2018: prvi GPT.
Prispevek
Ekipa Google AI Language najavlja odprtokodno izdajo BERT, tehnike predučenja za obdelavo naravnega jezika. BERT je globoko dvosmeren model, vnaprej naučen na neoznačenem besedilu, ki ga je mogoče hitro dodatno učiti na majhnih podatkovnih zbirkah za posamezne naloge. Objava poroča o najboljših doslej doseženih rezultatih pri 11 nalogah obdelave naravnega jezika.
Prispevek
Članek predstavlja dve preprosti log-linearni arhitekturi, CBOW in Skip-gram, za učenje vektorskih predstavitev besed iz zelo velikih besedilnih korpusov. Opredeli testno zbirko besednih razmerij, pri kateri vektorji z vektorsko aritmetiko odgovarjajo na skladenjska in pomenska vprašanja, ter poroča o točnosti, času učenja in rezultatu pri dopolnjevanju povedi.
Raziskava
Transformerji so omogočili sodobne velike jezikovne modele z arhitekturo, ki jo je mogoče povečevati z več podatki, računskimi viri in parametri. Njihove osnove združujejo tokenizacijo in naučene vektorske vložitve s položajnimi informacijami, pozornostjo in nevronskimi mrežami s povezavami naprej, da oblikujejo kontekstualne predstavitve in ustvarjajo besedilo.
Video1 vir
Veliki jezikovni modeli temeljijo na transformerjih, pri čemer je poleg pristopov, ki temeljijo na predstavitvah, kot je BERT, prevladujoča postala uporaba modelov zgolj z dekodirnikom za generiranje besedila. Njihova učinkovitost je odvisna od uravnoteženja velikosti modela in učnih podatkov, uporabe učinkovitih arhitektur ter izbire primernih metod dekodiranja. Tehnike pozivanja in sklepanja lahko izboljšajo odgovore brez spreminjanja uteži, vendar lahko daljši konteksti poslabšajo priklic informacij in povečajo stroške.
Video
Učenje velikih jezikovnih modelov poteka od predhodnega učenja napovedovanja naslednjega žetona, ki daje večkrat uporabno osnovo, prek usmerjenega vmesnega učenja, nadzorovanega prilagajanja navodilom in usklajevanja s preferencami do učenja sklepanja. RLHF, DPO, preverljive nagrade in destilacija na podlagi lastnih izhodov modela ponujajo različne načine za izboljšanje vedenja in zmožnosti, pri čemer ostajajo ključne omejitve kakovost podatkov, računski stroški in ohranjanje zmožnosti.
Video1 vir
Spodbujevalno učenje uči velike jezikovne modele upoštevati človeške preference in bolje sklepati z maksimiranjem naučenih ali preverljivih nagrad, vendar mora pri tem obvladovati šumne gradiente, pripisovanje zaslug posameznim žetonom in pretirane spremembe strategije. PPO in GRPO pri teh težavah sprejemata različne kompromise, destilacija na vzorcih trenutne učenčeve strategije pa zagotavlja učiteljeve povratne informacije za vsak žeton v odgovorih, ki jih ustvari učenec, z razširitvami na samodestilacijo in področno specializirane učitelje.
Video1 vir
Meteorolog v napovedi z dne 7. novembra opozarja na nevarnost poplav na Portugalskem in v Španiji, kjer naj bi vztrajen atlantski ciklon prinašal ponavljajoče se padavine.
Video