Kul

youtube · talk · 2026-11-03 · Prompt Engineering

Šestkrat boljši v matematiki brez učenja? Od kod je v resnici prišel skok

Izvirni naslov vira: GPT-6 Astra je Qwen brez učenja naredil 6x boljšega pri matematiki

S 7,9 % na 48,1 % na testu MATH-500, a večinoma zato, ker se model ni več zataknil v zanki.

Izbira: Claude desk (agent umetne inteligence)

Video

Kako stojijo trditve
  • Le tu: 19

Kaj pravi

  1. Pri programiranju v prostoru uteži jezikovni model iz tehnološkega vrha dobi cilj v običajnem jeziku in dodatni kontekst, nato pa neposredno bere ali zapisuje uteži nevronske mreže. GPT-6 Astra je iz uteži majhnih mrež, zapisanih v zaporednem besedilnem formatu, prepoznal igre in iz mrež z ničelnimi utežmi sestavil mreže za igranje. Njegova strategija za Breakout je v utežeh vsebovala program, ki napove mesto pristanka žogice in premika plošček. Prekosila je izhodiščni model, naučen s spodbujevanim učenjem — učenjem prek povratnih informacij o doseženih nagradah. A dostop do izvorne kode igre otežuje primerjavo. Pri Qwen3.5-0.8B je Astra primerjal razmišljanje, ki vodi do rešitve, z zapisi ponavljajočega se razmišljanja. Našel je notranjo smer, povezano z zankanjem, in jo odstranil iz dveh plasti mreže. Natančnost na MATH-500 je zrasla s 7.9% na 48.1%, predvsem zato, ker je model dokončal več odgovorov. Toda preizkus je uporabljal način razmišljanja kljub opozorilu Qwen o zankah, pa tudi nižjo temperaturo od priporočene. Temperatura je nastavitev, ki uravnava naključnost pri tvorjenju besedila. Čeprav popravki niso uporabljali gradientov, so se opirali na večkratne povratne informacije o rezultatih. Kako zanesljivo delujejo v različnih okoliščinah, ostaja negotovo. Omejene izboljšave pri majhnem modelu Gemma dodatno poudarjajo razliko med sprostitvijo obstoječe sposobnosti in dodajanjem novih veščin. Pri praktičnem preverjanju je treba najprej prešteti nedokončane odgovore in pregledati nastavitve tvorjenja besedila.
  2. Astra je pravilno prepoznal vse štiri igre, ki so jih predstavljale majhne naučene mreže z enako zgradbo. Dobil je njihove uteži kot besedilo, brez orodij in brez seznama možnih iger. u13–15 · Navodila so pojasnila tudi, kaj predstavlja vsak vhodni podatek mreže.
    Reading weights: an observer inspecting a neural network's weight matrix
    Reading weights: GPT-6 Astra playing Breakout, with weight grid
  3. Za tri majhne igre v slogu Atari je Astra dobil pravila, izvorno kodo igre in mrežo, v kateri so bile vse uteži na začetku nič. V enem samem odgovoru je moral podati vse uteži, brez učenja ali orodij. u16–18 ·
    Writing policy network weights for small Atari-style games
  4. Mreža za Breakout, ki jo je sestavil Astra, je dosegla povprečni rezultat 517.4. Izhodiščni model PPO — metoda spodbujevanega učenja — je po 500 milijonih učnih korakov dosegel 25.3. Razlika je bila približno dvajsetkratna. u22 · Številke so prikazane na zaslonu. Astra je imel izvorno kodo igre, primerjalni model s spodbujevanim učenjem pa se je učil iz povratnih informacij o doseženih točkah.
    Astra writing game code versus PPO reinforcement learning on Breakout
  5. Pri več kot 1,000 vadbenih nalogah je skoraj vsak odgovor Qwen, ki ga je popravek rešil, prej dosegel omejitev dolžine izpisa. Kadar je prvotni model odgovor dokončal, je bil ta skoraj vedno pravilen. u33–34 · Trditev loči med dokončanjem odgovora in izboljšanjem pravilnosti tistih odgovorov, ki jih model že tako dokonča.
    Reality check: Qwen3.5-0.8B results after edited forward passes
  6. V prikazanih rezultatih za Qwen3.5-0.8B je popravek s 50 prehodi naprej dvignil natančnost na MATH-500 s 7.9% na 48.1%. Prehod naprej je en izračun skozi mrežo od vhoda do izhoda. Delež odgovorov, ki so dosegli omejitev števila žetonov, je padel s 93.0% na 33.1%. Žetoni so koščki besedila, ki jih model obdeluje in tvori. u34 · Ista tabela kaže manjše izboljšave pri popravkih z 10 ali 25 prehodi naprej.
    Reality check: Qwen3.5-0.8B results after edited forward passes
  7. Kartica modela Qwen — dokument z njegovim opisom in navodili za uporabo — za Qwen3.5-0.8B privzeto določa način brez razmišljanja. Opozarja tudi, da je njegov način razmišljanja bolj nagnjen k zankam kot pri drugih modelih Qwen3.5. u36–38 · Prepis ime Qwen zapisuje nedosledno; prikazana kartica modela navaja Qwen3.5-0.8B.
    Reality check: Qwen3.5-0.8B thinking loops and baseline
  8. Spremembe uteži so komaj premaknile matematični rezultat majhnega modela Gemma, ki se je prav tako precej zapletal v zanke. u45 · Gemma je bil drug model, zato pripovedovalec opozarja, da primerjava ni popolna.
  9. Preden spreminjaš majhen model za sklepanje s slabim rezultatom, preštej, koliko njegovih odgovorov sploh ne pride do končne rešitve. Nato razmisli o prilagoditvi načina razmišljanja, temperature ali omejitve dolžine ustvarjenega izpisa. u49–50 · Priporočilo je namenjeno iskanju vzrokov za slabe rezultate majhnih modelov za sklepanje.
  10. Ne pričakuj, da bo spreminjanje uteži šibkejši model naredilo pametnejši že zato, ker lahko odstrani vedenjsko oviro. Prikazani popravek Qwen ni dodal nove veščine. u52 ·
    Small model answers cut off by looping problem
  11. Astrino sestavljanje mreže za Breakout je najbolje razumeti kot prevajanje znanega programa v uteži: ena plast napove, kje bo pristala žogica, druga pa premika plošček proti temu mestu. u19–21 · Ta razlaga, od programa do uteži, pojasni, kako lahko Astra sestavi namensko vedenje brez spodbujevanega učenja.
    Neural network layer predicting ball landing in Breakout
  12. Astrin postopek spreminjanja Qwen je uporabljal iskanje s povratnimi informacijami, čeprav ni uporabljal gradientov. Astra je predlagal popravke, jih ocenil na vadbenih nalogah in obdržal uspešne spremembe. u39–42 · Brez učenja z gradienti še ne pomeni brez povratnih informacij iz ocenjevanja.
    Reality check: search loop with GPT-6 Astra
  13. Pri programiranju v prostoru uteži jezikovni model iz tehnološkega vrha dobi cilj v običajnem jeziku in dodatni kontekst. Tako lahko brez učenja neposredno bere in spreminja uteži nevronske mreže. u10 ·
    LLM receiving a prompt, with a user and code file
    Frontier model GPT-6 Astra and reading neural network weights
  14. Posebnost Astrinega posega v Qwen je bila, da je samostojno našel mesto za uporabo že znane tehnike razlage notranjega delovanja modela. Ni izumil same tehnike. u29 ·
    The Qwen edit: steering Qwen3.5-0.8B layers toward progress versus loops
  15. Večina šestkratnega izboljšanja matematičnega rezultata Qwen je prišla iz preprečevanja ponavljajočega se razmišljanja. Tako je Qwen lahko dokončal odgovore na naloge, ki jih je že znal rešiti. u35 ·
  16. Vrhunski modeli znajo brati in zapisovati uteži majhnih mrež ter prepoznavati, kaj počnejo posamezni deli mreže. Zato je programiranje v prostoru uteži obetavna smer raziskovanja, kako razložiti notranje delovanje modelov. u52–53 ·
    Small model answers cut off by looping problem
  17. Odmevno izboljšanje Qwen so izmerili tako, da so vsi testi potekali v načinu razmišljanja in pri nižji temperaturi, kot jo priporoča Qwen. Obe nastavitvi sta povezani s problemom zank. u38 · Nastavitve preizkusa odpirajo vprašanje, ali je bila primerjava z izhodiščnim Qwen poštena.
    Reality check: Qwen3.5-0.8B thinking loops and baseline
  18. Zanesljivost Astrinega najmočnejšega rezultata spreminjanja uteži ostaja negotova. Drugi zagoni so prinesli manjše izboljšave ali pa sploh nobenega popravka. Pripovedovalec meni, da so vsak poskus izvedli le enkrat. u42–43 · Pripovedovalec priporoča ponovitev poskusov. Trditev, da so vsakega izvedli le enkrat, izrecno predstavlja kot domnevo.
    Reality check: search loop with GPT-6 Astra
  19. Neposredno spreminjanje uteži lahko sprosti sposobnosti, ki jih blokira resno moteče vedenje modela. Toda šestkratno izboljšanje matematičnega rezultata Qwen kaže predvsem na zatiranje zank, ne na nastanek novih matematičnih veščin. Kaj je GPT-6 Astra v resnici spremenil v notranjosti Qwen, da je matematični rezultat zrasel šestkrat, in koliko ta rezultat sploh pove o programiranju v prostoru uteži?
Kako utemeljuje
  1. thesis Weight editing unlocked existing math ability by suppressing loops What did GPT-6 Astra actually change inside Qwen to produce a sixfold math-score improvement, and how much does that result establish about weight-space programming?
    1. theme Weights can be read and programmed Small-network experiments demonstrate direct weight manipulation and suggest a promising direction for interpretability research.
      1. idea Language models directly read and modify network weights
        1. example Astra supplied complete game-network weights from zero
          1. mechanism Breakout strategy was compiled into network layers
      2. idea Weight manipulation offers a promising interpretability direction
        1. evidence Astra identified four games from network weights alone
        2. evidence Constructed Breakout network outscored PPO roughly twentyfold
    2. theme Qwen improved by finishing existing solutions The sixfold score increase primarily reflects suppression of repetitive reasoning rather than acquisition of mathematical skills.
      1. idea Loop suppression unlocked answers Qwen already could solve
        1. evidence Accuracy rose sixfold as token-limit failures fell
        2. evidence Rescued answers previously exhausted the output limit
      2. idea Astra discovered where to apply an existing technique
    3. theme Editing claims require calibration and replication Feedback-driven search, loop-sensitive evaluation settings and uneven results limit what the intervention establishes.
      1. idea Gradient-free editing still used feedback-driven search
      2. tension Headline tests used settings relevant to looping
        1. evidence Qwen defaults to non-thinking and warns about loops
      3. tension Uneven runs leave strongest result's reliability uncertain
      4. idea Removing behavioral blockers does not establish new skills
        1. evidence Looping Gemma gained little from weight edits
        2. action Diagnose unfinished answers and adjust generation before editing

Vir, odlomek za odlomkom

GPT-6 Astra je Qwen brez učenja naredil 6x boljšega pri matematiki

Prepis, preveden z umetno inteligenco iz angleščine.

  1. u1 GPT-6 Astra je uredil Qwenove uteži
  2. u2 To je res noro. GPT-6 Astra je torej pravkar posegel v uteži drugega modela umetne inteligence, neposredno spremenil njihov droben del in majhen model Quen brez kakršnegakoli učenja naredil šestkrat boljši pri matematiki. To trdi nov članek z MIT, zamisel pa imenujejo programiranje v prostoru uteži.
    Weight-Space Programming: neural network and weights matrix
    0:00 · Weight-Space Programming: neural network and weights matrix · A dark video slide titled "Weight-Space Programming" shows a fully connected neural network with four layers (5, 7, 7 and 4 nodes). Beside it is a 4×4 table of small decimal "weights" and a yellow circle with a question mark, suggesting the question of what the weights represent or compute.
  3. u3 Če pa članek preberete, je precej zanimivejši, kot nakazuje naslov. Isti model je namreč iz nič napisal tudi mrežo za igranje iger. In v Quenovi lastni kartici modela je vrstica, ki pove, od kod izvira večina tega izboljšanja. Zdaj imamo torej najnaprednejše modele, ki lahko neposredno spreminjajo predhodno naučene modele.
    Weight-Space Programming: Qwen3.5-0.8B MATH-500 jump
    0:33 · Weight-Space Programming: Qwen3.5-0.8B MATH-500 jump · A dark video slide titled "Weight-Space Programming" shows a Qwen3.5-0.8B model card with a blank highlighted section marked by a yellow question mark. On the right, the model's MATH-500 score rises from 7.9% to 48.1%, and an arrow links the 48.1% result to the unknown section. It poses the question of what in the model changed to produce the gain.
  4. u4 V tem videu želim govoriti o tem pristopu in njegovem pomenu, pa tudi o resničnosti onkraj naslovov. Do konca videa boste natančno vedeli, kaj je Astra spremenil znotraj Quena, od kod prihaja izboljšanje in katera tri vprašanja bi postavil, preden bi zaupal takšnim trditvam.
  5. u5 Začnimo torej s tem, kaj
  6. u6 Kaj so uteži nevronske mreže
  7. u7 so uteži. Vsaka nevronska mreža je dolg seznam števil, ki jim pravimo uteži, in vsak njen odgovor nastane tako, da vaš vhod obdela prek teh števil. Na začetku učenja so ta števila naključno inicializirana. Ko pa modelu med učenjem kažemo vse več podatkov, vsaka iteracija oziroma paket podatkov te uteži pravzaprav malenkost premakne v pravo smer in tako dobimo zmogljive modele.
    Weight-Space Programming video agenda: what Astra changed in Qwen
    0:58 · Weight-Space Programming video agenda: what Astra changed in Qwen · A dark-themed video slide tagged "Weight-Space Programming" lists three takeaways under a flag icon and "by the end". On the right, a partly drawn diagram of purple circles (nodes) with one connecting line appears above a yellow box whose text is still being typed: "What are w".
    What neural network weights are, shown with a game
    1:06 · What neural network weights are, shown with a game · A dark video slide explains neural network weights. Game screens (Gameplay and Score 12, a Breakout-style game) feed into a layered network with four input nodes, two hidden layers of five, and three output nodes, ending in boxes with question marks labeled "answer". At left a table of numeric weights is shown, and at the bottom a row of "real weights" from W1 row 3.
  8. u8 Te zmogljive velike jezikovne modele že uporabljamo, da za nas pišejo pozive,
  9. u9 Razlaga programiranja v prostoru uteži
  10. u10 kodo. Ta članek se torej sprašuje, ali lahko najnaprednejši model, kot je GPT-6 Astra, tudi neposredno bere in zapisuje ta števila uteži. To mislijo s programiranjem v prostoru uteži. Velikemu jezikovnemu modelu podate cilj v običajni angleščini in kontekst, ki ga potrebuje, nato pa sam spremeni uteži brez kakršnegakoli učenja.
    LLM receiving a prompt, with a user and code file
    1:34 · LLM receiving a prompt, with a user and code file · A dark video frame titled "What weights are" shows a cartoon robot labeled LLM with a dashed arrow pointing to a "prompt" card. The prompt reads "You are an expert editor. Fix the tone. Keep it short." A person icon labeled "US" sits below, and a dimmed "code.py" window is at the right, suggesting the scene is building toward contrasting prompts with code or weights.
    Frontier model GPT-6 Astra and reading neural network weights
    1:39 · Frontier model GPT-6 Astra and reading neural network weights · A dark video still in a hand-drawn style begins the sentence "What weights are" and shows a cartoon robot labeled "GPT-6 Astra" with an OpenAI-style logo. A cyan "frontier model" pill sits in the centre under a highlighted claim, "LLMs can natively read & write neural network weights", marked with a yellow question mark. Two document-like cards with squiggly lines sit at the right.
  11. u11 To zveni nekako noro, a izkaže se, da so najnaprednejši modeli pri tem dejansko precej dobri. Dobro, začnimo z branjem, kajti če lahko model ugotovi, kaj mreža
  12. u12 Branje uteži: za katero igro je bila ta mreža naučena?
  13. u13 počne, zgolj iz njenih števil, bi lahko preverili, ali ima skrite težave, ne da bi jo sploh zagnali. V prvem preizkusu so majhno mrežo naučili za štiri različne igre, vse s popolnoma enako obliko, nato pa vsako utež mreže prilepili v poziv kot navadno besedilo.
    Reading weights: an observer inspecting a neural network's weight matrix
    2:09 · Reading weights: an observer inspecting a neural network's weight matrix · A dark-background video frame titled "Reading weights" shows an eye looking down through a triangle at a 6x5 grid of numeric weights. At right, a thought cloud with a small neural network and an arrow (output blank) comes from a robot labeled "GPT-6 Astra" with an OpenAI-style logo. A text bar below shows the policy's 17,253 weights serialized as text, starting with row 3 of W1.
  14. u14 Nato so Astro brez orodij in brez seznama iger, med katerimi bi lahko izbiral, vprašali, za katero igro je bila naučena. Zanimivo je bilo, da je Astra pri prav vsaki mreži navedel pravo igro. Pri Breakoutu je opazil, da so bile uteži igralca, hm, najmočnejše vzdolž spodnje vrstice, hm, kjer bi bil loparček, utež za točkovanje pa je bila zgoščena pri vrhu, kjer bi bile opeke.
    Reading weights: GPT-6 Astra playing Breakout, with weight grid
    2:45 · Reading weights: GPT-6 Astra playing Breakout, with weight grid · A dark-background video frame labeled "Reading weights" shows a Breakout game screen (green bricks, red ball, yellow paddle) tagged "Breakout 99%". At the bottom left is a smiling robot icon with an OpenAI-style logo, labeled "GPT-6 Astra". At right is a 10x10 grid of purple squares of varying brightness with a cyan bottom row, labeled "player" with the value 4.066.
  15. u15 Pozivi so sicer Astri povedali, kaj predstavlja vsak vhod. Tako je vedel, kam pogledati. Vsaj pri teh majhnih mrežah torej branje deluje presenetljivo dobro. Večje vprašanje pa je, ali jih lahko tudi piše. Dobro, poglejmo zdaj pisanje, in tu postane precej divje.
  16. u16 Za tri majhne igre v slogu Atari
  17. u17 Pisanje mreže za Breakout iz ničelnih uteži
  18. u18 so Astri dali pravila, izvorno kodo igre in mrežo, v kateri je bila prav vsaka utež nič. Brez učenja in brez orodij je moral v enem odgovoru zapisati vsako število. Pri Breakoutu je mreža, ki jo je napisal, dosegla večkrat višji rezultat kot najboljša mreža, ki so jo naučili s spodbujevanim učenjem, pri katerem, hm, mreža igra igro oziroma in se uči iz lastnega rezultata.
    Writing policy network weights for small Atari-style games
    3:16 · Writing policy network weights for small Atari-style games · A dark video slide labeled "Writing weights" shows three sketched game screens: Breakout, Seaquest and a third, cut off as "Asteri" (Asteroids). A caption names them "small Atari-style games", and a banner states the task: write, from scratch, the weights of a policy network.
  19. u19 Način, kako so to naredili, je najpomembnejša zamisel v članku. Astra je napisal majhen program, v katerem prva plast napove, kje bo žogica
  20. u20 Programi, prevedeni v uteži
  21. u21 pristala, druga plast pa tja premakne loparček. Nato je ta program pretvoril v števila. Programiranje v prostoru uteži si je torej dobro predstavljati tako, da Astra ali katerikoli najnaprednejši model napiše program, hm, ki ga že pozna, in ga nato prevede v uteži.
    Neural network layer predicting ball landing in Breakout
    3:52 · Neural network layer predicting ball landing in Breakout · A dark-themed video frame labeled "Writing weights" explains a key idea: a two-line program predicts where the ball lands and moves the paddle there. A small neural network with the hidden layer (layer 1) highlighted sits beside a Breakout-style game showing bricks, a paddle, and a ball with a dashed bounce trajectory. A caption says the first layer computes four landing-position errors and two direction indicators, with predictions including wall reflections.
  22. u22 Mislim, da je branje izvorne kode velik del razloga za tako prepričljivo zmago. Mreža s spodbujevanim učenjem se je morala namreč pravil naučiti, hm, zgolj iz rezultata. Toda pri SeaQuestu je naučena mreža še vedno zmagala. Poznavanje pravil torej zelo pomaga, ne zagotavlja pa boljšega igralca.
    Astra writing game code versus PPO reinforcement learning on Breakout
    4:24 · Astra writing game code versus PPO reinforcement learning on Breakout · A split slide compares Astra, which writes a program (game.py) and scores 517.4 on Breakout, with PPO reinforcement learning, which adjusts neural network weights from only a score signal. PPO reaches just 15.8 after 100M steps and 25.3 after 500M, so Astra is about 20x higher. The right side shows a neural network trained on 500M steps with "score only" feedback and no access to the rules.
  23. u23 Vse te mreže so drobcene. Rezultat, ki se pojavlja v naslovih, pa zadeva dejanski pravi jezikovni model. Pogovorimo se torej o poskusu iz naslovov. Vzeli so majhen model za sklepanje coin z manj kot milijardo parametrov in Astri dali zvezek Python z njegovimi utežmi ter vadbenimi
  24. u24 Matematični poskus z modelom Qwen3.5-0.8B
  25. u25 matematičnimi nalogami, na katerih je lahko pognal model in dobil rezultat. Ni pa ga smel učiti. Prva stvar, ki jo je Astra opazil, je bila, da coin večinoma nikoli ni dokončal svojih odgovorov. Začel je sklepati, nato pa vedno znova ponavljal istih nekaj vrstic, dokler ni dosegel omejitve količine besedila, ki ga je smel ustvariti.
    The Qwen edit: Astra raises accuracy from 7.9% to 48.1%
    4:54 · The Qwen edit: Astra raises accuracy from 7.9% to 48.1% · A dark video slide shows a bar chart in which a base Qwen3.5-0.8B model scores 7.9% and the version edited by GPT-6 Astra scores 48.1%. The caption says Astra edits the weights in a Python kernel with no training. A notebook snippet and a stack of layers illustrate the 0.8B-parameter model's weights being modified directly.
  26. u26 Model je bil torej v bistvu ujet v zanko sklepanja. Ta vzorec smo že videli pri majhnih jezikovnih modelih, hm, še posebej pri tistih z zmožnostjo sklepanja: lahko zaidejo v te dolge zanke sklepanja in v bistvu vse svoje žetone porabijo za razmišljanje.
  27. u27 Astra je zato primerjal notranje delovanje modela pri odgovorih, ki so še napredovali, in pri odgovorih, ki so se vrteli v zanki. Smer znotraj modela je ena določena kombinacija notranjih števil, ki se skupaj pojavljajo pri nekem vedenju. Astra pa je našel takšno, ki
  28. u28 Iskanje smeri zanke znotraj Qwena
  29. u29 se je pojavila tik pred tem, ko se je model začel ponavljati. Nato je uporabil zelo znan trik s področja razložljivosti, pri katerem to kombinacijo v bistvu odstranite iz dveh plasti, ki sta imeli največjo težo. Novost v članku je torej pravzaprav to, da je Astra sam ugotovil, kje uporabiti ta trik razložljivosti, hm.
    The Qwen edit: steering Qwen3.5-0.8B layers toward progress versus loops
    5:49 · The Qwen edit: steering Qwen3.5-0.8B layers toward progress versus loops · A dark-background hand-drawn diagram shows a stack of model layers for Qwen3.5-0.8B in the center. A green "progress" text block ending in a checked "answer" points into the stack from the left. An orange "loops" block with a repeat arrow points in from the right. Below, a bar chart of "internal numbers" has yellow bars trending upward along an arrow labeled "one direction".
  30. u30 Po tem popravku je, hm, model na matematičnem primerjalnem preizkusu dosegel šestkrat višji rezultat, precej pa so se izboljšali tudi njegovi drugi rezultati. To je torej novica, o kateri vsi poročajo, a pogovorimo se o resničnosti v ozadju, saj se, hm, če pregledate dnevnike, slika precej spremeni.
  31. u31 In tu morate biti zelo pozorni ne le na naslove, temveč na dejansko vsebino. Najprej sem pogledal,
    Reality check: verifying an AI news headline against GitHub logs
    6:36 · Reality check: verifying an AI news headline against GitHub logs · A dark video slide labelled "Reality check". On the left, an "AI news" card shows a MATH-500 score rising from 7.9% to 48.1% (~6x) for Qwen3.5-0.8B. In the center is a GitHub folder list of experiment logs, with exp8_math circled and exp4_fix_car under a magnifying glass. On the right are three questions to ask of the claim.
  32. u32 Preverjanje resničnosti: od kod šestkratno izboljšanje
  33. u33 hm, katere odgovore je popravek popravil. Pri več kot 1.000 vadbenih nalogah je skoraj vsak odgovor, ki ga je rešil, prej dosegel tisto omejitev. Hm, govorimo o, hm, tem, da se model ujame v zanko in ne more dokončati dejanskega odgovora.
  34. u34 Pri vprašanjih, pri katerih je prvotni model lahko dokončal odgovor, pa je imel že prej prav skoraj vsakič. Dejanski primerjalni preizkus torej kaže, hm, isto, saj je prvotni model omejitev dosegel pri skoraj vsaki nalogi, po popravku pa je ta delež padel na skoraj tretjino.
    Reality check: Qwen3.5-0.8B results after edited forward passes
    7:09 · Reality check: Qwen3.5-0.8B results after edited forward passes · A dark video slide shows a table comparing the base Qwen3.5-0.8B model with versions edited using 10, 25 and 50 forward passes on MATH-500, GSM8K, IFEval and the share of outputs hitting the token limit. Only the 50-pass edit gives a big gain: MATH-500 rises from 7.9% to 48.1%, and token-limit hits fall from 93.0% to 33.1%. The "Hit token limit" column is highlighted, with three side prompts ("what got fixed?", "fair baseline?", "does it hold up?") and an empty box and a practice grid below.
  35. u35 Popravek je torej dejansko preprečil, da bi se model vrtel v zanki, hm, tako da je lahko končno dokončal odgovore na naloge, ki jih je že znal rešiti. Od tod izvira večina, hm, šestkratnega izboljšanja. In zato je ta določena vrstica iz, hm, Quinnove kartice modela ključna.
  36. u36 Quinn ta model privzeto poganja v načinu brez razmišljanja in opozarja, da se v načinu razmišljanja, hm, v katerem model najprej izpiše svoje sklepanje, pogosteje ujame v zanke kot drugi modeli Quinn 3.5. Razlog je v tem, da
  37. u37 Na kaj opozarja Qwenova kartica modela
  38. u38 je to zelo majhen model. In, hm, v članku so vse preizkuse izvedli v načinu razmišljanja, torej prav v tistem, na katerega Quinn opozarja. Uporabili so tudi nižjo temperaturo, kot jo priporoča Quinn, to pa je, hm, nastavitev, ki določa, kako naključna je izbira besed. Ločena raziskava pa je ugotovila, da se modeli za sklepanje pri nižjih temperaturah pogosteje vrtijo v zankah.
    Reality check: Qwen3.5-0.8B thinking loops and baseline
    7:54 · Reality check: Qwen3.5-0.8B thinking loops and baseline · A dark video slide quotes the Hugging Face model card for Qwen3.5-0.8B, which says the model is more prone to thinking loops in thinking mode than other Qwen3.5 models, and that looping is common at low temperature. A checklist at right shows step 1 done and step 2, "fair baseline?", highlighted, with a MATH-500 baseline of 7.9% marked with a question mark.
  39. u39 Torej morate dejansko, hm, prebrati celoten članek, da razumete, kakšne natančno, hm, so izboljšave in od kod prihajajo ti rezultati iz naslovov. Še ena zanimivost pa je, da Astra modela pravzaprav ne uči, kajne? Ni gradientov, ki bi jih lahko uporabil kot povratne informacije, vendar to ne pomeni, da Astra sploh ne upošteva nobenih povratnih informacij.
  40. u40 Dejansko so imeli nekaj vadbenih nalog, pri katerih je Astra lahko vedno znova delal popravke, in to je pravzaprav oblika povratnih informacij, ki jih prejema najnaprednejši model. Zato bi to opisal kot iskalni mehanizem,
  41. u41 Brez gradientov, a še vedno s povratnimi informacijami
  42. u42 pri katerem zelo pameten najnaprednejši model predlaga popravke, jih nato oceni in obdrži tisto, kar deluje. V tem članku je treba pogledati še nekaj stvari. Dejanske izboljšave torej izvirajo iz tistih zagonov, pri katerih je lahko končal, pri vseh drugih zagonih pa je dosegel manjše izboljšave ali pa sploh ni naredil popravka.
    Reality check: search loop with GPT-6 Astra
    8:51 · Reality check: search loop with GPT-6 Astra · A dark-background video still showing a hand-drawn cycle of propose, edit, score and keep, labeled "search", beside a robot icon tagged "GPT-6 Astra" with "no gradients" and "feedback". On the right is a three-item checklist (what got fixed?, fair baseline?, does it hold up?). The first two are ticked and the third is highlighted. A small chart below shows practice accuracy against forward passes used.
  43. u43 In mislim, da so poskuse izvedli tudi samo enkrat, zato bi bilo po mojem odlično to večkrat ponoviti in pogledati. Avtorji so to preizkusili tudi
  44. u44 En zagon je dosegel 48 %, vsakega pa so izvedli enkrat
  45. u45 na majhnem modelu Gemma, ki se res vrti v zankah, popravki pa so njegov matematični rezultat komaj kaj premaknili. Gre za povsem drugačen model, hm, zato primerjava ni popolna, vendar pridejo do istega sklepa: urejanje besed bi lahko odstranilo oviro, ki je skrivala neko sposobnost, hm, ne bi pa moglo dodati manjkajoče.
  46. u46 In to je zelo pomembna razlika, ki si jo je treba zapomniti. Najnaprednejši model ne dodaja nobenih novih zmožnosti, temveč
  47. u47 Gemma: odpravljanje ovir v primerjavi z dodajanjem spretnosti
  48. u48 samo odklepa nekatere zmožnosti, ki jih model že ima, a jih določeno vedenje blokira. Poglejmo zdaj nekaj omejitev, saj jih je pomembno upoštevati, ko pregledujemo, hm, te raziskovalne članke.
  49. u49 Iz tega članka bi izluščil dve praktični pravili. Prvo je, da bi ob slabem rezultatu majhnega modela za sklepanje močno priporočil, hm, da preštejemo, koliko njegovih odgovorov nikoli ne pride do končnega odgovora, preden dejansko karkoli spreminjamo. Če je večina prekinjena, imate težavo z zankami.
  50. u50 Rešitev pa je morda v načinu delovanja, morda v temperaturi ali v višji omejitvi dolžine ustvarjenega izhoda.
  51. u51 Dve pravili, preden zaupate skoku
  52. u52 Drugo pa je, da ne bi pričakoval, da bo urejanje uteži šibkejši model naredilo pametnejši, saj je v tem članku odstranilo obstoječo oviro, nikoli pa ni dodalo nove spretnosti. Kljub vsemu pa je še vedno precej impresivno, da ti najnaprednejši modeli lahko berejo in zapisujejo, hm, uteži majhnih mrež.
    Small model answers cut off by looping problem
    10:35 · Small model answers cut off by looping problem · A dark video slide titled "Two rules" highlights rule 1, "count cut-off answers". A grid of 96 answers from a small model shows only 11 finished (green) and 85 cut off (red) because of a looping problem at a 32,768 limit. The fix shown is a mode toggle, temperature 1.0 and a raised output limit of 81,920.
  53. u53 Lahko opravljajo raziskovanje, kakršno izvajajo ekipe za razložljivost, in ugotovijo, kateri del mreže je odgovoren za kaj, kar je bistveno za razumevanje, kako te mreže dejansko delujejo. To je torej zelo zanimivo raziskovalno področje. Pripravljam tudi video, v katerem bom ta popravek preizkusil v svojem lokalnem, hm, okolju.
  54. u54 Če si torej to želite, hm, se vsekakor naročite na kanal. Če pa želite izvedeti več o tem, kako se lahko sistemi umetne inteligence
  55. u55 Zakaj je to še vedno pomembno
  56. u56 izboljšujejo sami brez kakršnegakoli učenja, si oglejte ta video. Kakorkoli, upam, da se vam je ta video zdel koristen. Hvala za ogled in kot vedno, se vidimo v naslednjem.

Izvirnik

V okolici

Časovno korelirane napakeweb-61d8f4540a88arxiv-1909.05858Temperatura (vzorčenje)Proximal policy optimizationPrilizovanjePožrešno dekodiranjeOdpor do tveganja zaradi težavnosti učenjaNaraščanje gotovosti med zankamiGemma 3 270MDestilacija znanjaČakaj, čakaj, čakaj ... Zakaj se modeli za sklepanje vrtijo v zanki?Zavračanje v jezikovnih modelih usmerja ena sama smerMATH-500Directional ablationWeight-space programmingPonavljajoče se sklepanjeQwen3.5-0.8BGPT-6 AstraZametki programiranja v prostoru uteži: LLM-ji lahko neposredno berejo in pišejo uteži nevronskih mrežGPT-6 Astra je Qwen brez učenja naredil 6x boljšega pri matematikiŠestkrat boljši v matematiki brez…AI je odprl drugo AI in ji popravil…GPT-6 AstraQwen3.5-0.8BPonavljajoče se sklepanjeWeight-space programmingDirectional ablationMATH-500Zavračanje v jezikovnih modelih…Čakaj, čakaj, čakaj … Zakaj se AI…Destilacija znanjaGemma 3 270MNaraščanje gotovosti med…Odpor do tveganja zaradi…Požrešno dekodiranjePrilizovanjeProximal policy optimizationTemperatura (vzorčenje)arxiv-1909.05858web-61d8f4540a88Časovno korelirane napake

source

Zametki programiranja v prostoru uteži: LLM-ji lahko neposredno berejo in pišejo uteži nevronskih mrež

Avtorji trdijo, da lahko najzmogljivejši veliki jezikovni modeli oziroma LLM-ji neposredno berejo, popravljajo in pišejo uteži nevronskih mrež na podlagi ciljev, opisanih z vsakdanjim jezikom. Uteži so številske nastavitve, ki določajo delovanje mreže. Temu pravijo Weight-Space Programming — programiranje v prostoru uteži. V osmih poskusih GPT-6 Astra prepozna, za kaj so bile mreže naučene, popravi neuspešno strategijo upravljanja, iz nič napiše mreže za igranje iger in izboljša matematiko modela Qwen3.5-0.8B s spremembo 0.016% njegovih uteži. Avtorji to predstavljajo kot zgodnje rezultate z jasnimi omejitvami.

Prispevek

topic

GPT-6 Astra

Jezikovni model, ki se uporablja za pregledovanje, gradnjo in urejanje drugih nevronskih mrež.

Tema2 viraŠe brez izvirne raziskave

topic

Qwen3.5-0.8B

Majhen jezikovni model iz družine Qwen3.5.

Tema2 viraŠe brez izvirne raziskave

topic

Ponavljajoče se sklepanje

Način odpovedi, pri katerem se model za sklepanje vedno znova vrača k istim mislim, ne da bi napredoval do končnega odgovora.

Tema3 viriNi potrjeno z dvema neodvisnima viroma

topic

Weight-space programming

Programiranje v prostoru uteži neposredno bere ali gradi uteži nevronskih mrež za razlago ali izvedbo vedenja, namesto da bi se opiralo na običajno učenje.

Tema2 viraŠe brez izvirne raziskave

topic

Directional ablation

Tehnika interpretabilnosti, ki iz predstavitev ali uteži nevronske mreže odstrani izbrano smer, da zatre njen prispevek k vedenju modela.

Tema2 viraNi potrjeno z dvema neodvisnima viroma

topic

MATH-500

MATH-500 je primerjalni preizkus s 500 matematičnimi nalogami, ki se uporablja za vrednotenje uspešnosti reševanja matematičnih problemov.

Tema1 virEn sam vir

source

Zavračanje v jezikovnih modelih usmerja ena sama smer

Zavračanje škodljivih navodil v odprtokodnih klepetalnih modelih nadzoruje ena sama smer v rezidualnem toku — toku notranjih podatkov, ki se prenašajo in dopolnjujejo skozi plasti modela. Če to smer izbrišemo, model neha zavračati navodila. Če jo dodamo, zavrača tudi neškodljive pozive. Ista ugotovitev omogoča spremembo uteži ranga ena: nastavljive vrednosti v modelu spremenimo vzdolž ene same smeri. To deluje kot obhod varoval z dostopom do notranjosti modela. Ugotovitev tudi pojasnjuje, kako napadalni dodatki na koncu pozivov zatrejo zavračanje.

Raziskava

source

Čakaj, čakaj, čakaj ... Zakaj se modeli za sklepanje vrtijo v zanki?

Modeli za sklepanje se pri dolgih verigah misli — zaporedjih vmesnih korakov razmišljanja — zataknejo in ponavljajo besedilo. Najpogosteje se to zgodi pri požrešnem dekodiranju ob nizki temperaturi: model vedno izbere najverjetnejše nadaljevanje, nastavitev za naključnost izbire pa je nizka. Vir to pripisuje predvsem napakam pri učenju, ne le velikosti modela ali naključnosti pri izbiranju nadaljevanja. To podpre s preizkusi odprtih modelov in z dvema mehanizmoma, prikazanima na umetno zasnovani nalogi z grafom — mrežo vozlišč in povezav: izogibanjem tveganju zaradi težavnosti učenja in časovno povezanimi napakami.

Raziskava

To besedilo je napisano z umetno inteligenco.

Objavljeno v: Zdaj