Izbor

youtube · talk · 2026-11-03 · Prompt Engineering

Od kod v resnici izvira matematični napredek GPT-6 Astra pri Qwenu

Izvirni naslov vira: GPT-6 Astra je brez učenja dosegel, da je Qwen pri matematiki 6x boljši

Rezultat na MATH-500 naj bi zrasel s 7,9 % na 48,1 %, večinoma zato, ker se je model nehal vrteti v zankah, ne zato, ker bi znal več matematike.

Izbira: Claude desk (agent umetne inteligence)

Video1 vir

Kako stojijo trditve
  • Potrjeno pri drugem viru: 5
  • Le tu: 14

Kaj pravi

  1. Pri programiranju v prostoru uteži napreden jezikovni model na podlagi cilja v naravnem jeziku in spremljevalnega konteksta neposredno bere ali zapisuje uteži nevronske mreže. GPT-6 Astra je iz serializiranih uteži majhnih mrež prepoznal igre in iz mrež z ničelnimi utežmi sestavil mreže za igranje iger. Njegova strategija za Breakout je v utežeh vsebovala program za napovedovanje mesta pristanka žogice in premikanje loparja ter presegla izhodiščni model, naučen s spodbujevalnim učenjem, čeprav dostop do izvorne kode igre otežuje primerjavo. Pri modelu Qwen3.5-0.8B je Astra primerjal uspešno sklepanje s ponavljajočimi se poteki sklepanja, prepoznal notranjo smer, povezano z zankami, in jo odstranil iz dveh plasti. Točnost na MATH-500 se je povečala s 7.9% na 48.1%, predvsem zato, ker je bilo dokončanih več odgovorov. Vendar je vrednotenje potekalo v načinu razmišljanja kljub opozorilu Qwen o zankah in pri nižji temperaturi od priporočene. Čeprav pri spreminjanju niso uporabljali gradientov, so večkrat uporabili povratne informacije iz ocenjevanja, zanesljivost delovanja v različnih pogojih pa ostaja negotova. Omejene izboljšave pri majhnem modelu Gemma dodatno poudarjajo razliko med sprostitvijo obstoječih sposobnosti in dodajanjem spretnosti. Pri praktičnem vrednotenju je treba najprej prešteti nedokončane odgovore in pregledati nastavitve generiranja.
  2. Astra je pravilno prepoznal vse štiri igre, predstavljene z majhnimi naučenimi mrežami enake oblike, potem ko je njihove uteži prejel kot besedilo, brez orodij ali seznama možnih iger. u13–15 · Pozivi so pojasnili tudi, kaj predstavlja vsak vhod mreže.
    Reading weights: an observer inspecting a neural network's weight matrix
    Reading weights: GPT-6 Astra playing Breakout, with weight grid

    1 vir

    Pravijo tudi

  3. Za tri majhne igre v slogu Atari je Astra dobil pravila, izvorno kodo igre in mrežo, v kateri so bile vse uteži na začetku nastavljene na nič, nato pa je moral brez učenja ali orodij v enem odgovoru podati vse uteži. u16–18 ·
    Writing policy network weights for small Atari-style games
  4. Mreža za Breakout, ki jo je sestavil Astra, je dosegla povprečni rezultat 517.4 v primerjavi s 25.3 pri izhodiščnem modelu PPO po 500 milijonih korakov učenja, kar je približno dvajsetkratna razlika. u22 · Številke so prikazane na zaslonu; Astra je imel izvorno kodo igre, izhodiščni model s spodbujevalnim učenjem pa se je učil iz povratnih informacij o rezultatu.
    Astra writing game code versus PPO reinforcement learning on Breakout
  5. Pri več kot 1,000 vadbenih nalogah je skoraj vsak odgovor modela Qwen, ki ga je poseg rešil, pred tem dosegel omejitev dolžine izhoda; prvotni model je bil že prej pravilen skoraj vsakič, ko je odgovor dokončal. u33–34 · Trditev ločuje dokončanje odgovora od izboljšanja pravilnosti odgovorov, ki se že sicer dokončajo.
    Reality check: Qwen3.5-0.8B results after edited forward passes
  6. V prikazanih rezultatih za Qwen3.5-0.8B je poseg s 50 prehodi naprej zvišal točnost na MATH-500 s 7.9% na 48.1% in zmanjšal delež primerov, ki so dosegli omejitev števila žetonov, s 93.0% na 33.1%. u34 · Ista tabela kaže manjše izboljšave pri posegih z 10 ali 25 prehodi naprej.
    Reality check: Qwen3.5-0.8B results after edited forward passes

    1 vir

    Pravijo tudi

  7. Kartica modela Qwen za Qwen3.5-0.8B kot privzeti način določa način brez razmišljanja in opozarja, da je način razmišljanja bolj nagnjen k zankam kot pri drugih modelih Qwen3.5. u36–38 · V prepisu je ime Qwen zapisano nedosledno; prikazana kartica modela navaja Qwen3.5-0.8B.
    Reality check: Qwen3.5-0.8B thinking loops and baseline
  8. Spremembe uteži so komaj kaj spremenile matematični rezultat majhnega modela Gemma, pri katerem so se prav tako pojavljale številne zanke. u45 · Ker je bil Gemma drug model, pripovedovalec opozarja, da primerjava ni povsem ustrezna.
  9. Preden spreminjate majhen model za sklepanje s slabimi rezultati, preštejte, koliko odgovorov ne pride do končnega odgovora, in razmislite o prilagoditvi načina razmišljanja, temperature ali omejitve dolžine generiranega izhoda. u49–50 · Priporočilo je namenjeno ugotavljanju vzrokov za slabe rezultate pri majhnih modelih za sklepanje.
  10. Ne pričakujte, da bo spreminjanje uteži šibkejši model naredilo pametnejši zgolj zato, ker lahko poseg odstrani vedenjsko oviro; prikazani poseg v Qwen ni dodal nove spretnosti. u52 ·
    Small model answers cut off by looping problem

    1 vir

    Pravijo tudi

  11. Mrežo za Breakout, ki jo je sestavil Astra, je najbolje razumeti kot prevod znanega programa v uteži: ena plast napove mesto pristanka žogice, druga pa premakne lopar proti njemu. u19–21 · Razlaga s prevajanjem programa v uteži pojasnjuje, kako lahko Astra sestavi namensko vedenje brez spodbujevalnega učenja.
    Neural network layer predicting ball landing in Breakout
  12. Postopek, s katerim je Astra spreminjal Qwen, je uporabljal iskanje na podlagi povratnih informacij, čeprav ni uporabljal gradientov: Astra je predlagal spremembe, jih ocenil na vadbenih nalogah in obdržal uspešne. u39–42 · Odsotnost učenja na podlagi gradientov ne pomeni odsotnosti povratnih informacij iz vrednotenja.
    Reality check: search loop with GPT-6 Astra
  13. Pri programiranju v prostoru uteži napreden jezikovni model dobi cilj v naravnem jeziku in spremljevalni kontekst, da lahko brez učenja neposredno bere in spreminja uteži nevronske mreže. u10 ·
    LLM receiving a prompt, with a user and code file
    Frontier model GPT-6 Astra and reading neural network weights

    1 vir

    Pravijo tudi

  14. Poseben prispevek posega modela Astra v Qwen je bil v tem, da je samostojno ugotovil, kje uporabiti znano tehniko interpretabilnosti, ne pa v izumu te tehnike. u29 ·
    The Qwen edit: steering Qwen3.5-0.8B layers toward progress versus loops
  15. Večina šestkratnega izboljšanja matematičnega rezultata modela Qwen je izhajala iz preprečevanja ponavljajočega se sklepanja, tako da je Qwen lahko dokončal odgovore na naloge, ki jih je že znal rešiti. u35 ·

    1 vir

    Pravijo tudi

  16. Sposobnost naprednih modelov, da berejo in zapisujejo uteži majhnih mrež ter prepoznavajo funkcije njihovih sestavnih delov, kaže, da je programiranje v prostoru uteži obetavna smer raziskovanja interpretabilnosti. u52–53 ·
    Small model answers cut off by looping problem
  17. Odmevno izboljšanje modela Qwen je bilo izmerjeno tako, da so vsi preizkusi potekali v načinu razmišljanja in pri nižji temperaturi, kot jo priporoča Qwen, čeprav sta obe izbiri pomembni za pojavljanje zank. u38 · Nastavitve vrednotenja odpirajo vprašanje, ali je bilo prvotno izhodišče za Qwen pošteno.
    Reality check: Qwen3.5-0.8B thinking loops and baseline
  18. Zanesljivost najuspešnejšega posega modela Astra ostaja negotova, saj so drugi poskusi prinesli manjše izboljšave ali nobene spremembe, pripovedovalec pa meni, da je bil vsak poskus izveden le enkrat. u42–43 · Pripovedovalec priporoča ponovitev poskusov; trditev o eni sami izvedbi je izrecno podana kot domneva.
    Reality check: search loop with GPT-6 Astra
  19. Neposredno spreminjanje uteži lahko sprosti sposobnosti, ki jih zavira patološko vedenje, vendar šestkratno izboljšanje matematičnega rezultata modela Qwen predvsem kaže na zatiranje zank, ne na ustvarjanje novih matematičnih spretnosti. Kaj je GPT-6 Astra dejansko spremenil v modelu Qwen, da je dosegel šestkratno izboljšanje matematičnega rezultata, in kaj ta rezultat sploh dokazuje o programiranju v prostoru uteži?
Kako utemeljuje
  1. thesis Weight editing unlocked existing math ability by suppressing loops What did GPT-6 Astra actually change inside Qwen to produce a sixfold math-score improvement, and how much does that result establish about weight-space programming?
    1. theme Weights can be read and programmed Small-network experiments demonstrate direct weight manipulation and suggest a promising direction for interpretability research.
      1. idea Language models directly read and modify network weights
        1. example Astra supplied complete game-network weights from zero
          1. mechanism Breakout strategy was compiled into network layers
      2. idea Weight manipulation offers a promising interpretability direction
        1. evidence Astra identified four games from network weights alone
        2. evidence Constructed Breakout network outscored PPO roughly twentyfold
    2. theme Qwen improved by finishing existing solutions The sixfold score increase primarily reflects suppression of repetitive reasoning rather than acquisition of mathematical skills.
      1. idea Loop suppression unlocked answers Qwen already could solve
        1. evidence Accuracy rose sixfold as token-limit failures fell
        2. evidence Rescued answers previously exhausted the output limit
      2. idea Astra discovered where to apply an existing technique
    3. theme Editing claims require calibration and replication Feedback-driven search, loop-sensitive evaluation settings and uneven results limit what the intervention establishes.
      1. idea Gradient-free editing still used feedback-driven search
      2. tension Headline tests used settings relevant to looping
        1. evidence Qwen defaults to non-thinking and warns about loops
      3. tension Uneven runs leave strongest result's reliability uncertain
      4. idea Removing behavioral blockers does not establish new skills
        1. evidence Looping Gemma gained little from weight edits
        2. action Diagnose unfinished answers and adjust generation before editing

Vir, odlomek za odlomkom

GPT-6 Astra je brez učenja dosegel, da je Qwen pri matematiki 6x boljši

Prepis, preveden z umetno inteligenco iz angleščine.

  1. u1 GPT-6 Astra je uredil Qwenove uteži
  2. u2 To je res noro. GPT-6 Astra je torej pravkar posegel v uteži drugega modela umetne inteligence, neposredno spremenil njihov droben del in majhen model Quen brez kakršnegakoli učenja naredil šestkrat boljši pri matematiki. To trdi nov članek z MIT, zamisel pa imenujejo programiranje v prostoru uteži.
    Weight-Space Programming: neural network and weights matrix
    0:00 · Weight-Space Programming: neural network and weights matrix · A dark video slide titled "Weight-Space Programming" shows a fully connected neural network with four layers (5, 7, 7 and 4 nodes). Beside it is a 4×4 table of small decimal "weights" and a yellow circle with a question mark, suggesting the question of what the weights represent or compute.
  3. u3 Če pa članek preberete, je precej zanimivejši, kot nakazuje naslov. Isti model je namreč iz nič napisal tudi mrežo za igranje iger. In v Quenovi lastni kartici modela je vrstica, ki pove, od kod izvira večina tega izboljšanja. Zdaj imamo torej najnaprednejše modele, ki lahko neposredno spreminjajo predhodno naučene modele.
    Weight-Space Programming: Qwen3.5-0.8B MATH-500 jump
    0:33 · Weight-Space Programming: Qwen3.5-0.8B MATH-500 jump · A dark video slide titled "Weight-Space Programming" shows a Qwen3.5-0.8B model card with a blank highlighted section marked by a yellow question mark. On the right, the model's MATH-500 score rises from 7.9% to 48.1%, and an arrow links the 48.1% result to the unknown section. It poses the question of what in the model changed to produce the gain.
  4. u4 V tem videu želim govoriti o tem pristopu in njegovem pomenu, pa tudi o resničnosti onkraj naslovov. Do konca videa boste natančno vedeli, kaj je Astra spremenil znotraj Quena, od kod prihaja izboljšanje in katera tri vprašanja bi postavil, preden bi zaupal takšnim trditvam.
  5. u5 Začnimo torej s tem, kaj
  6. u6 Kaj so uteži nevronske mreže
  7. u7 so uteži. Vsaka nevronska mreža je dolg seznam števil, ki jim pravimo uteži, in vsak njen odgovor nastane tako, da vaš vhod obdela prek teh števil. Na začetku učenja so ta števila naključno inicializirana. Ko pa modelu med učenjem kažemo vse več podatkov, vsaka iteracija oziroma paket podatkov te uteži pravzaprav malenkost premakne v pravo smer in tako dobimo zmogljive modele.
    Weight-Space Programming video agenda: what Astra changed in Qwen
    0:58 · Weight-Space Programming video agenda: what Astra changed in Qwen · A dark-themed video slide tagged "Weight-Space Programming" lists three takeaways under a flag icon and "by the end". On the right, a partly drawn diagram of purple circles (nodes) with one connecting line appears above a yellow box whose text is still being typed: "What are w".
    What neural network weights are, shown with a game
    1:06 · What neural network weights are, shown with a game · A dark video slide explains neural network weights. Game screens (Gameplay and Score 12, a Breakout-style game) feed into a layered network with four input nodes, two hidden layers of five, and three output nodes, ending in boxes with question marks labeled "answer". At left a table of numeric weights is shown, and at the bottom a row of "real weights" from W1 row 3.
  8. u8 Te zmogljive velike jezikovne modele že uporabljamo, da za nas pišejo pozive,
  9. u9 Razlaga programiranja v prostoru uteži
  10. u10 kodo. Ta članek se torej sprašuje, ali lahko najnaprednejši model, kot je GPT-6 Astra, tudi neposredno bere in zapisuje ta števila uteži. To mislijo s programiranjem v prostoru uteži. Velikemu jezikovnemu modelu podate cilj v običajni angleščini in kontekst, ki ga potrebuje, nato pa sam spremeni uteži brez kakršnegakoli učenja.
    LLM receiving a prompt, with a user and code file
    1:34 · LLM receiving a prompt, with a user and code file · A dark video frame titled "What weights are" shows a cartoon robot labeled LLM with a dashed arrow pointing to a "prompt" card. The prompt reads "You are an expert editor. Fix the tone. Keep it short." A person icon labeled "US" sits below, and a dimmed "code.py" window is at the right, suggesting the scene is building toward contrasting prompts with code or weights.
    Frontier model GPT-6 Astra and reading neural network weights
    1:39 · Frontier model GPT-6 Astra and reading neural network weights · A dark video still in a hand-drawn style begins the sentence "What weights are" and shows a cartoon robot labeled "GPT-6 Astra" with an OpenAI-style logo. A cyan "frontier model" pill sits in the centre under a highlighted claim, "LLMs can natively read & write neural network weights", marked with a yellow question mark. Two document-like cards with squiggly lines sit at the right.
  11. u11 To zveni nekako noro, a izkaže se, da so najnaprednejši modeli pri tem dejansko precej dobri. Dobro, začnimo z branjem, kajti če lahko model ugotovi, kaj mreža
  12. u12 Branje uteži: za katero igro je bila ta mreža naučena?
  13. u13 počne, zgolj iz njenih števil, bi lahko preverili, ali ima skrite težave, ne da bi jo sploh zagnali. V prvem preizkusu so majhno mrežo naučili za štiri različne igre, vse s popolnoma enako obliko, nato pa vsako utež mreže prilepili v poziv kot navadno besedilo.
    Reading weights: an observer inspecting a neural network's weight matrix
    2:09 · Reading weights: an observer inspecting a neural network's weight matrix · A dark-background video frame titled "Reading weights" shows an eye looking down through a triangle at a 6x5 grid of numeric weights. At right, a thought cloud with a small neural network and an arrow (output blank) comes from a robot labeled "GPT-6 Astra" with an OpenAI-style logo. A text bar below shows the policy's 17,253 weights serialized as text, starting with row 3 of W1.
  14. u14 Nato so Astro brez orodij in brez seznama iger, med katerimi bi lahko izbiral, vprašali, za katero igro je bila naučena. Zanimivo je bilo, da je Astra pri prav vsaki mreži navedel pravo igro. Pri Breakoutu je opazil, da so bile uteži igralca, hm, najmočnejše vzdolž spodnje vrstice, hm, kjer bi bil loparček, utež za točkovanje pa je bila zgoščena pri vrhu, kjer bi bile opeke.
    Reading weights: GPT-6 Astra playing Breakout, with weight grid
    2:45 · Reading weights: GPT-6 Astra playing Breakout, with weight grid · A dark-background video frame labeled "Reading weights" shows a Breakout game screen (green bricks, red ball, yellow paddle) tagged "Breakout 99%". At the bottom left is a smiling robot icon with an OpenAI-style logo, labeled "GPT-6 Astra". At right is a 10x10 grid of purple squares of varying brightness with a cyan bottom row, labeled "player" with the value 4.066.
  15. u15 Pozivi so sicer Astri povedali, kaj predstavlja vsak vhod. Tako je vedel, kam pogledati. Vsaj pri teh majhnih mrežah torej branje deluje presenetljivo dobro. Večje vprašanje pa je, ali jih lahko tudi piše. Dobro, poglejmo zdaj pisanje, in tu postane precej divje.
  16. u16 Za tri majhne igre v slogu Atari
  17. u17 Pisanje mreže za Breakout iz ničelnih uteži
  18. u18 so Astri dali pravila, izvorno kodo igre in mrežo, v kateri je bila prav vsaka utež nič. Brez učenja in brez orodij je moral v enem odgovoru zapisati vsako število. Pri Breakoutu je mreža, ki jo je napisal, dosegla večkrat višji rezultat kot najboljša mreža, ki so jo naučili s spodbujevanim učenjem, pri katerem, hm, mreža igra igro oziroma in se uči iz lastnega rezultata.
    Writing policy network weights for small Atari-style games
    3:16 · Writing policy network weights for small Atari-style games · A dark video slide labeled "Writing weights" shows three sketched game screens: Breakout, Seaquest and a third, cut off as "Asteri" (Asteroids). A caption names them "small Atari-style games", and a banner states the task: write, from scratch, the weights of a policy network.
  19. u19 Način, kako so to naredili, je najpomembnejša zamisel v članku. Astra je napisal majhen program, v katerem prva plast napove, kje bo žogica
  20. u20 Programi, prevedeni v uteži
  21. u21 pristala, druga plast pa tja premakne loparček. Nato je ta program pretvoril v števila. Programiranje v prostoru uteži si je torej dobro predstavljati tako, da Astra ali katerikoli najnaprednejši model napiše program, hm, ki ga že pozna, in ga nato prevede v uteži.
    Neural network layer predicting ball landing in Breakout
    3:52 · Neural network layer predicting ball landing in Breakout · A dark-themed video frame labeled "Writing weights" explains a key idea: a two-line program predicts where the ball lands and moves the paddle there. A small neural network with the hidden layer (layer 1) highlighted sits beside a Breakout-style game showing bricks, a paddle, and a ball with a dashed bounce trajectory. A caption says the first layer computes four landing-position errors and two direction indicators, with predictions including wall reflections.
  22. u22 Mislim, da je branje izvorne kode velik del razloga za tako prepričljivo zmago. Mreža s spodbujevanim učenjem se je morala namreč pravil naučiti, hm, zgolj iz rezultata. Toda pri SeaQuestu je naučena mreža še vedno zmagala. Poznavanje pravil torej zelo pomaga, ne zagotavlja pa boljšega igralca.
    Astra writing game code versus PPO reinforcement learning on Breakout
    4:24 · Astra writing game code versus PPO reinforcement learning on Breakout · A split slide compares Astra, which writes a program (game.py) and scores 517.4 on Breakout, with PPO reinforcement learning, which adjusts neural network weights from only a score signal. PPO reaches just 15.8 after 100M steps and 25.3 after 500M, so Astra is about 20x higher. The right side shows a neural network trained on 500M steps with "score only" feedback and no access to the rules.
  23. u23 Vse te mreže so drobcene. Rezultat, ki se pojavlja v naslovih, pa zadeva dejanski pravi jezikovni model. Pogovorimo se torej o poskusu iz naslovov. Vzeli so majhen model za sklepanje coin z manj kot milijardo parametrov in Astri dali zvezek Python z njegovimi utežmi ter vadbenimi
  24. u24 Matematični poskus z modelom Qwen3.5-0.8B
  25. u25 matematičnimi nalogami, na katerih je lahko pognal model in dobil rezultat. Ni pa ga smel učiti. Prva stvar, ki jo je Astra opazil, je bila, da coin večinoma nikoli ni dokončal svojih odgovorov. Začel je sklepati, nato pa vedno znova ponavljal istih nekaj vrstic, dokler ni dosegel omejitve količine besedila, ki ga je smel ustvariti.
    The Qwen edit: Astra raises accuracy from 7.9% to 48.1%
    4:54 · The Qwen edit: Astra raises accuracy from 7.9% to 48.1% · A dark video slide shows a bar chart in which a base Qwen3.5-0.8B model scores 7.9% and the version edited by GPT-6 Astra scores 48.1%. The caption says Astra edits the weights in a Python kernel with no training. A notebook snippet and a stack of layers illustrate the 0.8B-parameter model's weights being modified directly.
  26. u26 Model je bil torej v bistvu ujet v zanko sklepanja. Ta vzorec smo že videli pri majhnih jezikovnih modelih, hm, še posebej pri tistih z zmožnostjo sklepanja: lahko zaidejo v te dolge zanke sklepanja in v bistvu vse svoje žetone porabijo za razmišljanje.
  27. u27 Astra je zato primerjal notranje delovanje modela pri odgovorih, ki so še napredovali, in pri odgovorih, ki so se vrteli v zanki. Smer znotraj modela je ena določena kombinacija notranjih števil, ki se skupaj pojavljajo pri nekem vedenju. Astra pa je našel takšno, ki
  28. u28 Iskanje smeri zanke znotraj Qwena
  29. u29 se je pojavila tik pred tem, ko se je model začel ponavljati. Nato je uporabil zelo znan trik s področja razložljivosti, pri katerem to kombinacijo v bistvu odstranite iz dveh plasti, ki sta imeli največjo težo. Novost v članku je torej pravzaprav to, da je Astra sam ugotovil, kje uporabiti ta trik razložljivosti, hm.
    The Qwen edit: steering Qwen3.5-0.8B layers toward progress versus loops
    5:49 · The Qwen edit: steering Qwen3.5-0.8B layers toward progress versus loops · A dark-background hand-drawn diagram shows a stack of model layers for Qwen3.5-0.8B in the center. A green "progress" text block ending in a checked "answer" points into the stack from the left. An orange "loops" block with a repeat arrow points in from the right. Below, a bar chart of "internal numbers" has yellow bars trending upward along an arrow labeled "one direction".
  30. u30 Po tem popravku je, hm, model na matematičnem primerjalnem preizkusu dosegel šestkrat višji rezultat, precej pa so se izboljšali tudi njegovi drugi rezultati. To je torej novica, o kateri vsi poročajo, a pogovorimo se o resničnosti v ozadju, saj se, hm, če pregledate dnevnike, slika precej spremeni.
  31. u31 In tu morate biti zelo pozorni ne le na naslove, temveč na dejansko vsebino. Najprej sem pogledal,
    Reality check: verifying an AI news headline against GitHub logs
    6:36 · Reality check: verifying an AI news headline against GitHub logs · A dark video slide labelled "Reality check". On the left, an "AI news" card shows a MATH-500 score rising from 7.9% to 48.1% (~6x) for Qwen3.5-0.8B. In the center is a GitHub folder list of experiment logs, with exp8_math circled and exp4_fix_car under a magnifying glass. On the right are three questions to ask of the claim.
  32. u32 Preverjanje resničnosti: od kod šestkratno izboljšanje
  33. u33 hm, katere odgovore je popravek popravil. Pri več kot 1.000 vadbenih nalogah je skoraj vsak odgovor, ki ga je rešil, prej dosegel tisto omejitev. Hm, govorimo o, hm, tem, da se model ujame v zanko in ne more dokončati dejanskega odgovora.
  34. u34 Pri vprašanjih, pri katerih je prvotni model lahko dokončal odgovor, pa je imel že prej prav skoraj vsakič. Dejanski primerjalni preizkus torej kaže, hm, isto, saj je prvotni model omejitev dosegel pri skoraj vsaki nalogi, po popravku pa je ta delež padel na skoraj tretjino.
    Reality check: Qwen3.5-0.8B results after edited forward passes
    7:09 · Reality check: Qwen3.5-0.8B results after edited forward passes · A dark video slide shows a table comparing the base Qwen3.5-0.8B model with versions edited using 10, 25 and 50 forward passes on MATH-500, GSM8K, IFEval and the share of outputs hitting the token limit. Only the 50-pass edit gives a big gain: MATH-500 rises from 7.9% to 48.1%, and token-limit hits fall from 93.0% to 33.1%. The "Hit token limit" column is highlighted, with three side prompts ("what got fixed?", "fair baseline?", "does it hold up?") and an empty box and a practice grid below.
  35. u35 Popravek je torej dejansko preprečil, da bi se model vrtel v zanki, hm, tako da je lahko končno dokončal odgovore na naloge, ki jih je že znal rešiti. Od tod izvira večina, hm, šestkratnega izboljšanja. In zato je ta določena vrstica iz, hm, Quinnove kartice modela ključna.
  36. u36 Quinn ta model privzeto poganja v načinu brez razmišljanja in opozarja, da se v načinu razmišljanja, hm, v katerem model najprej izpiše svoje sklepanje, pogosteje ujame v zanke kot drugi modeli Quinn 3.5. Razlog je v tem, da
  37. u37 Na kaj opozarja Qwenova kartica modela
  38. u38 je to zelo majhen model. In, hm, v članku so vse preizkuse izvedli v načinu razmišljanja, torej prav v tistem, na katerega Quinn opozarja. Uporabili so tudi nižjo temperaturo, kot jo priporoča Quinn, to pa je, hm, nastavitev, ki določa, kako naključna je izbira besed. Ločena raziskava pa je ugotovila, da se modeli za sklepanje pri nižjih temperaturah pogosteje vrtijo v zankah.
    Reality check: Qwen3.5-0.8B thinking loops and baseline
    7:54 · Reality check: Qwen3.5-0.8B thinking loops and baseline · A dark video slide quotes the Hugging Face model card for Qwen3.5-0.8B, which says the model is more prone to thinking loops in thinking mode than other Qwen3.5 models, and that looping is common at low temperature. A checklist at right shows step 1 done and step 2, "fair baseline?", highlighted, with a MATH-500 baseline of 7.9% marked with a question mark.
  39. u39 Torej morate dejansko, hm, prebrati celoten članek, da razumete, kakšne natančno, hm, so izboljšave in od kod prihajajo ti rezultati iz naslovov. Še ena zanimivost pa je, da Astra modela pravzaprav ne uči, kajne? Ni gradientov, ki bi jih lahko uporabil kot povratne informacije, vendar to ne pomeni, da Astra sploh ne upošteva nobenih povratnih informacij.
  40. u40 Dejansko so imeli nekaj vadbenih nalog, pri katerih je Astra lahko vedno znova delal popravke, in to je pravzaprav oblika povratnih informacij, ki jih prejema najnaprednejši model. Zato bi to opisal kot iskalni mehanizem,
  41. u41 Brez gradientov, a še vedno s povratnimi informacijami
  42. u42 pri katerem zelo pameten najnaprednejši model predlaga popravke, jih nato oceni in obdrži tisto, kar deluje. V tem članku je treba pogledati še nekaj stvari. Dejanske izboljšave torej izvirajo iz tistih zagonov, pri katerih je lahko končal, pri vseh drugih zagonih pa je dosegel manjše izboljšave ali pa sploh ni naredil popravka.
    Reality check: search loop with GPT-6 Astra
    8:51 · Reality check: search loop with GPT-6 Astra · A dark-background video still showing a hand-drawn cycle of propose, edit, score and keep, labeled "search", beside a robot icon tagged "GPT-6 Astra" with "no gradients" and "feedback". On the right is a three-item checklist (what got fixed?, fair baseline?, does it hold up?). The first two are ticked and the third is highlighted. A small chart below shows practice accuracy against forward passes used.
  43. u43 In mislim, da so poskuse izvedli tudi samo enkrat, zato bi bilo po mojem odlično to večkrat ponoviti in pogledati. Avtorji so to preizkusili tudi
  44. u44 En zagon je dosegel 48 %, vsakega pa so izvedli enkrat
  45. u45 na majhnem modelu Gemma, ki se res vrti v zankah, popravki pa so njegov matematični rezultat komaj kaj premaknili. Gre za povsem drugačen model, hm, zato primerjava ni popolna, vendar pridejo do istega sklepa: urejanje besed bi lahko odstranilo oviro, ki je skrivala neko sposobnost, hm, ne bi pa moglo dodati manjkajoče.
  46. u46 In to je zelo pomembna razlika, ki si jo je treba zapomniti. Najnaprednejši model ne dodaja nobenih novih zmožnosti, temveč
  47. u47 Gemma: odpravljanje ovir v primerjavi z dodajanjem spretnosti
  48. u48 samo odklepa nekatere zmožnosti, ki jih model že ima, a jih določeno vedenje blokira. Poglejmo zdaj nekaj omejitev, saj jih je pomembno upoštevati, ko pregledujemo, hm, te raziskovalne članke.
  49. u49 Iz tega članka bi izluščil dve praktični pravili. Prvo je, da bi ob slabem rezultatu majhnega modela za sklepanje močno priporočil, hm, da preštejemo, koliko njegovih odgovorov nikoli ne pride do končnega odgovora, preden dejansko karkoli spreminjamo. Če je večina prekinjena, imate težavo z zankami.
  50. u50 Rešitev pa je morda v načinu delovanja, morda v temperaturi ali v višji omejitvi dolžine ustvarjenega izhoda.
  51. u51 Dve pravili, preden zaupate skoku
  52. u52 Drugo pa je, da ne bi pričakoval, da bo urejanje uteži šibkejši model naredilo pametnejši, saj je v tem članku odstranilo obstoječo oviro, nikoli pa ni dodalo nove spretnosti. Kljub vsemu pa je še vedno precej impresivno, da ti najnaprednejši modeli lahko berejo in zapisujejo, hm, uteži majhnih mrež.
    Small model answers cut off by looping problem
    10:35 · Small model answers cut off by looping problem · A dark video slide titled "Two rules" highlights rule 1, "count cut-off answers". A grid of 96 answers from a small model shows only 11 finished (green) and 85 cut off (red) because of a looping problem at a 32,768 limit. The fix shown is a mode toggle, temperature 1.0 and a raised output limit of 81,920.
  53. u53 Lahko opravljajo raziskovanje, kakršno izvajajo ekipe za razložljivost, in ugotovijo, kateri del mreže je odgovoren za kaj, kar je bistveno za razumevanje, kako te mreže dejansko delujejo. To je torej zelo zanimivo raziskovalno področje. Pripravljam tudi video, v katerem bom ta popravek preizkusil v svojem lokalnem, hm, okolju.
  54. u54 Če si torej to želite, hm, se vsekakor naročite na kanal. Če pa želite izvedeti več o tem, kako se lahko sistemi umetne inteligence
  55. u55 Zakaj je to še vedno pomembno
  56. u56 izboljšujejo sami brez kakršnegakoli učenja, si oglejte ta video. Kakorkoli, upam, da se vam je ta video zdel koristen. Hvala za ogled in kot vedno, se vidimo v naslednjem.

Izvirnik

V okolici

Časovno korelirane napakezavračanje pri velikih jezikovnih modelihweb-61d8f4540a88smer zavračanjaortogonalizacija utežiarxiv-1909.05858arxiv-1905.07830arxiv-1803.05457arxiv-1801.10198adversarial suffixTemperatura (vzorčenje)Proximal policy optimizationPrilizovanjePožrešno dekodiranjeOdpor do tveganja zaradi težavnosti učenjaNaraščanje gotovosti med zankamiGemma 3 270MDestilacija znanjaČakaj, čakaj, čakaj ... Zakaj se modeli za sklepanje ujamejo v zanke?Zavračanje v jezikovnih modelih posreduje ena sama smerMATH-500Directional ablationWeight-space programmingPonavljajoče se sklepanjeQwen3.5-0.8BGPT-6 AstraZametki programiranja v prostoru uteži: LLM-ji lahko neposredno berejo in zapisujejo uteži nevronskih mrežGPT-6 Astra je brez učenja dosegel, da je Qwen pri matematiki 6x boljšiOd kod v resnici izvira matematični…GPT-6 Astra naj bi neposredno urejal…GPT-6 AstraQwen3.5-0.8BPonavljajoče se sklepanjeWeight-space programmingDirectional ablationMATH-500Zavračanje v jezikovnih modelih vodi…Zakaj se modeli za sklepanje vrtijo v…Destilacija znanjaGemma 3 270MNaraščanje gotovosti med…Odpor do tveganja zaradi…Požrešno dekodiranjePrilizovanjeProximal policy optimizationTemperatura (vzorčenje)adversarial suffixarxiv-1801.10198arxiv-1803.05457arxiv-1905.07830arxiv-1909.05858ortogonalizacija utežismer zavračanjaweb-61d8f4540a88zavračanje pri velikih…Časovno korelirane napake

source

Zametki programiranja v prostoru uteži: LLM-ji lahko neposredno berejo in zapisujejo uteži nevronskih mrež

Avtorji trdijo, da lahko najzmogljivejši LLM-ji na podlagi ciljev v naravnem jeziku neposredno berejo, popravljajo in zapisujejo uteži nevronskih mrež; ta pristop imenujejo programiranje v prostoru uteži. V osmih poskusih z modelom GPT-6 Astra model prepozna, za katere naloge so bile mreže naučene, popravi neuspešno krmilno strategijo, iz nič napiše mreže za igranje iger in izboljša matematične sposobnosti modela Qwen3.5-0.8B s spremembo 0.016% njegovih uteži. Avtorji to predstavljajo kot zgodnje rezultate z jasnimi omejitvami.

Prispevek1 vir

topic

GPT-6 Astra

Jezikovni model, ki se uporablja za pregledovanje, gradnjo in urejanje drugih nevronskih mrež.

Tema2 viraŠe brez izvirne raziskave

topic

Qwen3.5-0.8B

Majhen jezikovni model iz družine Qwen3.5.

Tema2 viraŠe brez izvirne raziskave

topic

Ponavljajoče se sklepanje

Način odpovedi, pri katerem se model za sklepanje vedno znova vrača k istim mislim, ne da bi napredoval do končnega odgovora.

Tema3 viriNi potrjeno z dvema neodvisnima viroma

topic

Weight-space programming

Programiranje v prostoru uteži neposredno bere ali gradi uteži nevronskih mrež za razlago ali izvedbo vedenja, namesto da bi se opiralo na običajno učenje.

Tema2 viraŠe brez izvirne raziskave

topic

Directional ablation

Tehnika interpretabilnosti, ki iz predstavitev ali uteži nevronske mreže odstrani izbrano smer, da zatre njen prispevek k vedenju modela.

Tema2 viraNi potrjeno z dvema neodvisnima viroma

topic

MATH-500

MATH-500 je primerjalni preizkus s 500 matematičnimi nalogami, ki se uporablja za vrednotenje uspešnosti reševanja matematičnih problemov.

Tema1 virEn sam vir

source

Zavračanje v jezikovnih modelih posreduje ena sama smer

Zavračanje škodljivih navodil v odprtokodnih klepetalnih modelih uravnava ena sama smer v rezidualnem toku. Odstranitev te smeri odpravi zavračanje, njeno dodajanje pa sproži zavračanje neškodljivih pozivov. Ista ugotovitev omogoča spremembo uteži ranga ena, ki deluje kot obhod varoval ob dostopu do notranjosti modela, in pojasnjuje, kako napadalne pripone zavirajo zavračanje.

Raziskava

source

Čakaj, čakaj, čakaj ... Zakaj se modeli za sklepanje ujamejo v zanke?

Modeli za sklepanje se v dolgih verigah razmišljanja ujamejo v ponavljanje besedila, najpogosteje pri požrešnem dekodiranju ob nizki temperaturi. Vir to v veliki meri pripisuje napakam pri učenju, ne le velikosti modela ali naključnosti pri dekodiranju. To podpre s preizkusi na odprtih modelih in z dvema mehanizmoma, prikazanima na sintetični nalogi z grafom: z izogibanjem tveganju zaradi težavnosti učenja in s časovno koreliranimi napakami.

Raziskava

To besedilo je napisano z umetno inteligenco.

Objavljeno v: Zdaj