youtube · talk · 2026-10-19 · Stanford Online

4. predavanje: Spodbujevano učenje in veliki jezikovni modeli

Izvirni naslov vira: Stanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 4 – Spodbujevalno učenje z velikimi jezikovnimi modeli

Spodbujevalno učenje uči velike jezikovne modele upoštevati človeške preference in bolje sklepati z maksimiranjem naučenih ali preverljivih nagrad, vendar mora pri tem obvladovati šumne gradiente, pripisovanje zaslug posameznim žetonom in pretirane spremembe strategije. PPO in GRPO pri teh težavah sprejemata različne kompromise, destilacija na vzorcih trenutne učenčeve strategije pa zagotavlja učiteljeve povratne informacije za vsak žeton v odgovorih, ki jih ustvari učenec, z razširitvami na samodestilacijo in področno specializirane učitelje.

Izbira: Claude desk (agent umetne inteligence)

Video1 vir

Kako stojijo trditve

Potrjeno pri drugem viru: 2
Le tu: 43

Kaj pravi

Spodbujevalno učenje izboljšuje usklajenost velikih jezikovnih modelov s človeškimi preferencami in njihovo sklepanje z uporabo naučenih nagrad za človeške preference ali preverljivih izidov. Gradienti strategije povečujejo pričakovano nagrado, vzorčenje po pomembnosti pa omogoča ponovno uporabo dopolnitev, katerih generiranje je drago. Osnovni REINFORCE ima težave s šumnimi gradienti, odsotnostjo pripisovanja zaslug posameznim žetonom in neomejenimi spremembami strategije. PPO uporablja prednosti na podlagi vrednostne funkcije, omejevanje in kazni KL glede na referenčno strategijo, vendar zahteva učenje vrednostnega modela. GRPO ta model nadomesti s primerjavami nagrad med odgovori na isti poziv, s čimer zmanjša zahteve pri učenju, vendar ohrani pripisovanje zaslug na ravni končnega izida. Njegove izbire normalizacije lahko spodbujajo daljše odgovore ali vnašajo pristranskost; DAPO in Dr. GRPO te izbire spreminjata. Pri destilaciji na vzorcih trenutne učenčeve strategije pa učitelj oceni vsak žeton v kontekstih, ki jih ustvari učenec, in tako zagotovi gost učni signal brez ločenega modela nagrajevanja. Njena uporabnost je odvisna od kakovosti učitelja in njegove pokritosti. Pri samodestilaciji isti model prejme učiteljske pozive, obogatene z odgovori, področno specializirani strokovni modeli, naučeni s preverljivimi nagradami, pa omogočajo več učiteljev. Ti pristopi lahko omogočijo hitrejše modele in ohranjanje znanja, čeprav imajo lahko vodilni modeli od destilacije manj koristi.
V pregledu učenja na predavanju nadzorovano fino prilagajanje uporablja izgubo s križno entropijo na izhodnih žetonih, namesto da bi kaznovalo napovedi po celotnem vhodno-izhodnem zaporedju. u9–11 · 2:29
V formulaciji spodbujevalnega učenja za velike jezikovne modele na ravni žetonov je dejanje naslednji žeton, strategija pa pogojna verjetnostna porazdelitev modela. Na ravni odgovora je vhod poziv, dejanje pa celoten odgovor. u26–30 · 7:36 Predavanje uporabo nagrad na ravni odgovora utemeljuje s težavnostjo opredeljevanja nagrad na ravni žetonov.
Predavanje opisuje modeliranje nagrad pri RLHF kot učenje subjektivnih preferenc s parno formulacijo Bradley–Terry, kadar ni na voljo absolutnega referenčnega pravilnega odgovora. u33–37 · 9:33
Spodbujevalno učenje s preverljivimi nagradami oziroma RLVR odgovore ocenjuje s preverljivimi izidi, kot so znane rešitve matematičnih nalog ali rezultati preizkusov programske opreme. u38–40 · 11:24 Predavanje te nagrade opisuje kot nagrade na ravni dopolnitve in ne na ravni žetonov.
Ob nespremenljivi nagradi in predpostavljenih pogojih regularnosti predavanje izpelje ∇θJ(θ) = Eτ∼πθ[R(τ)∇θ log πθ(τ)]. Izpeljava uporablja identiteto ∇θπθ = πθ∇θ log πθ. u60–66 · 18:05 Za velike jezikovne modele predavanje pričakovano vrednost pozneje razloži kot vzorčenje pozivov in nato odgovorov, pogojenih s temi pozivi.
Posodobitev REINFORCE v predavanju vzorči dopolnitev, ovrednoti njeno nagrado R, izračuna g = R∇θ log πθ(y|x) in posodobi parametre po pravilu θ ← θ + αg. u77–80 · 23:50 Znak plus odraža maksimiranje in ne gradientnega spusta.
Vrednostna funkcija na podlagi poziva in delne dopolnitve ocenjuje pričakovano prihodnjo nagrado, če se preostali žetoni vzorčijo iz trenutne strategije. u136–145 · 42:50 Predavanje opredeli vrednost za vsak položaj izhodnega žetona.
V zasnovi PPO, ki jo opiše Afshin, referenčna strategija ostaja nespremenjena, stara strategija pa je tista, ki je bila uporabljena za ustvarjanje trenutne učne serije. u187–189 · 58:45 Referenčna in stara strategija imata pri omejevanju odklonov različni vlogi.
Afshin opozori, da L v članku o PPO označuje ciljno funkcijo, ki jo maksimiramo, in ne izgube, ki jo minimiziramo, ter da R označuje razmerje verjetnosti strategij in ne nagrade. u209–210 · 1:06:13 Opozorilo se nanaša na zapis v članku o PPO.
GRPO lahko pri nalogah, kot so sklepanje, matematika ali programiranje, namesto naučenega modela nagrajevanja uporablja preverljive nagrade. u227 · 1:11:23
Med fazo spodbujevalnega učenja, ki jo opiše Afshin, predhodno naučeni model nagrajevanja ostaja nespremenjen, PPO pa skupaj uči model strategije in vrednostni model. u233–235 · 1:13:23 Vrednostni model mora slediti pričakovanim nagradam pri spreminjajoči se strategiji.
Shervin poroča, da so v poenostavljenih ablacijskih poskusih pri Thinking Machine spreminjali rang učljivih uteži in ugotovili, da je destilacija na vzorcih trenutne učenčeve strategije znatno zmanjšala razlike v uspešnosti, ki so ostale po SFT. u307–308 · 1:37:20 Predavanje za te poenostavljene ablacijske poskuse ne navaja številčnih rezultatov.
Predavanje navaja članek GLM 5 kot primer uporabe samodestilacije za ohranjanje predhodno pridobljenega znanja. u320–321 · 1:41:13 Ime članka je v prepisu zapisano kot GLM 5.
Dokončanja, vzorčena iz fiksne politike, ponovno uporabite pri več posodobitvah tako, da vsako nagrado utežite z razmerjem pomembnostnega vzorčenja πθ(τ)/πfixed(τ). u88–94 · 27:23 Predavanje to predlaga za zmanjšanje ponavljajočega se in dragega ustvarjanja dokončanj.
DAPO neenake prispevke žetonov odpravlja z normalizacijo glede na skupno število žetonov v vzorčenih izhodih. Dr. GRPO pa odstrani člen za normalizacijo po dolžini posameznega odgovora. u262–265 · 1:22:26 Te spremembe so namenjene odpravi težave GRPO z naraščajočo dolžino odgovorov.
Afshin predlaga odstranitev normalizacije s standardnim odklonom nagrad, kadar ta vnaša pristranskost zaradi zahtevnosti vhodov, ter uporabo različnih spodnjih in zgornjih vrednosti epsilon za omejevanje, da bi izhodom z majhno verjetnostjo omogočili več prostora za rast. u266–269 · 1:23:18 Predlagana sprememba omejevanja naj bi spodbujala raznolikost.
Zaključna prosojnica predlaga samodestilacijo, pri kateri model učenec nastopa tudi kot učitelj, vendar prejme namig. u313 · 1:39:27 Predlog je na zaslonu prikazan kot način, kako se izogniti potrebi po ločenem učitelju; ustna razlaga je prekinjena.
Omejitve, ki jih postavljajo učiteljeve sposobnosti, odpravite tako, da s preverljivimi nagradami naučite strokovnjake za posamezna področja in za vsako področje izvedete destilacijo na vzorcih iz učenčeve trenutne politike z ustreznim strokovnjakom kot učiteljem. u323–324 · 1:42:09
Model nagrajevanja, naučen na človeških preferencah, odpravi potrebo, da bi človek med učno zanko spodbujevalnega učenja presojal vsako dopolnitev. u47–49 · 14:00 Novo ustvarjene odgovore namesto tega ocenjuje naučeni model nagrajevanja.
1 vir
Pravijo tudi
- Video Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training
Gradient strategije, utežen z nagrado, povečuje verjetnost dejanj s pozitivnimi nagradami in zmanjšuje verjetnost dejanj z negativnimi nagradami. u69–73 · 21:25 Predznak nagrade določa smer spodbujanja.
Izračun verjetnosti znane dopolnitve velikega jezikovnega modela je cenejši od njenega ustvarjanja, saj je mogoče vse znane žetone obdelati vzporedno, ustvarjanje pa mora potekati zaporedno. u95–102 · 29:59 Ponovni izračun verjetnosti po trenutni strategiji zato ne izniči prihrankov zaradi ponovne uporabe ustvarjenih vzorcev.
Odštevanje izhodiščne pričakovane nagrade zmanjša varianco gradienta strategije, saj loči izide, ki so boljši od pričakovanih, od tistih, ki so slabši. Brez te primerjave lahko velike pozitivne nagrade močno utrjujejo tako dobre kot slabe odgovore. u106–113 · 33:23 Predavanje to ponazori z nagradama 101 in 100, ki se glede na izhodiščno vrednost 100.5 spremenita v odmika +0.5 in −0.5.
Vrednostni model se mora učiti skupaj s strategijo, ker je njegova ciljna vrednost pričakovana nagrada ob nadaljevanju po tej spreminjajoči se strategiji, model nagrajevanja pa se nauči predhodno. u156–157 · 49:50 Ta razlika ločuje ocenjevanje dopolnitve od napovedovanja prihodnje uspešnosti trenutne strategije.
Ob ponovni uporabi učne serije za več posodobitev strategije postane strategija, ki je serijo ustvarila, stara strategija. Razmerje med verjetnostmi trenutne in stare strategije v PPO popravi učinek ocenjevanja trenutne strategije z vzorci iz starejše strategije. u162–166 · 51:18 Ponovna uporaba učne serije odpravi potrebo po ustvarjanju dragih dopolnitev ob vsaki posodobitvi.
Pri pozitivni prednosti ciljna funkcija z neomejenim razmerjem še naprej spodbuja povečevanje verjetnosti dejanja. Omejevanje v PPO to spodbudo nad določenim pragom odpravi, tako da ustvari območje z ničelnim gradientom. u173–180 · 54:26 Namen omejevanja je omejiti odmik od strategije, ki je ustvarila učno serijo.
Afshin pojasni, da pri večji vrednosti beta v DPO že majhna sprememba razmerja verjetnosti med politikama potisne sigmoidno funkcijo proti nasičenju, s čimer se zmanjša spodbuda za nadaljnje oddaljevanje od referenčne politike. Parameter beta v DPO enači s koeficientom, ki uravnava regularizacijo KL. u193–202 · 1:00:44 Pri manjši vrednosti beta je za enak učinek na sigmoidno funkcijo potrebna večja razlika v razmerju verjetnosti med politikama.
Zaradi normalizacije po dolžini posameznega odgovora v GRPO vsak žeton v dolgem odgovoru prispeva manj kot žeton v kratkem odgovoru. Afshin trdi, da to oslabi kaznovanje dolgih slabih odgovorov in spodbuja njihovo podaljševanje, tudi ko se kakovost odgovorov ne izboljšuje več. u254–262 · 1:19:48 Normalizacija lahko nagrajuje nezaželeno spremembo dolžine odgovora namesto boljšega sklepanja.
Obratna divergenca KL od učenca do učitelja blago kaznuje možnosti, ki jih učitelj podpira, učenec pa jih skoraj ne uporablja, močno pa kaznuje učenčevo dodeljevanje verjetnosti tam, kjer učitelj dodeljuje majhno verjetnost. Shervin to asimetrijo in omejeno zmogljivost učenca poveže s težnjo k osredotočanju na moduse porazdelitve. u293–297 · 1:32:09 Smer divergence KL določa, katera neskladja med porazdelitvama so močno kaznovana.
Pri destilaciji na vzorcih iz učenčeve trenutne politike učitelj poznejše žetone ocenjuje v kontekstu predhodnih žetonov, ki jih je ustvaril učenec, vključno z napakami. V primeru s Teddyjem se lahko hoja zdi verjetna, potem ko je učenec že opisal, kako je Teddy zlezel iz škatle. u300–304 · 1:34:42 Povratna informacija na ravni žetonov ne kaznuje nujno vsake poznejše posledice predhodne napake v sklepanju.
Naknadno učenje enega modela s spodbujevanim učenjem lahko povzroči pozabljanje, obenem pa zahteva, da en nabor parametrov služi več ciljem. Predavanje s temi težavami pojasni, zakaj je lahko destilacija z več učitelji učinkovitejša. u325–326 · 1:42:47 Ločeni učitelji za posamezna področja odpravijo potrebo po zanašanju na enega učitelja, ki bi moral ohranjati strokovno znanje za vse cilje.
Predavanje predstavlja spodbujevalno učenje kot način učenja velikih jezikovnih modelov za upoštevanje človeških preferenc in boljše sklepanje, pri katerem se parametri modela optimizirajo tako, da povečujejo pričakovano nagrado. u42–51 · 12:24
Osnovno učenje z gradientom strategije se sooča s tremi osrednjimi težavami: šumnimi gradienti, odsotnostjo izrecnega pripisovanja zaslug posameznim žetonom in odsotnostjo izrecne omejitve odmika od začetne strategije. u125–126 · 40:00
PPO uporablja prednosti na podlagi vrednostne funkcije za obvladovanje šumnih gradientov in pripisovanje zaslug posameznim žetonom, spremembe strategije pa omejuje z omejevanjem ali kaznimi KL. Učenje vrednostne funkcije ostaja veliko breme. u207–212 · 1:05:33
GRPO nadomesti naučeno vrednostno funkcijo z relativnimi nagradami več odgovorov na isti poziv. Prednost posameznega odgovora je njegova nagrada, zmanjšana za povprečno nagrado skupine in deljena s standardnim odklonom nagrad v skupini. u223–227 · 1:10:01
Pri destilaciji na vzorcih trenutne učenčeve strategije učenec ustvari dopolnitev, učitelj pa vsak ustvarjeni žeton oceni v njegovem kontekstu. Tako dobljeni učni signal je na ravni žetonov in ne končnega izida, učenec pa se uči na lastnih dopolnitvah. u299–305 · 1:34:21
1 vir
Pravijo tudi
- Video Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training
Samodestilacija lahko isti model uporabi kot učenca in učitelja, tako da učitelj prejme poziv s celotnim odgovorom. Prisilno podajanje žetonov, ki jih je ustvaril učenec, učitelju nato zagotovi porazdelitve naslednjega žetona za primerjavo z učenčevimi. u315–318 · 1:39:35
Pravilen končni odgovor lahko vsebuje napačno vmesno sklepanje, vendar osnovno spodbujevanje na ravni celotnega dokončanja poveča verjetnost vseh žetonov v nagrajenem odgovoru. u114–117 · 36:13 Predavanje uporabi odgovor, ki Teddyja pravilno umesti v kuhinjo, vendar napačno trdi, da je Teddy zapustil zapečateno škatlo.
Optimizacija nepopolne nagrade lahko namesto želenega vedenja spodbudi izigravanje sistema nagrajevanja, velike spremembe politike pa lahko tudi izbrišejo predhodno naučene sposobnosti. u118–124 · 37:34 Predavanje zagovarja omejevanje odstopanja od že uporabnega prednaučenega in dodatno prilagojenega modela.
Razlika med vrednostma pred žetonom in po njem je le poenostavljen prikaz prednosti: žeton lahko izboljša tudi možnosti za nagrado prek poznejših žetonov. u146–152 · 46:25 Predavanje utemelji posplošeno ocenjevanje prednosti kot način, kako prihodnje vrednosti povezati nazaj z žetonom.
GRPO z nadzorom na podlagi izida pravilnim in napačnim vmesnim žetonom pripiše enako prednost končnega odgovora. Nadzor nad potekom bi lahko zagotovil podrobnejše povratne informacije, vendar zahteva namensko označevanje in morebiti zahteven dodaten model nagrajevanja. u275–285 · 1:25:40 Želena rešitev mora izboljšati pripisovanje zaslug, ne da bi znova uvedla breme učenja dodatnega modela, zaradi katerega so se odmaknili od PPO.
Shervin pove, da se pri sedanji destilaciji na vzorcih iz učenčeve trenutne politike uporablja obratna divergenca KL, vendar ne dokaže, da je samo obratna divergenca KL nujno boljša. Opozori, da je izvirni članek kombiniral obe smeri divergence KL. u298 · 1:34:01 Predavanje obratno divergenco KL predstavi kot utemeljeno izbiro, ne kot brezpogojno optimalno rešitev.
Destilacija na vzorcih iz učenčeve trenutne politike zahteva razpoložljivega učitelja, kar je pri učenju modela na meji trenutnih zmogljivosti lahko težavno. Tudi učiteljeve izhodne porazdelitve so lahko nepopolne ali ne pokrivajo ustreznih področij, v nasprotju s signalom pravih oznak, uporabljenim v primerjavi z GRPO. u310–312 · 1:38:21 Učni signal pri destilaciji je odvisen od razpoložljivosti in kakovosti učitelja.
Destilacija na vzorcih iz učenčeve trenutne politike lahko že vodilnemu modelu prinese manj koristi; predavanje kot bolj značilne prejemnike koristi predstavi hitrejše modele znotraj družine modelov. Paradni model bi se lahko namesto tega opiral na GRPO in druge računsko zahtevnejše tehnike, ki temeljijo na oznakah. u319–322 · 1:40:55 Predavanje razlikuje med izboljševanjem hitrejšega modela z destilacijo in učenjem najzmogljivejšega modela v družini.
Učinkovito naknadno učenje velikih jezikovnih modelov zahteva uravnoteženje optimizacije nagrade, stabilnih posodobitev strategije in informativnega pripisovanja zaslug; PPO, GRPO in destilacija na vzorcih trenutne učenčeve strategije pri tem ponujajo različne rešitve in omejitve. Kako lahko spodbujevalno učenje in destilacija na vzorcih trenutne učenčeve strategije izboljšata usklajenost in sklepanje velikih jezikovnih modelov ter hkrati obvladujeta stroške učenja, stabilnost strategije in pripisovanje zaslug posameznim žetonom?

Kako utemeljuje

thesis Effective post-training balances rewards, stability, and token-level credit How can reinforcement learning and on-policy distillation improve LLM alignment and reasoning while managing training cost, policy stability, and token-level credit assignment?
1. theme Rewards define what reinforcement learning improves Reinforcement learning optimizes expected reward, using learned preferences or verifiable outcomes to guide model behavior.
  1. idea Optimize expected reward for preferences and reasoning
    1. mechanism Policies choose tokens or complete responses
    2. mechanism Pairwise preference modeling supplies subjective rewards
      1. implication Learned rewards replace repeated human judgments
    3. mechanism Verifiable rewards score checkable outcomes
2. theme Policy gradients need practical safeguards Reward-weighted updates enable learning and sample reuse but introduce variance, credit-assignment problems, and risks from unconstrained optimization.
3. theme PPO stabilizes learning at a cost PPO combines value-based advantages with constrained policy updates, but maintaining a value model adds substantial training burden.
  1. idea PPO improves credit and stability with costly values
    1. mechanism Values estimate future rewards from partial completions
      1. implication Value learning must track the changing policy
    2. counterargument Token advantages extend beyond immediate value differences
    3. mechanism Current-to-old ratios correct for reused batch samples
    4. mechanism Clipping stops incentives beyond the update threshold
  2. idea Fixed reference and batch-generating old policies differ
4. theme GRPO trades value models for comparisons Group-relative rewards remove the learned value function while leaving normalization biases and coarse outcome-level credit assignment.
  1. idea GRPO replaces learned values with group-relative rewards
    1. mechanism Verifiable outcomes can replace learned reward models
    2. counterargument Response-length normalization can encourage longer bad answers
      1. action Change normalization to equalize token contributions
    3. action Adjust reward normalization and asymmetric clipping
    4. counterargument Outcome advantages obscure token quality; process supervision costs
5. theme Distillation supplies contextual token-level feedback On-policy distillation supervises the student's own trajectories token by token, but its benefits depend on teacher quality and the distillation objective.
  1. idea Teachers supervise tokens on student-generated trajectories
    1. example Earlier student mistakes shape later teacher judgments
    2. evidence Toy ablations narrow performance gaps left after SFT
    3. counterargument Teacher availability, quality, and coverage limit distillation
    4. counterargument Leading models may benefit less than faster students
  2. idea Reverse KL asymmetry encourages mode-seeking students
    1. counterargument Reverse KL alone is not established as superior
6. theme Alternative teachers extend distillation's reach Answer-conditioned self-distillation and domain-specific expert teachers offer ways to preserve knowledge and overcome teacher limitations.
  1. idea Answer-conditioned models can teach their own students
    1. example GLM 5 uses self-distillation to preserve knowledge
  2. action Distill from domain experts trained with verifiable rewards
    1. argument Multiple teachers alleviate forgetting and competing objectives

Vir, odlomek za odlomkom

Stanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 4 – Spodbujevalno učenje z velikimi jezikovnimi modeli

Prepis, preveden z umetno inteligenco iz angleščine.

u1 0:00 Uvod
u2 0:05 Pozdravljeni vsi in dobrodošli na 4. predavanju predmeta CME 285. Danes je prav poseben dan, saj bomo govorili o metodah učenja na podlagi spodbujevalnega učenja, ki postajajo precej priljubljene, zlasti pri naknadnem učenju velikih jezikovnih modelov.
u3 0:26 Današnje predavanje je nekoliko posebno zato, ker bo v nasprotju s prejšnjimi vključevalo nekaj matematike. Zato smo zadnjič rekli, da bomo vse metode na podlagi spodbujevalnega učenja prihranili za danes.
u4 0:44 Danes je torej ta dan. Ja, želel sem začeti s tem opozorilom. Druga stvar, ki sem jo želel povedati, pa je, da bomo poskusili najprej izhajati iz intuicije, nato pa ostati matematično rigorozni. Toda naj vas velike formule ne prestrašijo.
u5 1:03 Ja, upam, da bo dobro. Začnimo kot običajno s povzetkom tega, kar smo obravnavali zadnjič. Če se spomnite, smo govorili o učenju velikih jezikovnih modelov. Prvi korak njihovega učenja se imenuje predučenje.
1:10 · Recap: pre-training as learning to autocomplete · A Stanford ICME lecture slide recapping the previous episode. It presents pre-training as learning to autocomplete, illustrated with a Wikipedia "Teddy bear" article and a GitHub code file as training text, and the cross-entropy loss formula. A small inset shows the lecturer standing at the top right.
u6 1:24 Ta korak je namenjen temu, da se model nauči razumeti besedila in kodo. Običajno vključuje učenje modela na veliki količini podatkov. S tem mislim na bilijone žetonov. Zato je veliko dela z iskanjem pravih mešanic, koliko
u7 1:47 spletnih vsebin naj vsebujejo, kako vključiti knjige in tako naprej. Funkcija izgube je tu izguba s križno entropijo, ki poskuša kaznovati vsako odstopanje od žetona, ki ga mora model napovedati, torej pri napovedovanju naslednjega žetona. Videli smo tudi nekaj novih faz, kot je vmesno učenje, ki
u8 2:12 vključuje kakovostnejše podatke, in učenje z dolgim kontekstom, ki vključuje tudi učenje modela na podatkih z daljšimi konteksti. To je prvi korak. Drugi korak, ki smo ga obravnavali, se imenuje nadzorovano fino prilagajanje oziroma
2:23 · Recap: supervised finetuning teaches models to follow behavior · A Stanford ICME lecture slide recapping the previous episode. Pre-training ("learn how to autocomplete") is greyed out, while supervised finetuning ("learn how to follow a certain behavior") is highlighted, with two teddy-bear prompt/response examples and the SFT loss formula. A speaker is visible in a small inset at top right.
u9 2:29 SFT. V tem koraku poskušamo vzeti model, ki razume besedilo in kodo, ter ga prilagoditi tako, da bo uporaben. Kaj mislim z uporabnostjo? Če želite na primer pomočnika, želite, da model odgovarja na vprašanja.
u10 2:50 To je eden od primerov uporabe SFT. Kar zadeva funkcijo izgube, še vedno uporabljamo križno entropijo. Le da tu poskušamo kaznovati samo odstopanja pri napovedih žetonov na izhodni strani.
u11 3:09 Gre torej za napovedovanje naslednjega žetona, vendar za izhode. Na koncu te faze naš model razume besedilo. Je uporaben. Toda zdaj bi morda želeli vključiti človeške preference. Videli smo tretji korak, imenovan prilagajanje preferencam. Ta korak vključuje metode na podlagi spodbujevalnega učenja,
3:14 · Recap slide: preference tuning stage of LLM training · A Stanford ICME lecture slide titled "Recap of last episode..." shows three training stages as boxes. Pre-training and supervised finetuning are faded, while "Preference tuning" (thumbs-up icon, "Learn how to align with human preferences") is highlighted. A loss symbol "L = ?" below poses the question of what the loss is for this stage. A small inset shows the lecturer standing at the top right.
u12 3:33 ki jih bomo obravnavali danes. Nismo še obravnavali podrobnosti natančne formule izgube. To bomo storili danes. Druga stvar, ki smo jo obravnavali, pa je izboljševanje sposobnosti sklepanja modela, torej
u13 3:53 sklepanje, ki ga prav tako izvajamo s tehnikami na podlagi spodbujevalnega učenja. Tudi to bomo obravnavali danes. Tu smo zadnjič končali. Danes se bomo osredotočili na zadnji dve fazi, predvsem pa poudarili, kako pridemo do izgube, saj
4:06 · Recap slide: preference tuning and reasoning are today's focus · A Stanford ICME lecture slide titled "Recap of last episode…" shows four stages of training a language model in boxes. The first two, pre-training and supervised finetuning, are faded out. The last two, preference tuning and reasoning, are highlighted with a red border and labeled "Today's focus". A small inset video at top right shows a person standing in a lecture room.
u14 4:17 trenutno še ne vemo, kakšna je, in kako jo lahko uporabimo. Dobro. Spet želim posebej opozoriti, da so te metode običajno matematično zahtevne, ne samo pri tem predavanju,
u15 4:34 ampak tudi če berete članke na to temo. Če se vam zdi vsega preveč, predlagam naslednje korake. Najprej se osredotočite na intuitivno razumevanje, zakaj je neka stvar potrebna.
u16 4:53 Drugič, če so vmes formule ali simboli, ki jih ne poznate, jih ponovite. Tretjič, formule razlagajte iz osnovnih načel. Imam pa še drugo opozorilo: poleg vsega tega članki
5:08 · Important note on conventions: "r" as reward or ratio · A Stanford ICME lecture slide warns that notation in the field varies. The symbol "r" could mean reward or the policy ratio ρ = π_θ / π_old. A small inset in the top right shows the lecturer standing in a classroom.
u17 5:14 pogosto izbirajo različne dogovore o zapisu. To lahko zmedo še poveča. Govorili bomo na primer o nagradah. Nagrade običajno označujemo z r. Toda v člankih lahko r včasih
u18 5:32 pomeni tudi razmerje, razmerje verjetnosti. Da jih bomo jasno razlikovali, bomo pri tem predmetu razmerja označevali z rho. Druga stvar je politika in videli bomo, kaj politika je. Obstaja več vrst politik.
u19 5:52 Gre za stare politike, referenčno politiko? Tudi te oznake se včasih mešajo. Tretja stvar, ki jo želim izpostaviti, je, da smo se doslej osredotočali na minimiziranje funkcije izgube. Označevali smo jo z L. Tu pa
u20 6:13 bomo večinoma želeli količine maksimizirati. Težava je v tem, da so tudi te količine včasih označene z L, ki ga običajno povezujete z izgubo. Zato se le prepričajte, da veste, kaj želite narediti. Želite minimizirati? Želite maksimizirati?
u21 6:30 Tudi to imejte v mislih. Dobro.
u22 6:35 Zasnova spodbujevalnega učenja
u23 6:35 Po vsem tem pa začnimo. Najprej bi rad na kratko ponovil, kaj je spodbujevalno učenje. Ne vem, ali je kdo od vas že obiskoval predmet o njem. Toda na zelo splošni ravni deluje tako, da imate agenta, ki je v interakciji
6:35 · Lecture slide on notation conventions in reinforcement learning · A lecture hall at Stanford shows a presenter standing in front of chalkboards, looking at a projected slide titled "Important note on conventions". The slide warns that the field uses many different notations. Its first two rows are faded, and the last row is highlighted: L(θ) could be a loss to minimize or an objective to maximize, J(θ).
u24 6:57 z okoljem v določenem stanju in razmišlja, katero dejanje naj izvede, da preide v drugo stanje. Pri odločanju, katero dejanje izbrati, uporablja politiko.
u25 7:18 Običajno jo označujemo s pi theta. Ko agent izvede dejanje, prejme nagrado. Cilj problemov spodbujevalnega učenja je maksimizirati vsoto nagrad,
u26 7:36 ki jih agent zbira. Morda se sprašujete, kaj ima to opraviti z velikimi jezikovnimi modeli. Poglejmo, kako se to preslika v njihov svet. Agent je tu veliki jezikovni model, ki neki vhod vzame kot stanje in se poskuša odločiti, kaj storiti naslednje,
7:46 · RL formulation for LLMs (lecture slide, LLM highlighted) · A Stanford ICME lecture slide shows the reinforcement learning loop applied to language models. Only the "LLM" box is shown in full; the Environment box, the reward, state, action and policy labels are faded, which suggests they appear in later animation steps. A small inset at top right shows the lecturer standing beside a blackboard.
u27 8:02 torej kateri žeton naj vzorči naslednji. Dejanje je torej žeton. Pri odločanju o naslednjem žetonu se opira na verjetnostno porazdelitev, ki jo za dani vhod poda na izhodu.
u28 8:20 To bomo tu označili s pi theta. Če se vrnemo k prejšnjim oznakam, od tod prihaja pi, pi kot politika. Model zbira nagrade. Opozoriti pa velja, da je določanje nagrad na ravni žetonov lahko zahtevno.
u29 8:43 Zato bomo to zasnovo pogosto srečali ne na ravni žetonov, temveč na ravni odgovora oziroma dopolnitve. Vhod si lahko torej predstavljate kot poziv, dejanje kot odgovor, pi theta
u30 9:06 pa preprosto kot verjetnost, da ob danem pozivu podate neki odgovor. Za to nato prejmete nagrado. Nekaj minut bomo namenili nagradam. Vem, da smo zadnjič o tem v različnih okoliščinah govorili morda 10 minut.
u31 9:29 Tu želim samo povzeti, kar smo obravnavali.
9:32 · Stanford ICME lecture slide: Transformers & LLMs, reinforcement learning outline · A split title slide from a Stanford University ICME course on Transformers & Large Language Models. The left side has the Stanford logo and course title; the right, on a dark red background, lists reinforcement learning topics with "Reward design" highlighted as the current section. A small video inset at top right shows a person standing in a lecture room.
u32 9:32 Oblikovanje nagrad
u33 9:33 Pri količinskem vrednotenju kakovosti odgovora se običajno znajdete v eni od dveh kategorij situacij. Prva kategorija je tista, kjer za odgovor ni absolutne referenčne
u34 9:52 resnice in je ocenjevanje nekoliko bolj subjektivno. To smo videli pri prilagajanju preferencam, kjer lahko s človeškimi preferencami višje razvrščamo, recimo, odgovore, ki imajo, recimo,
u35 10:13 boljši ton od tistih s slabšim tonom. To običajno modeliramo z modelom nagrajevanja, ki uporablja Bradley-Terryjevo formulacijo iz prejšnjega predavanja. Ta omogoča izražanje izgube s primerjavami parov
u36 10:38 in učenje modela nagrajevanja. Pri prvi kategoriji torej nimate referenčne resnice. Poskušate najti način, kako količinsko ovrednotiti kakovost odgovorov, na primer s človeškimi preferencami. Uporabili bi Bradley-Terryjevo formulacijo, te metode pa imenujemo RLHF,
u37 11:02 ker človeške povratne informacije uporabljate za vrednotenje kakovosti odgovorov. Druga velika kategorija situacij pa je tista, kjer lahko preverljivo ugotovite, ali je odgovor pravilen ali ne.
11:10 · Types of reward: subjective (RLHF) versus verifiable (RLVR) · A Stanford ICME lecture slide compares two kinds of reward in reinforcement learning. The "Subjective" column (human preference, RLHF) is faded out, while the "Verifiable" column is highlighted. It is described as the solution of a problem, deterministic, with reasoning as the example (RLVR). A small inset shows the lecturer standing at the upper right.
u38 11:24 Primeri takih situacij: če želite rešiti matematično nalogo, veste, kakšna je rešitev. Ali če želite napisati programsko opremo, veste, ali je rešitev pravilna, če denimo prestane testne primere. Imate torej determinističen način preverjanja, ali je odgovor
u39 11:48 pravilen ali ne. Te metode najdete tudi pod imenom RLVR, spodbujevalno učenje s preverljivimi nagradami. Običajno sodijo na področje sklepanja, torej matematičnih in programerskih nalog.
u40 12:09 Tako lahko določite nagrade. Te so bolj na ravni dopolnitve, ne na ravni žetona, temveč dopolnitve. Glede na to definicijo nagrade
12:23 · Motivation: preference tuning of an LLM via reinforcement learning · A Stanford ICME lecture slide titled "Motivation" states the goal: change model weights to increase rewards. A flow diagram shows a prompt going into a trained LLM, whose response is scored by a frozen reward model (RM) that gives a thumbs-down, and that signal feeds back to the LLM via RL. A small inset shows a speaker standing at the right.
u41 12:23 Gradient politike
u42 12:24 boste morda želeli prilagoditi parametre modela, da maksimizirate prejete nagrade. Če se vrnemo k primerom prilagajanja preferencam iz prejšnjega tedna: model želite uskladiti s človeškimi preferencami. Začeli bi s pozivom,
u43 12:44 nato pa z velikim jezikovnim modelom ustvarili dopolnitev. Poziv in ustvarjeno dopolnitev bi posredovali zamrznjenemu modelu nagrajevanja, ki pove, ali je odgovor glede na poziv dober ali ne.
u44 13:05 Glede na odziv modela nagrajevanja bi prilagodili parametre velikega jezikovnega modela, da bi maksimizirali nagrade, pričakovane ustvarjene nagrade. To je primer prilagajanja preferencam,
u45 13:22 podobno pa velja za sklepanje, ko je poziv bolj usmerjen v sklepanje ali programiranje. Tu imate determinističen način ocenjevanja kakovosti odgovora. Gledali bi samo končni odgovor.
u46 13:44 To bi uporabili za prilagajanje parametrov velikega jezikovnega modela, ki je tu vaša politika. V redu. Zdaj smo opisali zasnovo. Pojdimo k matematiki. Ja?
u47 14:00 [NERAZLOČNO] Vprašanje je torej, ali bi bila verjetnost celotnega odgovora zelo majhna. Ja, res bi bila. Zato uporabljajo logaritem, da dosežejo nekaj numerične stabilnosti. Dobra pripomba. Ja? [NERAZLOČNO] Vprašanje je, ali potrebujete človeka vsakič, ko ustvarite dopolnitev.
u48 14:20 Odgovor je ne, prav zato model nagrajevanja sploh najprej naučite. Učite ga na človeških preferencah. To počnete zato, ker ne želite človeka vključevati v zanko vsakič, ko ustvarite dopolnitev.
u49 14:37 Ta model nagrajevanja uporabite za vse ustvarjene odgovore in z njim ocenjujete njihovo kakovost. V tej zanki torej dejansko ne uporabljate ljudi. V redu.
u50 14:55 Odlično. Rekel sem torej, da pojdimo k matematiki. Naša ciljna funkcija je maksimizirati pričakovane prejete nagrade. Matematično želite najti parametre theta svojega modela,
14:58 · Motivation slide: maximizing expected reward over model weights · A Stanford ICME lecture slide titled "Motivation" states the goal: change model weights to have more generations with higher rewards. It gives the objective as maximizing J(θ), the expected reward R(τ) over trajectories τ sampled from policy π_θ. A small inset in the top right shows a person standing in a lecture room.
u51 15:18 ki maksimizirajo ciljno funkcijo, torej pričakovano vrednost nagrad pri vzorčenju trajektorij iz politike pi theta, ki je vaš model. Vem, kaj si mislite.
u52 15:41 Pri strojnem učenju za optimizacijo ciljne funkcije običajno potrebujete gradient, saj želite izvajati posodobitve. Prvo vprašanje je torej, kako dobiti gradiente te ciljne funkcije. Vem, da prihajamo
u53 16:00 iz različnih okolij, in želim se prepričati, da govorimo isti jezik. Zato na kratko ponovimo gradiente. Predstavljate si jih lahko kot način določanja smeri in velikosti najstrmejšega naraščanja.
u54 16:22 V enodimenzionalnem primeru, kjer ima funkcija vhod x, ki je eno samo število, vsi poznate odvod. Če je odvod pozitiven, funkcija narašča z naraščanjem x. Če je negativen, narašča z zmanjševanjem x.
u55 16:45 Posplošitev tega na n-dimenzionalni primer je gradient. Gradient f je v tem primeru sestavljen iz parcialnih odvodov funkcije glede na vse dimenzije vhoda x, ki je v Rn. Je to vsem jasno?
u56 17:10 V redu. S tem se vrnimo
17:12 · Policy gradients: objective J(θ) and unknown gradient · A Stanford ICME lecture slide titled "Policy gradients" defines the objective J(θ) as the expected return R(τ) over trajectories τ sampled from policy πθ. An arrow leads to the gradient ∇θJ(θ) = ?, posing the question of what it equals. A note says the derivation uses properties of the log function and rearranging terms. A small inset at top right shows the lecturer standing in a classroom.
u57 17:12 Izpeljava gradienta
u58 17:14 k prvotnemu problemu: imamo ciljno funkcijo, ki jo želimo maksimizirati. Izračunati želimo gradient. To bom zdaj naredil. Želimo maksimizirati pričakovane nagrade. Matematično to pomeni,
u59 17:42 da želimo maksimizirati nagrade, pri čemer je trajektorija vzorčena iz naše politike. Točno to pomeni zapis na prosojnici. Če želite izračunati gradient tega,
u60 18:05 bi izračunali gradient izraza znotraj integrala. Za trenutek bi se vprašali, kaj je funkcija theta. Je R funkcija theta?
u61 18:23 Ne, zamrznjen je. Je pi theta funkcija theta? Ja. Zato gradient vnesete tja. Seveda pri tem predpostavljate določene regularnostne pogoje.
u62 18:44 V redu. Matematični trik. Kakšen je gradient pi od theta? Morda veste, da je gradient logaritma funkcije enak gradientu te funkcije, deljenemu s funkcijo. To je matematični rezultat.
u63 19:03 To pomeni, da je gradient funkcije enak gradientu logaritma te funkcije, pomnoženemu s funkcijo. Tu je to torej gradient logaritma pi theta krat pi theta.
u64 19:28 Kaj to pomeni? Vse bom prepisal, da bo vsem jasno. To je integral R tau krat gradient logaritma pi theta krat pi theta od t in d tau.
u65 19:56 To ni nič drugega kot pričakovana vrednost nagrad, pomnoženih z gradientom logaritma pi theta,
20:13 · Lecturer at chalkboard deriving policy gradient equation · A person in a green shirt and glasses points at a chalkboard in a lecture hall. The boards show a policy gradient derivation: an integral of R(τ) times the gradient of log π_θ(τ) times π_θ(τ) dτ, then being rewritten as an expectation E[R(τ)...]. A "Stanford" watermark appears at the lower right.
u66 20:25 kjer tau vzorčimo iz politike s parametri theta. Se vsi strinjate z matematiko? Ja? [NERAZLOČNO] Vprašanje je, kako sem uvedel logaritem. Uporabil sem dejstvo, da je gradient
u67 20:48 logaritma funkcije phi od theta enak gradientu te funkcije, deljenemu s funkcijo. To je zgolj matematična identiteta. [NERAZLOČNO] Ja, točno tako.
u68 21:07 To smo torej vstavili sem. [NERAZLOČNO] Ja, točno tako. Hvala. Odlično. Se vsi strinjate z matematiko? V redu, dobro.
u69 21:25 Matematike na tablo ne pišem zato, ker rad pišem na tablo, čeprav pravzaprav res rad. To formulo boste pogosto videli, zato je pomembno vedeti, od kod izvira. Pomeni, da gradient ciljne funkcije model spodbuja,
u70 21:49 da poveča verjetnosti dejanj s pozitivno nagrado in zmanjša verjetnosti dejanj z negativno nagrado. Ja? [NERAZLOČNO] Vprašanje je, kaj pomeni tilda v zapisu tau tilda
u71 22:10 pi od theta. Pomeni, da trajektorijo vzorčite iz verjetnostne porazdelitve, podane s politiko s parametri theta. Tilda pomeni »vzorčeno iz«. Še enkrat bom ponovil intuitivno razlago.
u72 22:32 Iz te formule lahko razberete, da bo gradient pri pozitivni nagradi model spodbujal k povečanju verjetnosti takih dejanj. Model bo spodbujal tudi
u73 22:52 k zmanjšanju verjetnosti dejanj z negativno nagrado. V redu. Glede na to vam želim povedati še nekaj malega. Govorili smo o trajektorijah. Pri velikih jezikovnih modelih pa običajno najprej imamo
23:01 · Trajectories in RL versus LLM expectation notation · A Stanford ICME lecture slide compares the general reinforcement-learning expectation over trajectories with the LLM case. In the general case the expectation is over a trajectory τ drawn from policy π_θ. For LLMs it becomes a nested expectation: a prompt x drawn from a prompt set D, then a response y drawn from the LLM's response distribution π_θ(.|x). A small inset shows the lecturer standing beside a board.
u74 23:15 nabor pozivov, x-ov. Nato iz politike modela vzorčimo odgovore ob danih pozivih. Samo tau, vzorčen iz pi theta, smo uporabili zato, ker nisem želel stvari še bolj
u75 23:39 zapletati na tabli. Pričakovane vrednosti si predstavljajte kot pričakovanja po pozivih in nato po odgovorih ob danih pozivih.
u76 23:50 REINFORCE
u77 23:50 Zdaj se morda sprašujete, kako glede na to posodobiti uteži modela. Imeli bi poziv x in ustvarili dopolnitev y, vzorčeno iz velikega jezikovnega modela ob danem vhodu x.
23:50 · Lecture on policy gradients for LLMs at Stanford · A man in a green T-shirt stands in a lecture hall facing a projected slide titled "Trajectories in our case". The slide compares the general reinforcement-learning expectation over trajectories with the LLM version, which takes an expectation over prompts and then over responses from the model. The chalkboards behind it hold policy-gradient derivations.
u78 24:14 Ocenili bi nagrado, povezano s pozivom in odgovorom. Nato bi izračunali gradient, ki je, kot smo videli, R krat gradient logaritma pi. Točno to je na prosojnicah.
u79 24:35 Nato bi posodobili parametre. Morda poznate gradientni spust, kjer imamo theta minus. Tu pa želimo ciljno funkcijo maksimizirati. Želimo, da model ustvarja visoke nagrade. Zato imamo tu theta plus alfa krat gradient,
u80 24:56 ker gre za gradientni vzpon. Opozoriti želim, da moramo v nasprotju s predučenjem in SFT tu vedno ustvariti odgovor. Smo namreč v režimu učenja po trenutni politiki.
u81 25:16 Ustvarimo odgovor in nato izvedemo posodobitev na odgovoru, ki ga je ustvaril model. To ni fiksen odgovor, temveč ga ustvari model. Težava je, da od modela zahtevate ustvarjanje odgovorov ob vsaki posodobitvi. Ta korak pa je zelo drag.
u82 25:38 Ne morete ga izvajati vzporedno, saj morate model vprašati: kateri je naslednji žeton? Nato vzamete ta žeton in vprašate: kateri je naslednji žeton? Odgovore ustvarjate po en žeton naenkrat. Zato vam želim predstaviti
u83 25:51 Razmerje pri pomembnostnem vzorčenju
u84 25:53 metodo, s katero lahko omejite število potrebnih ustvarjanj dopolnitev. To želim zapisati.
u85 26:14 Pravimo torej, da želimo maksimizirati pričakovane nagrade, ko trajektorijo vzorčimo iz trenutne politike. Želimo maksimizirati tole. Želimo maksimizirati pričakovano vrednost R od tau,
u86 26:38 ko R, oprostite, ko tau vzorčimo iz trenutne politike. To je enako integralu R od tau krat pi theta od tau d tau. Drugače pa bi to lahko zapisali tako: če imamo,
u87 27:05 recimo, drugo politiko tau fixed, lahko to količino izrazimo kot funkcijo tau fixed tako, da se tu pojavi ta člen.
u88 27:23 Tu torej zapišemo pi theta od tau deljeno s pi theta fixed od tau krat pi theta fixed od tau d tau. To je enako pričakovani vrednosti
u89 27:47 R od tau krat pi theta od tau deljeno s pi theta fixed od tau. Pri tem tau vzorčimo iz pi theta fixed.
27:51 · Lecturer at chalkboard deriving policy gradient importance-sampling objective · A still from a Stanford lecture video shows a person with their back to the camera, standing in front of a chalkboard. The board shows the reinforcement-learning objective of maximizing expected return E[R(τ)] with τ drawn from π_θ, written as an integral. Below it, the integral is rewritten by multiplying and dividing by a fixed-parameter policy, which is an importance-sampling step.
u90 28:15 Rad bi poudaril: od maksimiziranja pričakovane vrednosti neke količine, ko tau vzorčimo iz pi theta, smo prešli na količino, pri kateri trajektorijo vzorčimo iz politike
u91 28:37 z danimi fiksnimi parametri. Zakaj sem to naredil? Predstavljajmo si, da smo naveličani ustvarjanja dopolnitev ob vsaki posodobitvi. Predpostavimo, da dopolnitve ustvarimo samo enkrat.
28:44 · Lecture on REINFORCE algorithm at Stanford ICME · A lecture room still shows a man in a green shirt writing on a chalkboard covered with policy-gradient derivations. A projected slide on the right titled "(Vanilla) REINFORCE, a Monte-Carlo algorithm" lists four steps, with Step 1 (sampling a response) highlighted and marked as expensive.
u92 29:00 Nato izvajamo posodobitve z dopolnitvami iz tega enega ustvarjanja, pri čemer nagrade za dano trajektorijo ponovno utežimo z razmerjem verjetnosti trenutne politike
u93 29:21 in fiksne politike. To sem zapisal zato, ker včasih tega ne želimo vedno znova izvajati. Želimo fiksno politiko, ki to naredi enkrat, nato pa člene ponovno utežiti tako, da ostane vse matematično veljavno,
u94 29:41 saj nas zanima tole. Dodal bi še, da se ta člen imenuje razmerje pri pomembnostnem vzorčenju. Ja?
u95 29:59 [NERAZLOČNO] Vprašanje je: ne razumem koristi. Še vedno računamo pi theta od tau. Kakšna je korist? Trik je v tem, da se vrednotenje politike razlikuje od ustvarjanja poteka. Pri vrednotenju politike
u96 30:17 namreč vse vzamete kot vhod vzporedno in izračunate vse verjetnosti. Ko pa ustvarjate potek oziroma odgovor, morate vzeti prvi žeton, da ustvarite žeton. Nato vzamete ta žeton in ustvarite naslednjega, znova in znova.
u97 30:37 To je torej drago. To je poceni. Ja? [NERAZLOČNO] Vprašanje je, naj podrobneje razložim, kaj pomeni poceni. Tu poznate celoten odgovor. Poznate ga v celoti. Zato vse odgovore podate kot vhode, vse vzporedno.
u98 30:58 Vse se torej izračuna lepo vzporedno. Morda lahko pokažem še kaj drugega, kar bo bolj v pomoč. Mislite, da [NERAZLOČNO]? Ja, točno tako.
u99 31:22 Pri ustvarjanju torej naredite naslednje: vnesete — to je vaš model — žeton noter, žeton ven. Ta žeton noter, žeton ven in tako naprej.
u100 31:53 Pri vrednotenju pa celotno dopolnitev že poznate. Poznate jo. Poznate vse žetone. Zato vse hkrati podate kot vhod.
u101 32:15 Veste, da je vaš veliki jezikovni model samo dekodirni model, zato ima maskirano samopozornost. Tako lahko usmerja pozornost samo nase in na predhodne žetone. Vse to je zelo vzporedno. Kot izhod pa dobite ustrezne verjetnosti.
u102 32:34 To je drago. To je poceni. V redu. Odlično vprašanje. Ja? [NERAZLOČNO] Vprašanje je, ali pri fiksnem theta še vedno izvajamo drag izračun. Ja, vendar ga lahko izvedete enkrat in večkrat uporabite. Ni ga treba izvajati vsakič.
u103 32:53 [NERAZLOČNO] Vprašanje se nanaša na več učnih korakov. Ja. To bomo pogledali podrobneje. Nisem želel, da bi se pojavilo kar od nikoder. To je razlog. Zdaj želim obravnavati nekaj izzivov, ki se lahko pojavijo pri takem osnovnem pristopu.
u104 33:15 To torej ni eden od izzivov. To je samo kratka informacija.
u105 33:22 Izzivi gradientov politike
u106 33:23 Prvi izziv je, da lahko ob uporabi funkcije nagrajevanja brez pojma relativnosti glede na neko izhodiščno vrednost dobimo gradiente z veliko varianco.
u107 33:45 Dal bom primer. Predpostavimo, da imamo poziv in dva odgovora. Eden je dober, drugi slab. V prvem primeru ima dober odgovor nagrado 101, slab pa 100.
u108 34:05 Veste, da je 101 več kot 100, toda obe vrednosti sta zelo visoki in ne zajamete prav dobro njune medsebojne razlike. Težava je, da bo to povzročilo — povzročilo bo šumne gradiente,
u109 34:23 saj veste, da model parametre posodablja v odvisnosti od R in gradienta logaritma politike. Če je R vedno velik in povzroča velike posodobitve, bo model z velikimi posodobitvami poskrbel, da se dobri odgovori pojavljajo pogosteje.
u110 34:48 Tudi za pogostejše pojavljanje slabega odgovora bo izvajal velike posodobitve, vendar nekoliko manjše, ker je nagrada nižja kot pri dobrem odgovoru. Če to ponovite dovoljkrat, boste na koncu dobili želene parametre, toda gradienti bodo imeli zelo veliko varianco.
u111 35:09 Imeli boste velike posodobitve za dobro, nato velike posodobitve za slabo in tako naprej. Zato želite dobiti občutek, kakšno nagrado naj bi v danem stanju pričakovali.
35:16 · Challenge 1: High variance gradients, missing reward baseline · A Stanford ICME lecture slide shows a bar chart of reward for a good answer and a bad answer around a dashed baseline at 100.5. The good answer sits +0.5 above the baseline (thumbs up) and the bad answer 0.5 below it (thumbs down). It illustrates that without a relative baseline, rewards are not compared against a reference, which leads to high variance gradients. A small inset shows the lecturer standing in front of a chalkboard.
u112 35:28 Nato nagrado vsakega dejanja primerjate s tem. Če rečete, da je povprečno 100,5 približno v redu, potem pri plus 0,5 veste, da je dobro. Pri minus 0,5 pa veste, da ni dobro.
u113 35:54 Na preprostem ponazoritvenem primeru lahko pokažete, da imajo tako dobljeni gradienti veliko manjšo varianco, kadar imate to izhodiščno vrednost, ta občutek relativnosti glede na nekaj.
u114 36:13 To je prvi izziv. Drugi je, da sta obe vrsti nagrad, ki smo ju videli, na ravni dopolnitve. To pomeni, da veste bodisi, da je vse dobro, bodisi, da je vse slabo. Veste bodisi, da je vse pravilno,
36:14 · Challenge 2: No explicit token-level credit · A Stanford ICME lecture slide argues that a correct final answer doesn't mean every token in the output was good. It gives a prompt about Teddy in a sealed box moving to the kitchen. The output reaches the right answer, "Kitchen", through a flawed step in which Teddy climbs out of the box. A small inset shows the lecturer standing near a blackboard.
u115 36:31 bodisi, da ni vse pravilno. Poglejmo primer. Predpostavimo, da poziv govori o Teddyju v zaprti škatli. Želite — pravzaprav škatlo premaknete v kuhinjo. Zdaj se vprašate, kje je Teddy. Predpostavimo, da model reče: 1. korak,
u116 36:50 Teddy spleza iz škatle. 2. korak, Teddy odide v kuhinjo. 3. korak, odgovor: kuhinja. Veste, da je odgovor pravilen, ker ste škatlo premaknili v kuhinjo. Ni pa pravilno, da Teddy hodi, saj je ves čas v škatli.
u117 37:12 Pri osnovnem pristopu bi spodbujali pogostejše pojavljanje vseh žetonov tega odgovora. Tega pa ne želite. Manjka vam torej izrecno pripisovanje zaslug na ravni žetonov. To moramo rešiti.
37:25 · Lecture slide on missing token-level credit in RL · A lecturer stands in front of chalkboards in a classroom while a projected Stanford ICME slide titled "Challenge 2: No explicit token-level credit" is displayed. The slide uses a "Teddy in a sealed box" prompt to show that a correct final answer can follow flawed reasoning steps, so not every token deserves equal credit. Chalkboards show a policy-gradient derivation and sketches labeled Generation and Evaluation.
u118 37:34 Tretji izziv smo, mislim, na kratko omenili zadnjič. Politika, ki jo imate na začetku te faze učenja, je že v dobrem stanju. Predučenje ste že opravili. Opravili ste SFT. Model je uporaben in ne želite, da naučeni model preveč odstopa od modela,
u119 37:58 ki ste ga naučili, saj je že dober. Poleg tega nagrade včasih niso povsem usklajene z vašim končnim ciljem. Dal bom primer. Predpostavimo, da pridem sem in bi za oceno, ali sem dobro izvedel predavanje,
u120 38:24 uporabil glasnost vašega aplavza na koncu predavanja. Če bi optimiziral samo to, ne bi bilo idealno, saj bi lahko uro ali dve samo pripovedoval šale, ki niso povezane s predmetom.
u121 38:42 Morda bi še vedno dobil aplavz, toda to ne bi bilo usklajeno z mojim ciljem. Obstaja torej tveganje izigravanja nagrajevanja, saj je lahko model nagrajevanja nepopoln. Vaš model pa bi lahko
u122 38:59 poskušal zgolj izigrati model nagrajevanja, česar ne želite. Upam, da sem vas prepričal, da ne želimo politike — ne želimo, da je model predaleč od modela, ki ga že imamo. Želimo torej neke omejitve.
u123 39:21 Videli bomo, kako količinsko opredeliti razliko med porazdelitvami. Ja? [NERAZLOČNO] Vprašanje je, kaj pomeni, da ne želimo nazadovanja pri prejšnjih nalogah. Model ste naučili določenih stvari. Zdaj od njega zahtevate izboljšanje pri nečem drugem. Sposobnosti, ki jih je pridobil,
u124 39:42 lahko izgubi, če preveč poudarjate trenutno nalogo. Tudi zato želite, da model ne odstopa preveč. V redu.
u125 40:00 Dobro. Povzetek. Kateri so trije izzivi? Prvič, gradienti so lahko šumni. Drugič, že v osnovi nimamo izrecnega pripisovanja zaslug na ravni žetonov. Tretjič, nimamo izrecnih omejitev, kako daleč lahko politika odstopa od politike,
u126 40:24 iz katere izhajamo. S temi tremi izzivi v mislih bomo govorili o najpogostejših algoritmih spodbujevalnega učenja,
u127 40:34 Proksimalna optimizacija politike (PPO)
u128 40:36 za katere ste zagotovo že slišali. Začeli bomo s PPO. PPO pomeni proksimalna optimizacija politike. Poskuša
u129 40:54 maksimizirati ciljno funkcijo, vendar z dvema razlikama glede na prvi pristop. Prva je, da poskuša maksimizirati prednosti, ne nagrad. Druga pa je, da poskuša
u130 41:12 ne odstopati preveč od prejšnje politike. Videli bomo, kako natančno dobimo ta dva člena. Samo opomba: P v PPO se nanaša na drugi člen. Želite določeno bližino tej referenčni politiki.
41:22 · Proposed solution: PPO (Proximal Policy Optimization) lecture slide · A Stanford lecture slide contrasts REINFORCE, which maximizes rewards, with PPO, which maximizes advantages and adds a term for not deviating too much from before. An arrow from the highlighted "P" in "Proximal" points to that "Don't deviate too much from before" box, explaining what "proximal" means. A small inset shows the lecturer standing by a blackboard.
u131 41:35 Pojdimo torej k prvemu členu, členu prednosti. Funkcija nagrajevanja sprašuje, kako dober je odgovor glede na poziv. V resnici pa se želimo vprašati,
u132 41:55 kako dober je odgovor v primerjavi s tem, kar bi pri tem pozivu pričakovali. Želimo torej neko relativnost glede na izhodiščno vrednost, in temu so namenjene prednosti. Ponazorimo to s primerom.
u133 42:17 Predpostavimo, da imamo naslednji poziv: Teddy je v škatli. Kje je Teddy? Odgovor je: v škatli. Predpostavimo, da je to pravilen odgovor. Nagrada za celotno dopolnitev glede na poziv je, recimo, plus 1.
u134 42:37 Želite pa vedeti, kako se tem različnim žetonom dejansko pripisujejo zasluge glede na njihova pričakovanja.
42:49 · PPO computes advantages, not just rewards (lecture slide) · A Stanford lecture slide on Proximal Policy Optimization. It shows an LLM taking the input "Teddy is in a box. Where is Teddy?" and producing the output "In the box.", with a final reward of +1. The slide says PPO maximizes advantages, based on the expected final reward given the prefix so far, and adds a faded term to not deviate too much from before. A small inset shows the lecturer standing by a blackboard.
u135 42:49 Vrednostna funkcija in prednost
u136 42:50 Vprašati se želimo: kakšna je ob dani delni dopolnitvi pričakovana končna nagrada, če preostale žetone še naprej vzorčimo iz politike?
u137 43:10 Dal bom primer. Predpostavimo, da imate celoten vhod. Nato dekodirate, recimo, »v«. Tu se vprašate: če bi v povprečju nadaljeval tako, kakšna bi bila pričakovana končna nagrada? Predpostavimo, da je tu 0,6.
u138 43:31 Nato dekodirate. Pridete do »the«, v redu, 0,7, »box«. To je pravilen odgovor. Zato bi moral slediti velik skok, recimo na 0,95 in 1. Kaj smo naredili? Poskušali smo se vprašati, kakšna bi bila ob dani delni dopolnitvi pričakovana končna
u139 43:56 nagrada. Prednost tega pristopa je, da imamo izhodiščno vrednost. Ta je primerjava s tem, kako bi dopolnili odgovor, če bi vzorčili iz politike.
u140 44:15 Tako lahko natančno določite prispevek posameznega žetona. Če bi v tem primeru izračunali zelo preprosto različico prednosti za žeton »box«, bi vzeli vrednost z »box«
u141 44:40 in odšteli vrednost brez »box«. Torej 0,95 minus 7, kar je plus 25. Upam, da ta primer pojasni, zakaj uvajamo novo funkcijo, ki jo imenujemo vrednostna funkcija.
u142 45:03 Ta funkcija je definirana na ravni žetonov. Matematična formula na prosojnici pravi, da poskuša določiti pričakovane prihodnje nagrade, če bi začeli
u143 45:22 z vhodom in delno dopolnitvijo ter nadaljevali dekodiranje z vzorčenjem iz velikega jezikovnega modela, iz politike. Kakšna bi bila pričakovana vrednost? To je vaša izhodiščna vrednost.
u144 45:40 V tem primeru se model dejansko uči skupaj s politiko, saj se morate vprašati, kakšna bi bila pričakovana nagrada pri vzorčenju iz politike. Zato morate uporabiti parametre politike, ki jo učite.
u145 46:02 Tak model bi učili tako, da bi ob dani delni dopolnitvi in pozivu poskušali napovedati nagrado na koncu dopolnitve. Ta količina bi bila definirana na ravni žetonov. Za vsak izhodni žeton bi imeli vrednost.
u146 46:25 To je vrednostna funkcija. Prednost bi izračunali tako, da vzamete vrednost do tega žetona in odštejete vrednost do neposredno predhodnega žetona. Tako lahko izločite
u147 46:47 vpliv samega žetona. Povedati pa želim, da je dejansko bolj zapleteno. Zato je to v narekovajih. Torej tako imenovano. Nekoliko bolj zapleteno je
u148 47:05 zato, ker lahko z ustvarjenim žetonom povečate verjetnost visoke nagrade. Lahko pa se tudi postavite v položaj, v katerem bodo prihodnji žetoni imeli korist od ustvarjenega žetona.
u149 47:26 Naj navedem primer. Predpostavimo, da nekoga učite nekega pojma. Učite ga matematičnih pojmov. To lahko pripelje do tega, da vaš prijatelj odlično opravi izpit iz matematike.
u150 47:45 To je kratkoročna nagrada. Lahko pa predpostavite tudi, da ga uspeh na izpitu usmeri na dobro pot do uspeha na poznejših izpitih in morda pri delu,
u151 48:04 nato do ustanovitve podjetja, položaja izvršnega direktorja in milijarderskega premoženja. Tega, da ste prijatelju razložili pojem, ne morete šteti za edini razlog njegovega prihodnjega uspeha. Vendar temu pripada del zaslug. To je zamisel članka o posplošenem ocenjevanju prednosti,
u152 48:27 ki ni del izpita. Ne sodi v obseg tega predmeta. Če vas zanima, pa si ga oglejte. Zamisel je pogledati tudi prihodnje vrednosti in jih povezati z določenim žetonom.
u153 48:50 Dobro. Je za zdaj razumljivo? Videli smo način izračuna prednosti, količine, ki pove, kako posamezen napovedani žeton vpliva na cilj doseganja, recimo, visokih nagrad oziroma pridobivanja signala na ravni žetonov.
u154 49:13 Imate tudi izhodiščno vrednost, saj vrednost primerjate z vrednostjo brez tega žetona. Ja? [NERAZLOČNO] Vprašanje je, ali obstaja interakcija med vrednostno funkcijo in politiko.
u155 49:30 To sta dejansko dva modela. V praksi ju učite skupaj. Imeli bi eno funkcijo izgube s kaznijo za vrednost in kaznijo za samo politiko. Toda v tem primeru sta povsem ločena.
u156 49:50 Vrednostna funkcija se nikamor ne podaja kot vhod. Ja? [NERAZLOČNO] Vprašanje je, ali se učita tako model nagrajevanja kot vrednostni model. Model nagrajevanja naučimo vnaprej. Vrednostni model pa učimo sočasno s politiko.
u157 50:10 Glavni razlog je, da je vrednostni model definiran tako, da določa pričakovane nagrade, če nadaljujete po politikah, ki jih učite. Dobro.
u158 50:32 Ja? [NERAZLOČNO] Vprašanje je, ali je vrednostna funkcija funkcija theta. Ja, obstaja skupno ogrodje. Gradiente določa funkcija izgube, ki vsebuje vrednostno izgubo in nato politiko, dejansko funkcijo izgube.
u159 50:52 Če vas zanimajo podrobnosti, članek o PPO vsebuje nekaj tehničnih podrobnosti. Zanimivo si jih je ogledati. Zdaj torej pravimo, da ne poskušamo optimizirati pričakovane vrednosti nagrad. Poskušamo optimizirati pričakovano vrednost
u160 51:12 prednosti. No, ne čisto.
51:16 · PPO objective: maximize advantages instead of rewards · A Stanford ICME lecture slide explaining that PPO computes advantages, not just rewards. The objective J(θ) is split into a "Maximize advantages" term plus a faded "Don't deviate too much from before" term, and the expectation of rewards E_t[R_t] becomes the expectation of advantages E_t[A_t]. A small inset shows the lecturer standing in front of a blackboard.
u161 51:16 Razmerje politik
u162 51:18 Če se tega spomnite, ob predpostavki, da vsi vidite zgornji del table: rekli smo, da je ustvarjanje dopolnitev drago. Ali jih torej želimo ustvarjati vsakič?
u163 51:37 Ne. Dopolnitve želimo uporabiti za več posodobitev. To lahko naredimo tako, da ustvarimo paket s pi theta in nato na istem paketu posodabljamo pi theta.
u164 52:00 Pi theta bi postal pi old, ker ni več trenutna politika. Zato se v člankih pojavlja to razmerje. Ne optimizirate pričakovane vrednosti prednosti, temveč pričakovano vrednost razmerja
52:07 · PPO computes advantages and uses a policy ratio · A Stanford ICME lecture slide explaining that PPO's objective maximizes advantages rather than raw rewards, with a second term (faded) that keeps the policy from deviating too much. Because the same batch is reused for multiple updates, the objective uses the ratio of the current policy to the old policy multiplied by the advantage. A small inset shows the lecturer standing at the right.
u165 52:19 krat prednost. S tem upoštevate, da dejansko vzorčite iz stare politike. Zagotoviti pa želite, da to ustreza trenutni politiki. Zato imate korekcijski člen, razmerje med trenutno in staro politiko.
u166 52:43 Tu želim opozoriti: nekateri članki to razmerje označujejo z R. To lahko povzroči zmedo z nagradami. Mi ga označujemo z rho in mu pravimo razmerje pri pomembnostnem vzorčenju. Imate vprašanje?
u167 53:01 Ne? V redu. Odlično.
u168 53:03 Obrezovanje razmerja
u169 53:04 Kaj se lahko zgodi pri takem pristopu? Naletite lahko na prej omenjeno težavo: theta posodabljate tako, da preveč odstopa od prejšnjih politik.
u170 53:25 Zato želite neko obliko nadzora nad tem razmerjem. Ne želite, da bi bilo, recimo, predaleč od ena. Za to obstaja formula. Trenutno ne želim, da jo gledate.
u171 53:44 Poglejmo to samo intuitivno. Želim, da naredimo naslednje. Predpostavimo, da nas zanima, koliko model posodablja politiko.
u172 54:05 Rekli smo, da gre za nekaj v smislu razmerje krat prednost. Torej je linearno v odvisnosti od prednosti. Če bi narisali — samo ponovil bom to, kar imamo tukaj —
u173 54:26 potek ciljne funkcije, ki jo bom označil z J, v odvisnosti od razmerja: če je A pozitiven, torej če je prednost pozitivna, kar pomeni, da želite povečati verjetnost določenega dejanja,
u174 54:46 potem dobite nekaj takega. A je pozitiven. Se vsi strinjate? Predpostavimo, da je tukaj 1. Samo povzel bom.
u175 55:03 Rho je pi theta deljeno s pi old. Vrednost 1 pomeni, da trenutna in stara politika govorita isto. Če ste tukaj, želite za izvedbo posodobitve maksimizirati J.
u176 55:27 Kako maksimizirate J? Tako, da povečate verjetnost, da politika izvede to dejanje. Pomaknili bi se nekam tja. Nova politika bi se posodobila in ustrezala tej točki. Težava je, da če izraza ne spremenite,
u177 55:52 gradient nikoli ni ničeln in vas spodbuja k povečevanju rho, k vedno večji verjetnosti, da politika ustvari to dejanje. Zato želite to spodbudo prekiniti in funkcijo obrezati, da dobite območje z gradientom 0,
u178 56:19 kjer ob posodobitvi politike, ki bi vas pripeljala sem, ne bi imeli spodbude za povečevanje rho. Točno to je na prosojnicah. Funkcijo želimo obrezati,
56:36 · PPO clipping prevents large policy updates (Stanford lecture slide) · A Stanford ICME lecture slide explains that PPO's objective J(θ) combines maximizing advantages with a term that keeps the policy from deviating too much from before. The first idea is to clip the ratio between new and old policy. The plot, for positive advantage (A > 0), shows J(θ) rising linearly with ρ(θ) up to 1+ε, then flattening. A red dot sits near ρ = 1 on the rising line.
u179 56:40 da odstranimo spodbudo, da bi posodobitev povečevala verjetnost ustvarjanja dejanja. Preprečiti želite, da politika to verjetnost še povečuje. Z drugimi besedami, ne želite, da politika
u180 56:59 preveč odstopa od stare politike. To velja pri pozitivni prednosti. Zelo podobno je pri negativni. Tu ciljna funkcija model spodbuja k zmanjševanju razmerja, k zmanjševanju verjetnosti,
u181 57:18 da model ustvari dejanje, ki vodi v negativno prednost. Dobite nekaj takega. Če se vrnemo k formuli, formula počne prav to. Ja? [NERAZLOČNO] Vprašanje je: uvedli ste divergenco KL.
u182 57:40 Zakaj je ne uporabite? To je moja naslednja prosojnica. Nekaj bom povedal o tem, kako deluje.
u183 57:45 Kazen KL
u184 57:46 To pa je eden od načinov omejevanja prevelikih posodobitev modela. Glede na vašo pripombo pojdimo k divergenci KL. Kaj počne? To je operator, ki sprejme dve verjetnostni porazdelitvi, recimo p in q.
u185 58:06 Ta operator predpostavlja, da je p prava porazdelitev, in jo uteži z logaritmom pi/q. Obstaja tudi zvezna različica, pri kateri preprosto uporabite integral.
u186 58:26 Imate torej drug način količinskega opredeljevanja odstopanj modela: v funkciji izgube želite kazenski člen, ki primerja trenutno politiko z neko drugo politiko.
u187 58:45 Običajno kaznujejo preveliko razliko trenutne politike od politike SFT, osnovne oziroma referenčne politike. Zato želim, da ste pozorni na spodnje indekse pri vsakem pi, ki ga vidite.
u188 59:05 Tu je pi theta glede na pi ref. Pi ref pomeni referenčno, torej osnovno politiko. To se razlikuje od pi old, politike, s katero ste ustvarili dopolnitve. Predstavil bom celoten potek.
u189 59:24 Začnete s pi ref. Učite model, torej ustvarite paket. To postane pi old. Izvedete več posodobitev in nato ustvarite drug paket. To postane vaš pi old, spet več posodobitev. Pi ref ostaja fiksen in z njim primerjate trenutno politiko.
u190 59:48 Povezava z DPO
u191 59:48 Zelo na kratko želim omeniti strašljivo formulo iz prejšnjega tedna, formulo DPO. Ne vem, ali se spomnite, vendar smo rekli, da lahko cilj spodbujevalnega učenja izrazimo na nadzorovan način z uporabo
59:48 · Direct Preference Optimization loss function lecture slide · A Stanford lecture slide connecting to DPO (Direct Preference Optimization), showing the DPO loss rewritten in a supervised form. Two red boxes highlight the log-ratio terms for the winning and losing responses, and a red formula on the right defines the implicit reward r_θ(x,y) = β log(π_θ(y|x)/π_ref(y|x)). Faded bullets list the benefits of DPO. A small video inset shows a lecturer standing in a classroom.
u192 1:00:15 Bradley-Terryjeve formulacije. Rekli smo, da ciljna funkcija sledi nečemu zelo skladnemu z Bradley-Terryjevo formulacijo, nekako takole: to je kot L minus pričakovana vrednost logaritma sigma. Sigma je sigmoidna funkcija, torej sigma od, recimo,
u193 1:00:44 Rw minus Rl. Rekli smo, da je R definiran kot beta krat logaritem vaše politike v primerjavi z neko drugo politiko. Tu naj bo to referenčna politika.
u194 1:01:05 Rekli smo, da je beta neka količina. Želim samo povezati stvari: beta, ki jo vidite pri divergenci KL, beta, ki kaznuje preveliko razliko vašega modela od referenčnega
1:01:06 · Lecturer at chalkboard with preference-loss equation · A man in a green t-shirt and glasses stands in front of a chalkboard in a lecture hall, smiling and looking toward the board with one hand raised. The board shows a handwritten loss function, apparently the Direct Preference Optimization (DPO) style objective, with a reward expression written as beta times the log of a policy ratio. A faint "Stanford" watermark appears at the bottom right, and part of a Stanford-branded screen is visible at the top right.
u195 1:01:23 modela, je dejansko ista beta. Višja kot je beta, bolj se boste trudili, da ne odstopate preveč od referenčne politike. Želim vam matematično pokazati, zakaj intuitivno velja tako.
u196 1:01:41 Če bi narisali funkcijo sigma, bi bila nekako takšna. Hop. Takšna. Tu sta 1 in 0. Sigma od x je 1 deljeno z 1 plus eksponentna funkcija od minus x. Ko je x enak 0, je to 0,5.
u197 1:02:08 Če gre x proti plus neskončno, gre to proti 1. Ko gre x proti minus neskončno, gre to proti 0. Obstaja torej območje, kjer se sigmoidna funkcija zelo hitro spreminja. Rekli smo, da je spodbuda vaše izgube
u198 1:02:30 je, da je ta razlika čim večja. In kako to dosežete? Želite, da je Rw čim večji. In kako to dosežete? Tako, da povečate verjetnost, da vaša politika ustvari zmagovalni odgovor.
u199 1:02:51 Če pa imate veliko beto, to pomeni, da bo že majhen odmik od referenčne politike povzročil, da bo celotna vrednost velika. In že boste na območju,
u200 1:03:13 kjer ste že blizu 1. Z drugimi besedami, če imate veliko beto, bo imela vaša politika manjšo spodbudo, da se oddalji od referenčne politike. To pa je v nasprotju z manjšo beto.
u201 1:03:32 Če imate torej majhno beto, mora biti ta količina veliko večja od te količine, da je to veliko. Ne vem, ali to pomaga. Želim pa povedati, da je beta dejansko povezana s spodbudo, da želite to
u202 1:03:56 ohraniti blizu referenčne politike ali ne. In to je ista beta kot v izgubi DPO. Ja? [NERAZLOČNO] Vprašanje je torej, ali rho t uporablja pi old? Običajno ja. Tukaj pa je pi ref. Ja? [NERAZLOČNO] Samo da potrdimo, obstajajo tri politike.
u203 1:04:14 Da, obstajajo tri politike. Pi theta je trenutna politika, ki jo posodabljate. Pi old je tista, ki jo uporabljate za ustvarjanje paketa. Pi ref pa je vaš osnovni model. Ja, je bilo vprašanje enako? [NERAZLOČNO] Ja, vprašanje je torej: če vas zanima samo, kako politika odstopa od svoje stare vrednosti,
u204 1:04:34 kako zagotovite, da ne odstopa preveč od referenčne? Običajno ljudje hkrati uporabljajo obe omejitvi. Imajo obrezovanje razmerja glede na staro politiko, torej omejitve med iteracijami, skupaj z absolutno omejitvijo glede
u205 1:04:54 na referenčno politiko. Torej kaznujejo tako odstopanje od stare politike kot od absolutne osnovne politike. [NERAZLOČNO] Ja? [NERAZLOČNO] Vprašanje je, kako izračunate KL?
u206 1:05:12 To je odlično vprašanje. Ker je KL računsko drag, saj zajema celoten besednjak, zanj uporabite neko cenilko. Ja. Ste imeli vprašanje? Ne. V redu. Odlično. Nadaljujmo. Če povzamem, kaj smo videli: videli smo način za maksimiranje količine, ki je dejansko
1:05:24 · PPO nowadays: maximize advantages, limit deviation from before · A Stanford lecture slide (ICME) explaining that the PPO objective J(θ) has two parts: maximizing advantages and not deviating too much from before. It says advantages use a value function as baseline, and that staying close is done by clipping against the old policy or a KL penalty against a reference policy. A small inset shows the lecturer standing near a blackboard.
u207 1:05:33 funkcija, recimo, izhodiščne vrednosti in se imenuje prednost. Tukaj smo za to uporabili vrednostno funkcijo. Omenili smo tudi, da imamo nekaj mehanizmov, da ne bi preveč odstopali od tega, kar smo imeli prej. Videli smo torej mehanizem obrezovanja glede na staro politiko,
u208 1:05:55 pa tudi kazenski člen KL med trenutno in referenčno politiko. To so torej zamisli. Nekatere metode združujejo oboje, nekatere uporabljajo eno, drugega pa ne. Nekatere jih kombinirajo. Obstaja več različic.
u209 1:06:13 Mislim pa, da si je pomembno zapomniti različne metode, s katerimi lahko dosežete te cilje. In temu sem želel nameniti posebno prosojnico: če boste brali članek o PPO, bodite pozorni. L ni izguba.
1:06:21 · PPO clipped objective formula, terminology side note · A Stanford ICME lecture slide titled "Side note: terminology alert" showing the PPO clipped surrogate objective L^CLIP(θ). The formula is a screenshot from Schulman et al., 2017, "Proximal Policy Optimization Algorithms". A small inset in the top right shows a person standing in front of a blackboard; the rest of the slide is blank.
u210 1:06:32 Je ciljna funkcija. To količino želite maksimirati. Ne želite je minimirati. Druga stvar pa je, da boste za razmerje videli R. Bodite pozorni. To ni nagrada. Je razmerje. Zdaj pa bom samo povzel, kaj smo videli glede izzivov, ki smo jih omenili.
u211 1:06:52 Gradienti so šumni; imamo način za izračun izhodiščne vrednosti, ki omogoča tudi pripisovanje zaslug na ravni žetonov. Rekli smo tudi, da lahko uporabimo obrezovanje ali metode divergence KL, da zagotovimo, da politika ne
u212 1:07:11 odstopa preveč od tega, kar smo imeli. Toda velika težava tega pristopa je, da morate učiti vrednostno funkcijo. To je precej zapleteno. In zato to ni edina metoda,
1:07:29 · Value function as fix for policy gradient limitations · A Stanford ICME lecture slide titled "...with a core limitation" lists three policy-gradient problems, faded out: noisy gradients, no token-level credit assignment, and no constraint on policy update magnitude. The highlighted box says to compute advantages with a value function, which addresses the first two. The slide notes the limitation that training a value function is a lot of hassle, marked with a frowning emoji. A small inset shows the lecturer standing in front of a blackboard.
u213 1:07:29 Optimizacija politike glede na skupino (GRPO)
u214 1:07:32 ki jo obravnavamo na tem predavanju. Obstaja še druga metoda, ki je v zadnjih nekaj letih postala zelo pomembna in se imenuje GRPO. GRPO pomeni Group Relative Policy Optimization. Poskuša maksimirati prednosti,
u215 1:07:54 vendar brez vrednostne funkcije. To je velika dodana vrednost. Toda brez vrednostne funkcije pri GRPO pomeni, da za delovanje ne potrebuje vrednostne funkcije, in videli bomo, kaj natančno naredi namesto tega.
u216 1:08:13 Vrnimo se k intuiciji, da potrebujemo nekaj, s čimer lahko primerjamo nagrado. Intuicija za GRPO je, da za dano pozivno besedilo vzorčite več odgovorov,
u217 1:08:31 da dobite to pričakovano vrednost. Vzamete torej neko pozivno besedilo. Izberete pozitivno temperaturo. In ko ustvarite več odgovorov, upate, da so vsi različni. Nekateri odgovori bodo boljši od drugih. Če to naredite in izračunate
u218 1:08:51 nagrado za vsakega od teh izhodov glede na pozivna besedila, nato pa to primerjate s povprečno nagrado in jih standardizirate, lahko dobite občutek, kateri odgovor je boljši od drugega glede na preostale.
u219 1:09:09 In za to ne potrebujete vrednostne funkcije. Seveda pa tudi ne želite preveč odstopati od tega, kar ste imeli prej. Zato veljajo isti prijemi. Imate mehanizem obrezovanja, ki zagotavlja, da nimate neničelnih gradientov, če ste
u220 1:09:29 predaleč od stare politike. Imate tudi člen divergence KL, s katerim lahko kaznujete vsak odmik od referenčnega modela.
u221 1:09:42 Primerjava GRPO in PPO
u222 1:09:42 Torej, veliko matematike, veliko formul. Za trenutek se sprostimo in skupaj poglejmo to ponazoritev. Kako bi se lotili posodabljanja uteži našega LLM, če bi sledili GRPO?
1:09:42 · Comparison between GRPO and PPO (opening slide) · A Stanford ICME lecture slide titled "Comparison between GRPO and PPO". It is mostly empty so far: only the row label "GRPO" and a single box containing "q" (the query) appear, which looks like the first step of a diagram being built up. A small inset in the top right shows the lecturer standing in front of a blackboard.
u223 1:10:01 Najprej vzamemo pozivno besedilo in prosimo svoj LLM, ki je model politike, naj ustvari odgovore. Ustvaril bi en izhod. Ustvaril bi dva izhoda, pravzaprav g izhodov. In želite vedeti, kako dobri so ti izhodi.
u224 1:10:24 Vsak od teh izhodov bi glede na vhod ovrednotili z modelom nagrajevanja, ki je lahko model ali nekaj determinističnega. Nato bi izračunali vrednosti prednosti tako, da od nagrade odštejete povprečje nagrad
u225 1:10:45 te skupine in to delite s standardnim odklonom nagrad. Tako dobite relativen občutek, kako uspešen je vsak izhod glede na skupino. Nato bi
u226 1:11:03 te prednosti uporabili za izračun gradienta. Poskrbeli pa bi tudi za kaznovanje vseh odmikov od referenčnega modela. Poleg obrezovanja bi torej imeli tudi člen divergence KL.
u227 1:11:23 In ne bi imeli vrednostne funkcije. Vrednostna funkcija ni potrebna. Potrebujete le model politike. Potrebujete model nagrajevanja in referenčni model. Mimogrede, tudi model nagrajevanja je neobvezen. Če se ukvarjate, recimo, s sklepanjem, matematiko ali programiranjem, lahko uporabite preverljive nagrade. V redu.
u228 1:11:44 Kako se to primerja s PPO? Pri PPO ste vzeli nekaj vhodov. Vnesli ste jih v model politike. Ustvarite en odgovor. Nato to pozivno besedilo in odgovor vnesete v model nagrajevanja,
u229 1:12:03 ki vam pove, kako dobri, kako uspešni ste. Obstaja veliko različic vključevanja kazni KL. Ena od njih je, da jo vključite kot del nagrad. Torej bi naredili to.
u230 1:12:24 Vzporedno s tem bi uporabili vrednostni model, da za vsak žeton napoveste pričakovano končno nagrado, če sledite tej politiki. In izračunali bi količino prednosti, ki
u231 1:12:45 je, kot smo videli, če želimo biti povsem osnovni, lahko razlika med vrednostnimi funkcijami. V resnici pa je bolj zapleteno. Za to obstaja metoda, imenovana posplošeno ocenjevanje prednosti, Generalized Advantage Estimation oziroma GAE. To lahko torej naredite.
u232 1:13:04 Nato vzamete prednost in jo uporabite za izračun gradienta, ki bo posodobil vašo politiko. Želim, da bi-- mimogrede, je to za zdaj razumljivo? Ja?
u233 1:13:23 V redu. Zdaj želim samo povzeti, kateri modeli so vključeni in katere učimo ter katerih ne. Če se spomnite, je referenčni model nespremenljiv. To je tisti, iz katerega ste izhajali. Po izbiri imate še model nagrajevanja,
u234 1:13:43 ki ga naučite vnaprej in ga tukaj uporabljate. Modela nagrajevanja ne učite. Seveda pa učite model politike. Pri PPO učite tudi vrednostni model. Učite ga skupaj z modelom politike.
u235 1:14:05 Kot smo videli, poskuša vrednostni model oceniti pričakovane nagrade, če bi sledili politiki. Politiko pa dejansko učite. Zato morate zagotoviti, da sta usklajena. To je glavni razlog, zakaj je PPO zahteven, saj potrebujete vse zmogljivosti za izvajanje učenja vrednostnega modela
u236 1:14:29 med učenjem. Na koncu dobite te formule. Veseli me, da nismo začeli z njimi, saj so lahko nekoliko zastrašujoče. Nekaj, kar je obema formulama skupno, so razmerja. Tukaj imamo razmerje med verjetnostjo, ki jo poda
1:14:32 · Comparison between GRPO and PPO objective functions · A Stanford lecture slide places the GRPO objective above the PPO objective. GRPO averages over a group of G sampled outputs per question and adds a KL-divergence penalty to a reference policy. PPO uses a single sampled output and has no KL term in the shown formula. A small inset shows a lecturer standing near a board.
u237 1:14:49 politika, ki jo učimo, in verjetnostjo politike, ki je ustvarila paket, torej stare politike. To količino vidite v obeh formulah. Vidite tudi obrezovanje.
u238 1:15:07 Videli smo, da je namen obrezovanja zagotoviti, da se naša politika ne oddalji preveč od stare politike. Nato imamo še člen divergence KL. Omenil sem, da obstaja veliko različic.
u239 1:15:26 Tukaj GRPO divergenco KL dejansko izrazi v funkciji izgube. Lahko pa jo izrazite tudi kot del prednosti, ki jo izračunavate, kar velja za PPO. Kar zadeva razlike, to, kar smo pravkar videli,
u240 1:15:48 je bila mimogrede ena razlika. Mesto kazni KL se lahko med metodami razlikuje. Druga razlika je način izračuna prednosti. Pri GRPO prednost izračunate na ravni celotnega odgovora in jo primerjate
u241 1:16:10 z drugimi izhodi. Mimogrede, če pogledate formulo GRPO, boste videli, da T označuje žeton. Vidite tudi, da je prednost funkcija izhoda I in žetona T. Morda se sprašujete, zakaj je tam
u242 1:16:28 T, če gre za raven celotnega odgovora? Prednost lahko opredelite na ravni celotnega odgovora ali žetona, zato je formula splošnejša. Običajno pa ljudje uporabljajo tisto na ravni celotnega odgovora, ker je preprostejša. Pri tisti na ravni žetonov potrebujete način za razlikovanje prispevkov posameznih žetonov,
u243 1:16:49 česar običajno ne počnete. Kakorkoli, če se vrnemo: vidite I in T, vendar je pri GRPO to dejansko funkcija I. Izračunate jo tako, da nagrado primerjate s povprečjem nagrad svoje skupine in to delite s standardnim odklonom.
u244 1:17:09 Pri PPO pa prednost izračunavate na ravni žetonov in za to uporabljate vrednostno funkcijo. Naj spomnim, tudi vrednostna funkcija je na ravni žetonov in se uči skupaj s politiko. In tega je veliko.
u245 1:17:29 Zato se bom ustavil za morda minuto, da vidim, ali imate kakšno vprašanje o teh dveh velikih formulah. Je ta prosojnica zdaj razumljiva? Ja? Ja?
u246 1:17:46 [NERAZLOČNO] Vprašanje je torej: na prejšnji prosojnici ste dodali divergenco KL za PPO. Da, sem, vendar je bilo to bolj namenjeno ponazoritvi dveh vrst strategij kaznovanja. V splošni implementaciji PPO pa
u247 1:18:04 bi to dejansko vključili kot del prednosti. In mimogrede, to je pogosto. Vsak članek to implementira drugače. Zato naj vas to ne preseneti. V redu.
u248 1:18:22 Super. Torej so vsem te velike formule jasne.
u249 1:18:25 Omejitve GRPO
u250 1:18:25 Odlično. Predpostavimo, da to naredite za GRPO. Avtorji so to dejansko izvedli na matematičnih problemih in problemih sklepanja. Opazili so-- če se spomnite, smo prejšnji teden rekli, da so s tem model spodbujali k ustvarjanju verig sklepanja pred podajanjem odgovora,
1:18:25 · DeepSeek-R1-Zero response length grows during RL training · A Stanford lecture slide titled "Increasing output length" phenomenon, showing a line chart of DeepSeek-R1-Zero's average response length over training steps. The smoothed line rises from roughly 500 tokens at step 0 to about 9,500–10,000 by around step 8,400, with a widening noisy band around it. A small inset shows the lecturer standing beside a blackboard.
u251 1:18:48 kar je izboljšalo uspešnost. Avtorji pa so opazili tudi, da se je dolžina odgovora med učenjem običajno povečevala. In povečevala se je celo
u252 1:19:08 takrat, ko se je uspešnost modela ustalila. Na levi strani os y prikazuje uspešnost modela pri matematičnem problemu. Na desni pa je povprečna dolžina odgovora. Morda se sprašujete, zakaj se to dogaja.
u253 1:19:28 Zakaj bi model spodbujal vedno daljše odgovore, tudi ko se uspešnost ustali? To je spet povezano s to veliko formulo in načinom normalizacije.
u254 1:19:48 Tukaj želim, da se osredotočite le na en del prosojnice. Vidite 1 deljeno z odgovorom izhodov? Vidite ta člen? Ko so odgovori kratki, je ta člen velik ali majhen? [NERAZLOČNO]
u255 1:20:12 Velik, da. Ko je O majhen, je 1/O velik. Kaj pa, ko je O velik? Je majhen. S tem koeficientom se dejansko množi prispevek žetona k ciljni funkciji.
u256 1:20:32 Tukaj pravimo, da bo prispevek žetona, ki je v kratkem odgovoru, večji, kot če bi bil v dolgem odgovoru. Za zdaj nič neverjetnega.
u257 1:20:50 Zdaj pa predpostavimo, da razmišljate o tem, kdaj je prednost pozitivna in kdaj negativna. Če ste v kratkem izhodu in je vaša prednost pozitivna, bo to velik prispevek navzgor.
1:20:50 · GRPO objective and the "increasing output length" phenomenon · A Stanford lecture slide shows the GRPO objective function with the per-sequence 1/|o_i| normalization term boxed in red. Below it, a large plus sign under "Short output" and a much smaller plus sign under "Long output" suggest that each token in a short response gets a larger weight than each token in a long one. A small video inset at top right shows a person standing in front of a blackboard.
u258 1:21:13 Če je negativna, bo to velik prispevek navzdol. Če ste v dolgem izhodu in je prednost pozitivna, je to majhno povečanje navzgor. Če pa ste v izhodu z negativno prednostjo,
u259 1:21:30 je to majhen prispevek navzdol. Kaj to pomeni? Če pogledate primere, ko dejansko podajate slabe odgovore, relativno gledano, bo model raje izbral slab odgovor,
u260 1:21:49 ki je daljši, kot slab odgovor, ki je krajši. Če se torej vrnemo sem, to pomeni, da ko se model znajde v položaju, ko glede slabih odgovorov ne more ničesar narediti in pač ustvarja slabe odgovore,
u261 1:22:08 bo raje ustvarjal daljše slabe odgovore kot krajše. Zato na tem grafu vidite ustalitev uspešnosti, dolžina pa se povečuje, ker model
u262 1:22:26 raje izbira daljše slabe odgovore kot krajše. Se vsi strinjate s tem? In zakaj je to težava? Težava je, ker tega ne želite.
1:22:41 · Mitigating the "increasing length" phenomenon with DAPO normalization · A Stanford lecture slide that contrasts a loss normalization with a per-sequence 1/|o_i| factor (highlighted in red as the problem) against DAPO. DAPO's remedy equalizes token-level contributions by dividing by the total token count across all G sampled outputs. A small video inset shows the lecturer standing in front of a blackboard.
u263 1:22:41 DAPO, Dr. GRPO
u264 1:22:42 To je eden od razlogov, zakaj nekateri članki, ki nadgrajujejo GRPO, poskušajo prilagoditi posamezne malenkosti. Med njimi je normalizacijski člen. Pri DAPO so želeli enak prispevek vseh žetonov. Normalizacija je torej glede
u265 1:23:00 na vsoto izhodov. Drugi pristop je GRPO done right oziroma Dr. GRPO. Ne vem, kako bi to izgovorili, ampak tam ta normalizacijski člen preprosto opustijo. Želim pa govoriti še o drugih možnih težavah. Druga, ki jo želim omeniti,
u266 1:23:18 je način izračuna prednosti. Delijo se s standardnim odklonom nagrad. Standardni odkloni se razlikujejo glede na zahtevnost vhoda. To lahko vnese pristranskost. In to ni dobro.
u267 1:23:36 Zato bi morda želeli odstraniti standardni odklon. Druga stvar, pri kateri sem se želel vrniti k epsilonu, pa je: če imate dejanje z zelo majhno verjetnostjo in
u268 1:23:56 za spodnjo in zgornjo mejo uporabljate isti epsilon, izhodom z manjšo verjetnostjo pravzaprav ne omogočite, da bi se ustvarjali bistveno pogosteje. Predpostavimo, da je vaša verjetnost,
u269 1:24:13 recimo, 0,001 in vaš epsilon, kaj vem, 0,2. S tem pustite le malo prostora, da bi se to dejansko bolj raziskovalo. To torej ne spodbuja raznolikosti. Zato bi morda želeli za spodnjo in zgornjo mejo izbrati različna epsilona.
u270 1:24:35 Super. V redu. Želel sem povzeti. Pri GRPO smo videli, da so gradienti manj šumni, ker se prednosti izračunavajo glede na povprečje skupine. Videli smo tudi, da velikost posodobitev politike obravnavajo običajni osumljenci,
u271 1:24:54 kar zadeva metode, torej obrezovanje in kazen KL. Videli pa smo, da nimamo eksplicitnega pripisovanja zaslug na ravni žetonov, in to ni dobro. Nimamo več vrednostne funkcije, vendar tudi nimamo pripisovanja zaslug na ravni žetonov.
u272 1:25:14 To želimo rešiti. In s tem predajam besedo Shervinu.
u273 1:25:17 Destilacija na lastni politiki (OPD)
u274 1:25:20 Hvala, Afshin. Da to ponazorimo, se bomo vrnili k našemu najljubšemu primeru s predavanja, plišastemu medvedku, ki se premika v zaprti škatli. Povzeli bomo, kaj spodbujajo GRPO in preverljive nagrade.
u275 1:25:40 Tukaj je bil ne glede na korake sklepanja pomemben samo odgovor. Zakaj je to težava? Kot je omenil Afshin, spregledali boste vmesne korake. Tukaj sem prikazal, kaj bi lahko dalo G celotnih odgovorov
u276 1:25:59 v smislu vmesnih korakov. Lahko imate kombinacijo dveh pravilnih korakov, dveh napačnih korakov ali samo enega od obeh. Kot vidite, bo pri pogledu na formulo vsak žeton povezan z isto končno nagrado.
u277 1:26:20 Pripisali mu boste torej isto prednost kot na koncu, čeprav je korak napačen, kar je ena od slabosti. Dolgoročno bi lahko trdili: v redu, nekateri celotni odgovori imajo nesmiselne vmesne korake, v povprečju pa bodo smiselni.
u278 1:26:40 In model se bo v povprečju naučil, kateri so dobri. Toda to je zelo neučinkovito, saj ne izkoriščate tega, kar bi lahko izkoristili pri vsakem koraku. Zato posamezni členi funkcij izgube morda ne nagrajujejo pravilnih stvari ustrezno.
u279 1:27:02 Lokalno je torej prisoten šum. Učenje pravilnega vedenja pa je pojav, ki temelji na dolgem roku. To ni najbolje. Afshin je pred nekaj minutami omenil, da je bila prednost v formuli GRPO dejansko
u280 1:27:23 zapisana kot funkcija T. Predpostavimo, da ne sledimo običajni praksi nadzora na podlagi izida. Recimo, da uporabljate metodologijo nadzora procesa in sledite tej poti. Kot smo omenili, potrebujete namensko označevanje, da so te prednosti na ravni žetonov smiselne.
u281 1:27:47 Če pogledate članek, to razdelijo na raven korakov, kar je tukaj res smiselno. Vsakega morate torej označiti posebej. Lahko pa bi trdili, da je pri vsakem koraku podobno dvoumno, kaj natančno gre
1:28:03 · What we're missing out on: reasoning paths to answers · A Stanford lecture slide poses the prompt "Teddy is in a sealed box. The box moves to the kitchen. Where is Teddy?" and tabulates four sampled outputs, each with two reasoning steps. Steps are shaded green (correct) or red (flawed). The final answers show that flawed reasoning can still reach the right answer (o2 gives Kitchen), so the answer alone hides reasoning quality. A small inset shows the speaker standing by a blackboard.
u282 1:28:09 v njem narobe. Recimo, da govorite o Teddyju, ki dela v kuhinji. Je težava v tem, da Teddy dela, ali v tem, da gre v kuhinjo? To je lahko rekurziven problem vse do ravni žetonov. Na koncu bi torej morali označevati žetone.
u283 1:28:31 Model, ki nagrajuje vsak žeton, pa je lahko težko naučiti. Kot smo omenili, smo se od PPO odmaknili tudi zato, da se izognemo vzdrževanju uteži več modelov za učenje. Tega torej ne želimo.
u284 1:28:51 Če povzamem koristi teh faz spodbujevalnega učenja, ki jih želimo ohraniti: želimo ohraniti del na lastni politiki. Radi se učimo iz izhodov obravnavanega modela. GRPO pa je imel slabost, da ni
u285 1:29:12 pripisoval zaslug vsakemu žetonu posebej, temveč celotnemu izidu, pri tem, kaj se iz tega naučimo, pa upamo na najboljše. Pravkar smo omenili, da za rešitev tega ne želimo učiti dodatnega modela. Zato sem zapisal predlog, kako bi to lahko odpravili. Pri učenju na lastni politiki nas običajno zanimajo
u286 1:29:38 lastne generacije modela. To je torej določeno. En predlog glede izgube je učenje napovedovanja naslednjega žetona. Ker pa je omejitev, da ni dodatnega učenja, bi morda lahko poiskali kakšne močne modele
u287 1:29:58 in videli, kaj se lahko od njih naučimo. Zato vas želim nekaj vprašati. Govoril sem o napovedovanju naslednjega žetona in modelu, ki je močnejši od obravnavanega. Vam pride na misel kakšen koncept, ki bi bil tukaj lahko zanimiv?
u288 1:30:21 Ja? [NERAZLOČNO] Ja, komentar je destilacija. Natanko tako, saj gre pri destilaciji za napovedovanje naslednjega žetona, za prenos informacij iz enega modela v drugega. Da, točno tako. Vendar ne takšne vrste, kot jo morda poznate. Gre za novo. Pred tem bom na hitro povzel izgubo,
1:30:37 · KL divergence formula on a Stanford lecture slide · A lecture slide titled "KL divergence" shows the discrete formula KL(P||Q) = sum over i of p_i log(p_i/q_i). The rest of the slide is blank. A small inset in the top right shows a person standing in front of a chalkboard. Stanford University and ICME branding appear on the slide.
u289 1:30:44 ki jo uporabljamo za primerjavo porazdelitev napovedi naslednjega žetona in ki nas bo zanimala, torej divergenco KL. Želel sem jo predstaviti zelo preprosto. Kot veste, ta funkcija izgube ni simetrična. Divergenca KL med P in Q ni enaka
u290 1:31:06 tisti med Q in P. Če želite intuitivno razumeti, kaj to pomeni, poglejte vsoto: vidite, da seštevanje temelji na utežeh verjetnostne porazdelitve prvega argumenta.
u291 1:31:24 Predpostavljate torej, da svetu vlada ta verjetnostna porazdelitev. Nato imate vsoto logaritmov razmerij, ki se pretvori v kazen, kadar se verjetnostne uteži obeh razlikujejo. Predlagam takšno razlago: KL od P in Q
u292 1:31:51 pomeni, kako slabo je v svetu, ki mu vlada P, približevati s Q? Pri destilaciji običajno svetu vlada model učitelja. T bi bil torej prvi argument, učenec pa drugi.
u293 1:32:09 Tukaj pa sem rekel, da želimo delati na lastni politiki učenca. Naravna formulacija zato ni divergenca KL med T in S, temveč obratno. Temu pravimo obratna divergenca KL.
u294 1:32:29 Ima nekaj zanimivih lastnosti. Ko pogledate vsoto ter porazdelitvi učenca in učitelja, vidite, da kadar T ni enak 0, S pa je blizu 0,
u295 1:32:52 prispevki teh členov k vsoti niso tako veliki. Pravimo torej, da dopuščajo ta neskladja med porazdelitvama. Po drugi strani pa, če je ti za določen člen majhen, SI pa neničeln, boste
u296 1:33:17 dobili zelo veliko razmerje. To pa je povezano z neničelno utežjo. Zato dobite ogromen člen. Te zadnje točke skupaj z arhitekturo tipičnega modela učenca, ki nima toliko prostostnih stopenj
u297 1:33:39 kot učiteljev, povzročijo iskanje modusov, kar pomeni, da se bo učenec naučil vrhov v učiteljevi porazdelitvi. Je bilo to razumljivo, zakaj uporabljamo obratno divergenco KL?
u298 1:34:01 Sprašujem zato, ker so v izvirnem članku uporabili kombinacijo obeh, čeprav ljudje danes uporabljajo to. Zato mislim, da ni samoumevno, da je ta očitno boljša, ampak-- Zdaj se vrnimo k najljubšemu primeru in uporabimo ta način merjenja izgube na podlagi
u299 1:34:21 porazdelitev učenca in učitelja. Pri destilaciji na lastni politiki želimo, da učenec na podlagi pozivnega besedila ustvari celoten odgovor. Nato učitelja na podlagi standardnega konteksta vprašamo, kako smiseln se mu zdi žeton, ki ga je ustvaril učenec.
u300 1:34:42 To vprašanje postavimo pri vsakem novem ustvarjenem žetonu. Recimo, da imate pozivno besedilo z nalogo o Teddyju v zaprti škatli. Vprašate, kje je Teddy. Recimo, da se stavek začne s Teddy. Učitelju se Teddy zdi smiseln.
u301 1:35:01 Tudi jaz bi ustvaril Teddy. Nato pa učenec reče: Teddy pleza. Učitelj bi rekel: počakaj. Pleza ni žeton z veliko verjetnostjo v moji porazdelitvi. To bi torej učitelj tukaj kaznoval in to bi kaznovala obratna divergenca KL in tako
u302 1:35:23 naprej. Vidite kaj, kar tukaj ni kaznovano in vas v tem primeru preseneča? V tem poenostavljenem primeru je kaznovano tisto, kar je rdeče. Ja? [NERAZLOČNO] Predlog je torej delo. Zakaj v O2 tudi »dela« ni kaznovano? Imate za to razlago?
1:35:23 · On-policy distillation: sampled reasoning outputs for a Teddy puzzle · A Stanford lecture slide on on-policy distillation shows a prompt, "Teddy is in a sealed box. The box moves to the kitchen. Where is Teddy?", and four sampled model outputs (o1–o4) broken into two reasoning steps and a final answer. Outputs o1 and o2 answer "Kitchen", while o3 and o4 answer "Room". The words where reasoning goes wrong (climbs, stays) are highlighted in pink, so the slide shows how errors appear at specific steps. A small video inset shows a presenter standing at the top right.
u303 1:35:45 Ali pa se vam zdi smiselno, da ni kaznovano? Ja? [NERAZLOČNO] Ja, intuicija je odlična. Odgovor je bil, da učitelj morda plišastega medvedka razume kot človeka. Kot smo rekli, ko ustvarite naslednji žeton, vsi prej ustvarjeni žetoni postanejo del konteksta.
u304 1:36:07 Recimo, da ste model učitelja. Zdaj je v vašem kontekstu, da Teddy lahko počne stvari, kot je plezanje. Potem je hoja lahko med možnostmi. To torej ni nekaj zelo presenetljivega. To je zanimiva lastnost. In ja, to je vse, kar sem tukaj želel povedati.
u305 1:36:31 Pri destilaciji na lastni politiki torej vidimo gost nadzorni signal, ker prihaja na ravni žetonov namesto na ravni izida. In v nasprotju s SFT, kot pove ime, poteka na lastni politiki, kar pomeni, da model učite,
u306 1:36:54 da postane boljši glede na lastne celotne odgovore. V praksi to daje odlične rezultate. Če greste še dlje, vidite, da pri enaki količini računanja s to metodo dobite več za svoj denar. Poleg tega je primernejša za okoliščine z omejenim številom parametrov.
u307 1:37:20 Thinking Machine ima odlično objavo na blogu z nekaj preprostimi ablacijskimi študijami. Če se na primer poigrate z rangom uteži, ki jih želite prilagajati, ter najprej izvedete SFT in nato destilacijo na lastni politiki, vidite, da se razlika v uspešnosti, ki jo
u308 1:37:42 dobite po SFT, po destilaciji na lastni politiki močno zmanjša. To kaže, da metoda odlično deluje ob omejenih računskih virih. V redu, odlično.
u309 1:38:01 Ker ni modela nagrajevanja, tudi ni ničesar, kar bi lahko izigrali. Če pa bi bilo kaj mogoče izigrati, bi to z veseljem sprejeli. Če namreč destilacija na lastni politiki želi izgubo zmanjšati na 0, se uskladite z učiteljevo porazdelitvijo, kar je dober skrajni primer. To je odlično.
u310 1:38:21 Toda ko rečem, da potrebujemo model učitelja, ga morate najprej imeti. Recimo, da učite model: potrebujete ga. Če učite najsodobnejši model, ste morda najboljši in ni nikogar, ki bi vas lahko učil. Druga stvar pa je, da v nasprotju z GRPO,
u311 1:38:46 kjer so signal za posodobitve resnične oznake, zdaj sebe primerjate z izhodno porazdelitvijo modela učitelja. Ta morda ni popolna, niti ne pokriva v celoti področij,
u312 1:39:05 ki vas zanimajo. Zato je lahko tudi to omejitev. Je razumljivo? V redu, odlično. Zdaj bom vsako od teh omejitev pogledal podrobneje. Vidite način, kako bi se lahko izognili potrebi po učitelju?
u313 1:39:27 Vem, da ni očitno, ampak ko boste to videli, bo zvenelo čarobno. Spomniti se morate samo, da se vse,
1:39:32 · Extension: self-distillation with a hinted teacher · A Stanford lecture slide proposing self-distillation: the same student model acts as its own teacher, but is given a hint. An example prompt about Teddy in a sealed box is paired with a hint that gives the reasoning and then says "Now solve it yourself:". A small inset shows the presenter standing in front of a chalkboard.
u314 1:39:32 Različice s samodestilacijo (OPSD) in več učitelji (OPD)
u315 1:39:35 kar vnašate, da dobite izhodne porazdelitve, izvaja s prisiljevanjem z učiteljem. Pri Afshinovi sliki, mislim, da tukaj med generiranjem in učenjem, bi bili na desni strani: ko ustvarite žetone z modelom učenca,
u316 1:39:56 vse, torej pozivna besedila in žetone modela učenca, vnesete kot vhod učitelju. Nato pogledate izhodno napoved naslednjega žetona modela učitelja. Nič vam torej ne preprečuje, da v pozivno besedilo dodate stvari, ki bi potencialnemu učitelju pomagale,
u317 1:40:17 vključno z odgovorom in vsem, kar vodi do njega. To naredi članek o samodestilaciji. Imate pozivno besedilo. Nato imate popoln odgovor. Model prosite, naj še enkrat poda odgovor. To je le prijem, s katerim dobite te lepe verjetnostne
u318 1:40:39 porazdelitve, pripravljene za primerjavo z učencem. Lepo pri tem je, da lahko to naredite z istim modelom. Je videti čarobno? Ja? Ja, vem, videti je odlično. V redu.
u319 1:40:55 Druga stvar, ki smo jo omenili, je-- o, ja, je bilo vprašanje? [NERAZLOČNO] Če povzamem, vprašanje je, kdaj bi imeli največ koristi od destilacije na lastni politiki. Da, prav imate: če ste najboljši model, boste morda
u320 1:41:13 od te metode imeli manj koristi. Morda pa bi destilacijo na lastni politiki uporabljali za druge potrebe. Članek GLM 5, ki smo ga videli prejšnji teden, je primer uporabe za zagotavljanje, da ne izgubite znanja, ki ste ga pridobili v preteklosti,
u321 1:41:34 torej bi sami sebe destilirali na prej pridobljenem znanju. Vendar imate prav. Običajno bi to uporabili pri hitrejših modelih svoje serije. Recimo, da imate laboratorij za najsodobnejše modele. Imate model pro in model flash. Morda bi destilacijo na lastni politiki
u322 1:41:52 uporabili pri seriji flash. Pri seriji pro pa bi morda bolj temeljili na GRPO in teh osnovnih tehnikah, ki potrebujejo več računskih virov, a temeljijo na trdnih oznakah. Hvala.
u323 1:42:09 Ja. Odlično. Zadnja stvar, ki sem jo želel omeniti, je, da vas lahko omejujejo učiteljeve sposobnosti. En pristop je, da vzamete model in uporabite preverljive nagrade na različnih področjih.
1:42:11
u324 1:42:30 Nato imate strokovnjake za vsako področje. Ko želite izvajati destilacijo na lastni politiki, jo izvajate glede na strokovnjaka za to področje. Zato v igro vstopi destilacija na lastni politiki z več učitelji.
u325 1:42:47 Je zdaj za koga presenečenje, da tukaj potrebujemo več učiteljev, ne le enega? Empirično lahko pri takšnem naknadnem spodbujevalnem učenju z enim samim pride do pozabljanja, dani nabor parametrov pa lahko uporabljate
u326 1:43:06 za več ciljev. Ta metoda se je torej izkazala za učinkovitejšo. V redu. Odlično. In s tem vam želim lep konec tedna. [APLAVZ]