Izbor

youtube · talk · 2026-10-15 · Stanford Online

3. predavanje: Učenje velikih jezikovnih modelov

Izvirni naslov vira: Stanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 3 – Učenje velikih jezikovnih modelov

Učenje velikih jezikovnih modelov poteka od predhodnega učenja napovedovanja naslednjega žetona, ki daje večkrat uporabno osnovo, prek usmerjenega vmesnega učenja, nadzorovanega prilagajanja navodilom in usklajevanja s preferencami do učenja sklepanja. RLHF, DPO, preverljive nagrade in destilacija na podlagi lastnih izhodov modela ponujajo različne načine za izboljšanje vedenja in zmožnosti, pri čemer ostajajo ključne omejitve kakovost podatkov, računski stroški in ohranjanje zmožnosti.

Izbira: Claude desk (agent umetne inteligence)

Video1 vir

Kako stojijo trditve
  • Potrjeno pri drugem viru: 2
  • Le tu: 47

Kaj pravi

  1. Pri predhodnem učenju se veliki jezikovni modeli z napovedovanjem naslednjega žetona učijo večkrat uporabnih jezikovnih vzorcev, pri čemer uporabljajo vsiljevanje pravilnih predhodnih žetonov, vzročno maskiranje in izgubo na podlagi križne entropije. Na uspešnost vplivata kakovost podatkov in izbira njihove mešanice. Vmesno učenje dodaja kakovostnejše podatke, usklajene z nalogami, in podaljšuje kontekst, za kar so potrebne prilagoditve kodiranja položaja ter primeri z dejanskimi odvisnostmi med oddaljenimi deli. Nadzorovano dodatno učenje s pari vhodov in izhodov uči sledenje navodilom, izguba pa se računa na žetonih odgovora; LoRA zmanjšuje stroške prilagajanja s posodobitvami uteži nizkega ranga. Prilagajanje preferencam uči, katerim odgovorom dajati prednost in katerim se izogibati. RLHF se iz preferenc nauči modela nagrajevanja, nato pa veliki jezikovni model optimizira glede na ta zamrznjeni model, pri čemer omejuje odmik od referenčnega modela, da bi zmanjšal izigravanje nagrajevanja. DPO se namesto tega uči neposredno iz fiksnih parov preferenc, brez ločenega modela nagrajevanja. Učenje sklepanja uporablja preverljive nagrade, GRPO pa primerja odgovore na isti poziv. Destilacija na podlagi lastnih izhodov modela zagotavlja podrobne povratne informacije učiteljskega modela za zaporedja, ki jih ustvari učenčev model. GLM-5 ponazarja te stopnje, vključno z učenjem za dolg kontekst in ločenimi fazami spodbujevalnega učenja. Tveganja kolapsa modela poudarjajo pomen skrbnega izbora in urejanja podatkov, destilacija med stopnjami pa pomaga ohranjati zmožnosti, ki bi se lahko med poznejšim učenjem izgubile.
  2. Predavanje navaja, da je članek Chinchilla priporočil približno 20 učnih žetonov na parameter modela in ugotovil, da so bile številne povečane arhitekture premalo naučene. u6–7 · Razmerje je predstavljeno kot okvirna smernica za računsko optimalno učenje.
    Recap slide: LLM scaling laws from Kaplan and Hoffmann
  3. Mera bitov na bajt preračuna križno entropijo, povprečeno po žetonih, tako, da jo pomnoži s številom žetonov, deljenim s številom vhodnih bajtov, in z 1/log(2). u47–51 · Predavanje to normalizacijo uvede za primerjavo izgub modelov z različnimi razčlenjevalniki v žetone.
  4. Predavanje navaja raziskavo, v kateri je do štirikratno ponavljanje učnih podatkov izboljšalo uspešnost v razmerah z omejeno količino podatkov. u59–61 · Rezultat je predstavljen za fiksno razpoložljivo količino učnih žetonov, ne kot splošno pravilo o ponavljanju brez omejitev.
    Pretraining overview: data mixtures and the DataComp-LM pipeline
  5. DataComp-LM ohranja arhitekturni vidik modela pri učenju pod nadzorom, da bi ločeno ugotovil vpliv kakovosti podatkovne zbirke na uspešnost. u62–64 ·
    Pretraining overview: choosing data mixtures via RegMix regression
  6. Predavatelj navaja, da je bil model GLM-5 z odprtimi utežmi naučen na 30 bilijonih žetonov. u68 · Podatek ponazarja infrastrukturne zahteve obsežnega predhodnega učenja.
  7. Predavatelj navaja 30. april 2026 kot presečni datum učnih podatkov za GPT-6 Astra. u96–98 · Primer ponazarja trditev predavanja, da model iz svojih prvotnih učnih podatkov ne pridobi znanja o poznejših dogodkih.
  8. V opisanem postopku prilagajanja navodilom izguba kaznuje napovedi žetonov odgovora, ne pa napovedi žetonov podanega poziva. u113–119 · Vsaka napoved žetona odgovora je pogojena s pozivom in doslej dekodiranimi žetoni odgovora.
  9. Predavanje za ozek primer uporabe predlaga stotine ali tisoče primerov za SFT, za vedenje pomočnika pri številnih nalogah pa potencialno milijone. u116–118 · To so ponazoritvene velikosti podatkovnih zbirk, pri čemer so enota primeri, ne žetoni za predhodno učenje.
  10. Formulacija Bradley-Terry modelira verjetnost, da ima odgovor y_i prednost pred odgovorom y_j, kot σ(r_i − r_j), pri čemer sta r_i in r_j njuni nagradi. u176–178 ·
    Reward modeling with the Bradley-Terry formulation
  11. Parna izguba modela nagrajevanja minimizira negativni logaritem sigmoidne funkcije razlike med nagrado zmagovalnega in nagrado poraženega odgovora, povprečen po podatkih o preferencah. u187–190 ·
  12. Model nagrajevanja lahko uporablja osnovo velikega jezikovnega modela s klasifikacijsko glavo na predstavitvi zadnjega vhodnega žetona ali arhitekturo, sestavljeno samo iz kodirnika. u190–194 ·
    Step 1: Reward modeling data for RLHF
  13. Žetoni sklepanja štejejo kot izhod modela, uporabnikom obravnavanih storitev sklepanja pa se zaračuna tako skrito sklepanje kot vidni odgovor. u246–248 · Afshine na to opozori kot na dejavnik pri načrtovanju stroškov.
  14. Shervine navaja, da je predhodno učenje GLM-5 uporabljalo kontekst dolžine približno 4,000 žetonov, pri čemer je bil sprva poudarek na spletnih podatkih, pozneje pa so dodali več podatkov za programiranje in sklepanje. u290–292 · Opis je predstavljen kot pregled tehničnega poročila o GLM-5.
  15. Primer vmesnega učenja GLM-5 uporablja pakiranje po načelu najboljšega prileganja, da dokumenti ostanejo celi, neizkoriščeni prostor pa zapolni z dopolnilnimi žetoni, namesto da bi dokumente poljubno rezal na odseke. Spremljajoči prikaz kaže dolžine konteksta od 32K do 200K žetonov. u307–308 · Razpon dolžin konteksta je prikazan na prosojnici; učenje še vedno temelji na napovedovanju naslednjega žetona.
    Midtraining best-fit packing of sequences for an LLM
  16. Shervine navaja, da GLM-5 deli spodbujevalno učenje na spodbujevalno učenje sklepanja za preverljive probleme, agentsko spodbujevalno učenje za naloge v izvajalnem ogrodju in splošno spodbujevalno učenje za širše vidike kakovosti odgovorov. u314–317 · Primeri vključujejo matematična tekmovanja, odpravljanje napak, preverjeno s testi, in čustveno inteligenco.
    Post-training RL stages: reasoning, agentic, general
  17. Majhne nadomestne modele učite na različnih mešanicah podatkov in iz njihove uspešnosti sklepajte, katera mešanica je obetavna za učenje v večjem obsegu. u64–65 ·
    Pretraining overview: choosing data mixtures via RegMix regression
  18. Metode za razširitev RoPE, kot je YaRN, prilagodijo frekvence tako, da razlike med položaji v dolgih kontekstih padejo v razpone, s katerimi se je model srečal med učenjem na kratkih kontekstih. u81–85 · Namen prilagoditve je olajšati učenje odnosov v daljših kontekstih.
  19. Predavatelj priporoča uporabo LoRA tako za matrike mrež s povezavami naprej kot za matrike samopozornosti, pri čemer navaja izboljšanje uspešnosti zaradi prilagajanja delov, v katerih je velik delež parametrov modela. u137–139 ·
    Stanford lecture on Transformers and Large Language Models
  20. Pri specializirani nalogi, ki se pogosto ponavlja, lahko enkratna posodobitev z dodatnim učenjem nadomesti dolg poziv, ki modelu vsakič znova naroča, kako naj se vede. u147–149 · Predavatelj to predstavlja kot možnost za uporabnike, ki jih skrbijo stroški, pri čemer je primernost odvisna od primera uporabe.
  21. Ob nepričakovanem vedenju LLM je treba pregledati podatke za SFT in preveriti, ali so bili učni primeri in njihova kakovost res takšni, kot je bilo predvideno. u159–161 ·
  22. Kadar ločen učitelj ni na voljo, lahko samodestilacija na lastnih izhodih kot učitelja uporabi isti model, ki mu pri tem poda pravilen odgovor. u274–275 ·
  23. Učenje na dolgih kontekstih lahko težavo slabšanja uporabe konteksta naslovi tako, da v sredino sintetičnega gradiva vstavi dejstvo in od modela zahteva, da se pozneje nanj znova opre. u305–306 · Predlagana vaja je usmerjena v težave s pomnjenjem predhodnih dejstev v dolgih kontekstih.
  24. Vsiljevanje pravilnih predhodnih žetonov omogoča vzporedno učenje napovedovanja naslednjega žetona, saj zagotovi prave predhodne žetone ne glede na napovedi modela, maskirana samopozornost pa modelu preprečuje vpogled v prihodnje žetone. u24–32 · Med učenjem ni treba zaporedno ustvariti vsakega predhodnega žetona, preden model napove naslednjega.
    Stanford lecture on LLM pretraining with teacher forcing
  25. Križna entropija pri napovedovanju naslednjega žetona izhaja iz maksimiranja verjetnosti učnega zaporedja: verjetnost zaporedja razstavimo na produkt pogojnih verjetnosti, logaritmiramo, spremenimo predznak in izračunamo povprečje po žetonih. u37–46 · Z logaritmiranjem se izognemo numerični nestabilnosti pri množenju številnih verjetnosti, s povprečenjem pa odpravimo odvisnost od dolžine zaporedja.
    Lecture on LLM pretraining and teacher forcing at Stanford
    LLM pretraining via teacher forcing: next-token cross-entropy loss
  26. To, da RoPE nima naučenih parametrov, ne zagotavlja zanesljive ekstrapolacije na dolge kontekste: model, naučen samo na kratkih zaporedjih, se ni srečal z rotacijami, povezanimi z daljšimi zaporedji. u78–80 · Učenje z dolgim kontekstom model izpostavi položajnim razmerjem, ki jih pri učenju s kratkim kontekstom ni.
    Long context training: extending RoPE with YaRN
  27. Prednaučen LLM lahko vprašanje nadaljuje, namesto da bi nanj odgovoril, ker se je s svojim učnim ciljem naučil nadaljevanja besedila, ne pa vedenja pomočnika. u99–102 · Primer s pranjem plišastega medvedka utemeljuje potrebo po ločeni fazi prilagajanja vedenja.
  28. LoRA prihrani prostor za shranjevanje pri specializiranih nalogah, ker lahko vse naloge uporabljajo iste prednaučene uteži, za vsako nalogo pa se shranijo le njene majhne matrike posodobitev. u135–137 · Pri ločenih, v celoti dodatno naučenih modelih bi bilo treba za vsako nalogo shraniti vse uteži modela.
  29. Ljudje lažje podajajo preference med pari odgovorov kot absolutne ocene kakovosti, saj je primerjati dva odgovora preprosteje kot presoditi, kako dober je posamezen odgovor na absolutni lestvici. u157–158 · Preprostost primerjanja je razlog za zbiranje parov s podatkom o prednostnem odgovoru.
  30. Afshine navaja dva razloga, zakaj ponudniki varujejo verige sklepanja: te lahko razkrijejo informacije iz pogovorov uporabnikov, konkurenti pa bi lahko kakovostne verige uporabili za učenje drugih modelov. u241–245 · Afshine te pomisleke povezuje s tem, da vmesniki razkrivajo manj sklepanja kot prej.
    Enhancing model reasoning abilities: the standard question-to-answer LLM flow
  31. GRPO za poziv ustvari več odgovorov in kot prednost vsakega uporabi njegovo uspešnost glede na skupino. Učenje daje prednost odgovorom z višjo prednostjo, hkrati pa kaznuje odmik od referenčnega modela. u256–260 · V opisani ureditvi s preverljivimi nagradami GRPO ne potrebuje naučenega modela nagrajevanja.
  32. Shervine tveganje kolapsa modela pojasnjuje s kopičenjem sprememb porazdelitve: končni vzorci izpustijo redke podatke človeškega izvora, modeli nepopolno približajo porazdelitev vzorčenih podatkov, prilagajanje na podlagi preferenc pa daje preveliko težo določenim jezikovnim vzorcem. u296–301 · Zaradi teh učinkov je skrbno urejanje podatkov pomembno, kadar učni korpusi vključujejo besedilo, ki so ga ustvarili modeli.
  33. Končna medstopenjska destilacija modela GLM-5 na lastnih izhodih uporablja učitelje iz zgodnejših kontrolnih točk, da ohrani zmožnosti, ki so se pri poznejšem učenju morda izgubile. u319–320 · Kontrolne točke učiteljev so vzete po SFT in po prvi fazi RL.
  34. Predhodno učenje velikih jezikovnih modelov je obsežna stopnja učenja jezikovnih vzorcev, ki daje večkrat uporabno osnovo; predhodno naučeni model je nato mogoče specializirati za posamezne naloge, namesto da bi ga vsakič učili od začetka. u14–18 ·
    Paradigm shift: from traditional ML to transfer learning
  35. Vmesno učenje dodaja kakovostnejše podatke, usklajene z nalogami, pri tem pa ohranja napovedovanje naslednjega žetona; SFT nasprotno uporablja izrecne pare vhodov in izhodov za usmerjanje vedenja modela. u110–114 ·
  36. LoRA zmanjšuje število učljivih parametrov tako, da posodobitve predhodno naučenih matrik uteži izrazi z matrikami nizkega ranga, pri čemer dosega približno primerljivo uspešnost, odvisno od naloge in velikosti podatkovne zbirke. u131–134 ·
  37. Prilagajanje preferencam dodaja negativne signale, ki jih predhodno učenje in nadzorovano dodatno učenje ne zagotavljata izrecno, zato se lahko veliki jezikovni model nauči, katerim odgovorom ljudje dajejo prednost in katerim odgovorom se je treba izogibati. u151–156 ·
    Preference tuning: collecting preference pairs to train LLMs
  38. RLHF se najprej iz človeških preferenc nauči modela nagrajevanja, nato pa ta model ohranja zamrznjen, medtem ko posodablja veliki jezikovni model, da bi dosegal višje nagrade, ne da bi se preveč oddaljil od svojega referenčnega modela. u197–204 ·

    1 vir

    Pravijo tudi

  39. DPO učenje iz preferenc pretvori v nadzorovano ciljno funkcijo brez ločeno naučenega modela nagrajevanja. Njegova izguba spodbuja višje verjetnosti za prednostne odgovore in nižje verjetnosti za manj zaželene odgovore glede na referenčni model. u210–214 ·
    Direct Preference Optimization (DPO) loss function slide
  40. Učenje sklepanja lahko namesto naučenega modela nagrajevanja na podlagi preferenc uporablja preverljive nagrade: programske rešitve je mogoče preizkusiti, matematične odgovore pa primerjati s pravilnimi referenčnimi odgovori. Nagrada, predlagana v predavanju, preverja tudi, ali izhod vsebuje verigo sklepanja. u250–254 ·
    Reasoning-based benchmarks: coding problem and solution
    GRPO used for reasoning training (Stanford lecture slide)
  41. Destilacija na podlagi lastnih izhodov modela združuje odgovore, ki jih ustvari učenčev model, s povratnimi informacijami učiteljskega modela na ravni žetonov. Učenje kaznuje razlike med napovedmi učiteljskega in učenčevega modela vzdolž zaporedja, ki ga je ustvaril učenčev model. u270–273 ·
    Combining both worlds with on-policy distillation (lecture slide)

    1 vir

    Pravijo tudi

  42. Učiteljsko vsiljevanje povzroča neskladje med učenjem in izvajanjem: pri učenju model dobi pravilne predhodne žetone, med izvajanjem pa uporablja žetone, ki jih je ustvaril sam. u27–29 · Predavatelj prizna obstoj težave, obravnavo metod za njeno reševanje pa odloži.
    Stanford lecture on LLM pretraining with teacher forcing
  43. Učenje na dolgih kontekstih zahteva tako bistveno več računanja pozornosti kot primere, pri katerih je napoved žetona resnično odvisna od oddaljenih informacij. u91–94 · Računska zahtevnost samopozornosti narašča kvadratno z dolžino zaporedja, ustrezne učne primere z odvisnostmi na dolge razdalje pa je težko pridobiti.
    Challenges slide: cost of large-scale model training
  44. SFT zahteva izjemno dobre primere vedenja in ustrezno porazdelitev pozivov, saj model tesno posnema učne podatke in lahko postane pristranski v korist preveč zastopanih vzorcev odgovorov. u125–126 · Dodatna izziva ostajata posploševanje in vrednotenje.
  45. Maksimiziranje naučene nagrade lahko privede do izigravanja nagrajevanja: LLM lahko zadovolji nepopoln model nagrajevanja, ne da bi se vedel tako, kot si ljudje dejansko želijo. u202–206 · Kaznovanje odstopanja od referenčnega modela omejuje, kako daleč lahko optimizacija nagrade odmakne LLM.
  46. DPO omogoča preprostejše nadzorovano učenje, vendar se uči na nespremenljivih odgovorih, ki ne izvirajo nujno iz trenutnega LLM. RLHF je kompleksnejši in lahko računsko zahteven, vendar uporablja odgovore, ki jih LLM dejansko ustvari. u223–226 · Afshine to razliko označi kot učenje na lastnih izhodih v nasprotju z učenjem na izhodih druge politike.
  47. Nagrade za pravilnost na ravni zaporedja dajejo le grobo povratno informacijo o lastnih izhodih modela, medtem ko običajno nadzorovanje na ravni žetonov daje gosto povratno informacijo, vendar uporablja zaporedja, ki jih model ni ustvaril sam. u265–269 · Ta kompromis je razlog za destilacijo na lastnih izhodih.
    On-policy distillation: teacher per-token probabilities on student trajectory
  48. Poročila o modelih z odprtimi utežmi lahko razkrijejo precej podrobnosti o učenju, ne da bi v celoti razkrila recept za sestavo podatkov. Shervine opozarja, da je domnevna destilacija iz modelov drugih ponudnikov lahko del mešanice podatkov, ne da bi bila omenjena v tehničnem poročilu. u321–322 · Shervine trditve o destilaciji izrecno označi za domneve, ne za potrjena dejstva.
  49. Za razvoj zmogljivih in koristnih velikih jezikovnih modelov je potrebno večstopenjsko učenje, ki združuje večkrat uporabno osnovo napovedovanja naslednjega žetona z nadzorovanim usmerjanjem vedenja, nagradami na podlagi preferenc ali preverjanja ter destilacijo, ob skrbnem izboru in urejanju podatkov ter ohranjanju zmožnosti. Kako stopnje in ciljne funkcije učenja velikih jezikovnih modelov napovedovalnik naslednjega žetona spremenijo v koristen model s specializiranimi zmožnostmi, zmožnostmi obdelave dolgega konteksta in sklepanja?
Kako utemeljuje
  1. thesis Staged training builds helpful LLMs while preserving capabilities How do the stages and objectives of LLM training turn a next-token predictor into a helpful model with specialized, long-context, and reasoning capabilities?
    1. theme Learning reusable foundations requires curated data Next-token learning creates reusable models, but training efficiency and reliability depend on data quantity, mixture, and provenance.
      1. idea Pretraining creates reusable foundations for specialization
        1. mechanism Sequence likelihood yields next-token cross-entropy
          1. mechanism Teacher forcing enables parallel, causally masked training
            1. tension Correct training prefixes differ from generated inference prefixes
      2. idea Chinchilla recommends roughly twenty tokens per parameter
      3. idea Limited data repetition can improve constrained training
      4. idea Small proxy models guide large-scale data mixtures
      5. idea Compounded distribution shifts risk model collapse
    2. theme Long context must be explicitly learned Reliable long-context behavior requires positional adaptation and training examples that genuinely demand distant information.
      1. idea Parameter-free RoPE does not guarantee context extrapolation
        1. action Adjust RoPE frequencies to reuse familiar positional ranges
      2. idea Long context demands computation and genuine distant dependencies
        1. action Plant facts requiring later retrieval across synthetic context
      3. example GLM-5 packs intact documents into extended training contexts
    3. theme Continuation must become assistant behavior Task-aligned training and carefully designed supervision specialize pretrained models, with low-rank updates reducing adaptation costs.
      1. idea Text continuation does not teach assistant behavior
        1. action Midtraining aligns data; SFT explicitly steers behavior
          1. mechanism Instruction tuning penalizes response tokens, not prompt tokens
          2. implication Broader assistant behavior requires more SFT examples
          3. tension Close imitation magnifies example quality and distribution biases
            1. action Audit SFT examples when unexpected behavior appears
          4. example GLM-5 shifts from web toward coding and reasoning
      2. idea Finetuning can replace repeatedly supplied behavioral instructions
      3. idea LoRA specializes models through low-rank weight updates
        1. implication Shared base weights reduce per-task storage
        2. action Adapt feedforward matrices as well as attention matrices
    4. theme Preferences teach what responses to avoid RLHF and DPO add comparative feedback through different optimization procedures, each with limitations.
      1. idea Preference tuning adds explicit negative behavioral signals
        1. argument Pairwise comparisons are easier than absolute quality ratings
        2. mechanism RLHF optimizes frozen rewards while constraining model drift
          1. mechanism Bradley-Terry converts reward differences into preference probabilities
            1. mechanism Pairwise loss favors higher rewards for winning responses
          2. example Reward models use LLM heads or encoder architectures
          3. tension Reward hacking exploits imperfect proxies for human preferences
        3. mechanism DPO learns preferences without a separate reward model
          1. tension DPO trades current-model responses for simpler supervised training
    5. theme Verifiable rewards train reasoning Automatically checked outcomes enable reasoning reinforcement learning, including group-relative optimization.
      1. idea Verifiable outcomes can replace learned reasoning rewards
        1. mechanism GRPO favors group-relative success while limiting model drift
      2. example GLM-5 separates reasoning, agentic, and general reinforcement learning
    6. theme Distillation improves feedback and preserves capabilities On-policy distillation supplies dense feedback on student-generated sequences and can recover capabilities lost during later training.
      1. tension Own-output rewards are coarse; conventional supervision is off-policy
        1. action Apply token-level teacher feedback to student-generated sequences
          1. example Answer-conditioned self-teaching substitutes for a separate teacher
          2. example Earlier-checkpoint teachers preserve capabilities lost during later training

Vir, odlomek za odlomkom

Stanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 3 – Učenje velikih jezikovnih modelov

Prepis, preveden z umetno inteligenco iz angleščine.

  1. u1 Uvod
  2. u2 Pozdravljeni vsi in dobrodošli na 3. predavanju pri CME 295. Danes je vznemirljiv dan, saj se bomo naučili, kako dejansko učiti velik jezikovni model tako, da bo usklajen z našim končnim ciljem. Pred tem pa bomo, kot vedno,
  3. u3 ponovili, kaj smo obravnavali zadnjič. Če se spomnite, smo zadnjič govorili o tem, kako bi lahko uporabili arhitekturo transformerja, ki smo jo spoznali na 1. predavanju, in zlasti preverili, ali lahko katero od njegovih komponent izkoristimo za kaj večjega.
  4. u4 Videli smo, da transformer sestavljata kodirnik in dekodirnik. Če odstranimo kodirniški del, lahko dobimo precej preprostejšo arhitekturo, ki problem preoblikuje v problem preslikave besedila v besedilo. Videli smo, da če takšno arhitekturo povečujemo
    Lecture recap slide on encoder-decoder models at Stanford
    0:47 · Lecture recap slide on encoder-decoder models at Stanford · A lecturer in a pink t-shirt and glasses stands in front of large chalkboards in a lecture hall, with a projected slide behind him. The slide, titled "Recap of last episode...", shows an encoder block and a decoder block. The encoder is labeled "Compute meaningful embeddings" and the decoder "Generate next token".
  5. u5 glede na število parametrov, torej velikost modela, in število žetonov, na katerih se model uči, dobivamo vse boljšo uspešnost. To so bili zakoni skaliranja, ki smo jih spoznali. Videli pa smo tudi, da imamo na voljo le omejeno količino računskih virov,
  6. u6 zato moramo pri dani količini računskih virov, če jih želimo kar najbolje izkoristiti, paziti, da modela ne učimo premalo. Zlasti članek Chinchilla je pokazal, da je pravzaprav, približno rečeno,
    Recap slide: LLM scaling laws from Kaplan and Hoffmann
    1:36 · Recap slide: LLM scaling laws from Kaplan and Hoffmann · A Stanford ICME lecture slide titled "Recap of last episode…" with a faded decoder-only diagram on the left (encoder crossed out, "Generate next token") and six scaling-law plots on the right. The top row shows test loss falling as a straight line on log-log axes with compute, dataset size and parameters. The bottom row shows compute-optimal training curves (Hoffmann et al.). A speaker stands in a small inset at top right.
  7. u7 za vsak parameter treba model učiti na 20 žetonih. Ugotovil je, da so bile številne povečane arhitekture dejansko premalo naučene. Ker večji modeli prinašajo boljšo uspešnost, smo se nato vprašali,
  8. u8 ali je aktiviranje vseh parametrov sploh koristno. Spoznali smo razred modelov, imenovan mešanica ekspertov, ki za posamezen prehod naprej izbere določene eksperte za aktiviranje. Videli smo, da lahko takšno arhitekturo
  9. u9 umestimo v nevronsko mrežo s povezavami naprej, kjer je potekala večina računanja. Spoznali smo še vrsto drugih metod, ki so od prve objave transformerja izboljšale uporabo arhitektur na njegovi osnovi.
  10. u10 Zlasti smo obravnavali položajne vložitve, ki jih je dejansko bolje vključiti v plast pozornosti. Spoznali smo RoPE. Spoznali smo še druge oblike pozornosti, ne globalne, temveč z drsečim oknom. Spoznali smo pozornost z združenimi poizvedbami kot način varčevanja pri ključih in vrednostih, ki jih moramo shraniti, da lahko
  11. u11 dekodiramo zaporedje. Spoznali smo tudi nekaj metod normalizacije. Tu smo končali 2. predavanje. Kot sem omenil, pa je to predavanje namenjeno temu, kako dejansko učiti velik jezikovni model.
  12. u12 Začeli bomo s prvim korakom, ki
  13. u13 Predhodno učenje
  14. u14 se imenuje predhodno učenje. Smisel tega koraka želim pojasniti s tem, kako so ljudje tradicionalno učili modele. Če bi ta predmet potekal pred morda 15 leti, bi modele učili za vsak primer uporabe posebej.
  15. u15 Če bi na primer želeli zaznavati neželeno pošto, bi imeli en model za zaznavanje neželene pošte, drug model za, denimo, prepoznavanje sentimenta, tretjega za prevajanje in tako naprej. Tu pa je zamisel, da znanje, pridobljeno v enem učenju, izkoristimo in ponovno uporabimo za druge primere uporabe.
  16. u16 To je znano tudi kot prenosno učenje. Zamisel je torej, da izvedemo enkratno obsežno tako imenovano predhodno učenje, pri katerem se model uči o jeziku, nato pa izhajamo iz tega, če ga želimo specializirati za določen primer uporabe.
    Paradigm shift: from traditional ML to transfer learning
    4:26 · Paradigm shift: from traditional ML to transfer learning · A Stanford ICME lecture slide titled "Paradigm shift". A faded line describes traditional ML as training a model from scratch for each task, while the highlighted line defines transfer learning as reusing a trained model to some capacity. Three stacked boxes (spam detection, sentiment extraction, translation) illustrate models for different tasks, with spam detection highlighted. A small video inset shows the lecturer standing at the top right.
  17. u17 To je torej zamisel. Želimo, da je prvi korak našega učnega procesa učenje o jeziku. Imenuje se predhodno učenje in o njem bomo še govorili. Druga stopnja pa je bolj namenjena prilagajanju za določen primer uporabe.
  18. u18 V prejšnjem primeru predpostavimo, da nimamo splošnonamenskega modela, temveč en velik predhodno naučen model. Ta model bi prilagodili za konkretno nalogo. Videli pa bomo, da so veliki jezikovni modeli dovolj splošni, da lahko rešujejo vrsto nalog,
  19. u19 ne da bi jih morali ponovno učiti, a o tem pozneje. Super. Kot sem omenil, je prvi korak namenjen učenju o jeziku. Želimo si torej ogledati veliko besedil, veliko programske kode, veliko ustvarjenih izhodov,
  20. u20 z vsega interneta. Običajno bi zbrali odlomke besedil v angleščini, pa tudi v drugih jezikih. Zbrali bi na primer programsko kodo v Pythonu in drugih jezikih, matematiko, znanost, karkoli. Model bi učili z napovedovanjem naslednjega žetona.
  21. u21 Natančno vam bom povedal, kako bi to delovalo. Predpostavimo, da imamo besedilo, na katerem želimo model predhodno naučiti. Nekaj besedila bi podali kot vhod in model prosili, naj napove naslednji žeton,
    Lecture on LLM pretraining at Stanford ICME
    6:22 · Lecture on LLM pretraining at Stanford ICME · A presenter in a pink t-shirt stands in a lecture hall, gesturing toward a projected slide titled "Pretraining overview" over large blackboards. The slide states the objective function is to predict the next token, illustrated with a sample passage about a teddy bear reading Persian poetry. The goal line above it appears faded, as if mid-animation.
  22. u22 nato pa ta postopek ponovili za vse žetone v besedilu. V tem primeru predpostavimo, da imamo to besedilo in ga razdelimo na žetone s svojim najljubšim razčlenjevalnikom. Tu je način razdelitve poljuben. Vzeli bi svoj veliki jezikovni model, ki, kot smo videli,
  23. u23 običajno temelji na arhitekturi samo z dekodirnikom, in vanj podali prvi žeton. Nato bi poskušali napovedati naslednjega. Na samem začetku naloge napovedovanja imamo le žeton za začetek zaporedja,
  24. u24 ki ga podamo modelu. Tu bi poskušali napovedati prvi žeton. Nato bi ta žeton podali kot vhod za napoved naslednjega in tako naprej. Pri predhodnem učenju tega pravzaprav ni treba izvajati zaporedno, saj je postopek
  25. u25 zelo primeren za vzporedno izvajanje. Dejansko bi celoten vhod podali modelu in za vse te vhode poskušali napovedati naslednji žeton. Torej je zelo primeren za vzporedno izvajanje.
  26. u26 Lahko si ga predstavljate kot ogromno množenje matrik, ki poteka v ozadju. Za to boste zasledili tudi izraz vsiljevanje učitelja, saj tu ne glede na to, kaj model napove — mimogrede, tudi tukaj velja enako.
  27. u27 Ne glede na napoved modela mu v naslednjem koraku kot vhod vedno podamo besedo, ki bi jo moral napovedati. Model torej prisilimo, da ob danem vhodu napove naslednji žeton iz tega besedila. Videli smo, da je to mogoče, ker —
  28. u28 o, imate vprašanje. Odlično vprašanje. Vprašanje je: če model z vsiljevanjem učitelja učite na določen način, pravzaprav ne dobiva tistega, kar sam ustvarja kot vhod. Torej obstaja neskladje med učenjem in sklepanjem. To je odlična pripomba.
    Stanford lecture on LLM pretraining with teacher forcing
    8:29 · Stanford lecture on LLM pretraining with teacher forcing · A presenter in a pink t-shirt stands in a lecture hall gesturing with both hands, in front of a projected slide titled "Pretraining is highly parallelizable via teacher forcing." The slide gives the objective as predicting the next token. It shows a masked self-attention matrix, a triangular yellow and purple grid, and an LLM box fed the input tokens [BOS], A, teddy, bear, is.
  29. u29 Pozneje bomo videli, kako lahko to rešimo. Zelo dobra pripomba. Spoznali bomo nekaj metod. Ja? Vprašanje je: če podate le začetek zaporedja, model nima informacij, torej ali podate poziv? Odgovor je: na tej stopnji ne.
  30. u30 Če modelu ne podate ničesar, se bo naučil začeti zaporedje z nečim, kar pač začne zaporedje. Naučil se bo žetonov, ki se verjetno pojavijo na začetku zaporedja. Toda vaša pripomba drži, informacij ni. Torej — ja.
  31. u31 Super. Dodati sem želel, da lahko to izvajamo vzporedno zaradi trika, ki smo ga, mislim, na kratko spoznali na 1. predavanju: maskirane samopozornosti, ki omogoča usmerjanje pozornosti le na žetone,
  32. u32 ki so pred trenutnim žetonom, in nanj samega. Z drugimi besedami, če želite napovedati naslednji žeton za »teddy«, lahko zaradi maskirane samopozornosti upoštevate le žeton »teddy« in vse predhodne žetone.
  33. u33 Odlično. Če to nekoliko formaliziramo: modelu podamo nekaj, kar si lahko predstavljate kot zaporedje žetonov do, denimo, t minus 1. Želimo, da model izračuna verjetnost naslednjega žetona
  34. u34 glede na vaš vhod.
  35. u35 Izguba navzkrižne entropije
  36. u36 Bolj formalno za to uporabimo izgubo navzkrižne entropije. Na prosojnici imam formulo, vendar jo bom izpeljal iz osnovnih načel. Kot pri običajnem učenju poskušamo določiti parametre theta tako,
    Pretraining parallelizable via teacher forcing: next-token prediction objective
    10:33 · Pretraining parallelizable via teacher forcing: next-token prediction objective · A Stanford ICME lecture slide titled "Pretraining is highly parallelizable via teacher forcing". It states the goal (learn patterns of language and code, greyed out) and the objective function (predict next token). A diagram shows the input x_<t entering a box labeled LLM, which outputs p_θ(x_t | x_<t). A small video inset shows the lecturer standing at the right.
  37. u37 da bo verjetnost, da naš model vidi učne podatke, največja. Verjetnost zaporedja si lahko predstavljate kot p žetonov, torej od x1 do xn. To verjetnost
  38. u38 poda model, zato je parametrizirana s theta. Želimo najti parametre theta, ki maksimirajo verjetnost, da model vidi učno množico. Cilj je torej maksimirati to količino.
  39. u39 Če se vrnemo k osnovam verjetnosti, lahko to zapišemo tudi drugače. Imamo p od x1 krat p od x2 pri danem x1 in tako naprej do p od, denimo, xn pri danih x1 do xn minus 1,
  40. u40 kar lahko zapišemo s tem produktom. Torej produkt za t od 1 do n vrednosti p theta od xt pri danem vhodu. To količino želimo maksimirati.
  41. u41 Težava pri maksimiranju produkta verjetnosti, ki so vsaka med 0 in 1, je, da produkt teži proti 0, kar lahko povzroči numerično nestabilnost. Zato običajno vzamemo logaritem te količine.
  42. u42 Naredil bom naslednje. Imamo — poglejmo — logaritem te količine. Torej preprosto vzamemo njen logaritem. To se pretvori v vsoto logaritmov verjetnosti.
  43. u43 To je lastnost logaritma. Nato želimo to količino maksimirati. Toda pri strojnem učenju radi stvari minimiziramo. Zato dejansko minimiramo negativno vrednost te količine. Poleg tega ne želimo, da bi bila njena velikost
  44. u44 odvisna od števila žetonov v zaporedju, zato jo delimo s številom žetonov. To je naša izguba in je funkcija parametrov theta.
    Lecture on LLM pretraining and teacher forcing at Stanford
    13:45 · Lecture on LLM pretraining and teacher forcing at Stanford · A lecturer in a pink shirt stands in a classroom, gesturing toward a projected slide titled "Pretraining is highly parallelizable via teacher forcing." The slide shows an LLM box that takes the previous tokens x<t as input and outputs p_θ(x_t | x<t), next to the cross-entropy loss formula. Partially erased handwritten derivations of the log-likelihood are on the chalkboard behind him.
  45. u45 Theta prihaja iz p theta, ki ga naš model poda v zadnji plasti. Vse to zato, da povem, da boste izgubo navzkrižne entropije srečali marsikje. Namesto da si formulo zapomnite, o njej razmišljajte iz osnovnih načel.
  46. u46 Preprosto iščete parametre theta, ki maksimirajo verjetnost, da model vidi učne podatke. V redu, super. Kot sem omenil, je p theta napovedana verjetnost, x je vaš ciljni žeton, x manj kot t pa so pretekli žetoni.
    LLM pretraining via teacher forcing: next-token cross-entropy loss
    14:31 · LLM pretraining via teacher forcing: next-token cross-entropy loss · A Stanford lecture slide explaining that pretraining is highly parallelizable via teacher forcing. The objective is to predict the next token. A box labeled LLM takes the preceding tokens x_<t and outputs p_θ(x_t | x_<t). The cross-entropy loss is the negative average of the log predicted probability over T positions. A small video inset shows a lecturer standing at the right.
  47. u47 Veliki T je število žetonov. Včasih boste videli še drugo izgubo, ki je pravzaprav ista izguba, le drugače skalirana, imenovano biti na bajt oziroma BPB. Zamisel je, da je pri izgubi navzkrižne entropije, ki sem jo pravkar
  48. u48 omenil, absolutna vrednost dejansko odvisna od vašega razčlenjevalnika na žetone. Glede na to, kako podatke razdelite na žetone, je lahko vrednost drugačna. Če torej želite primerjati izgubo med,
  49. u49 denimo, modelom z določeno vrsto razčlenjevalnika in drugim modelom z drugačno vrsto, vrednosti morda niso neposredno primerljive. Zato boste včasih videli izgubo izraženo neodvisno od razčlenjevalnika: vzamete to izgubo,
  50. u50 jo pomnožite s številom žetonov, deljenim s številom bajtov, in še z 1 deljeno z logaritmom 2, da jo lahko interpretirate kot bite. Od tod biti na bajt. Super, torej zdaj, ko vemo —
  51. u51 ja, imate vprašanje. Vprašanje je, kaj je B. B je število bajtov v vašem vhodu, saj lahko vsak znak kodiramo z bajti. Torej ja. Ja?
  52. u52 Vprašanje je: maskirano samopozornost uporabljamo, da ne moremo upoštevati nečesa v prihodnosti. Ali to velja le za dekodirnik ali tudi za kodirnik? V tem primeru nimamo kodirnika, le dekodirnik. Naš cilj je napovedati naslednji žeton. Poskrbeti moramo, da se pri njegovi napovedi
  53. u53 lahko opremo le na tisto, kar smo do takrat dekodirali, da posnemamo razmere pri sklepanju. Skratka, uporabljamo samo dekodirnik. Če bi uporabljali samo kodirnik, tega ne bi mogli početi tako. Žetonov ne bi mogli napovedovati enega za drugim, razen če naredimo nekaj drugega.
  54. u54 To bomo videli na 8. predavanju. Ja. V redu, super.
  55. u55 Mešanice podatkov
  56. u56 Zdaj vemo, kako lahko učimo model in katero izgubo uporabimo. Tu je izguba navzkrižne entropije. Naslednje vprašanje je, na kakšnih podatkih lahko model sploh učimo. Izbiri vrste učnih podatkov je namenjenega veliko truda.
  57. u57 Ti podatki lahko prihajajo s spleta, iz repozitorijev, s krajev, kjer je programska koda. V zadnjem času je poudarek na reševanju matematičnih in na splošno znanstvenih problemov. Zamisel je imeti velik korpus, na katerem se
  58. u58 model lahko uči jezikovnih vzorcev in vzorcev programske kode. Običajno je zelo obsežen. Predstavljajte si bilijone žetonov. Mislim, da je bilo zadnjič vprašanje,
    Pretraining overview: returns on compute when repeating data
    18:09 · Pretraining overview: returns on compute when repeating data · A Stanford lecture slide on pretraining, highlighting that repeating data has value. The chart plots final test loss against tokens (epochs): the loss predicted by data-constrained scaling laws (solid) falls more slowly than the loss assuming repeated data equals new data (dotted), and flattens near 2.4 by about 40 epochs. Up to about 4 epochs, repetition is almost as good as new data.
  59. u59 ali pri učenju iste podatke ponavljamo ali vidimo le edinstvene žetone. To je raziskovalo nekaj člankov. Eden je tu na prosojnici in je preučeval primer, ko smo omejeni s podatki,
  60. u60 torej imamo le določeno količino žetonov. Vprašanje je, ali je bolje učenje ustaviti ali pa se splača večkrat učiti na istih žetonih. Odgovor je v tem primeru da, do štirikrat. To dejansko omogoča,
  61. u61 da dosežete boljšo uspešnost. Gre torej za kompromis: ali raje videti več edinstvenih žetonov — so kakovostni ali ne? — in ali jih tudi ponavljati. To je vprašanje, ki si ga ljudje zastavljajo.
    Pretraining overview: data mixtures and the DataComp-LM pipeline
    19:14 · Pretraining overview: data mixtures and the DataComp-LM pipeline · A Stanford lecture slide on pretraining, with the "Data mixtures" item highlighted and the goal and objective lines greyed out. A four-step diagram shows the DataComp-LM benchmark workflow: select a scale, build a dataset by filtering or mixing, train a model with a fixed recipe, and evaluate on 53 downstream tasks. A small inset shows the lecturer standing at the right.
  62. u62 Glede ugotavljanja, katere podatke uporabiti, je bilo opravljenega veliko dela. Omenil bom tudi DataComp-LM, ki poskuša ločiti vpliv kakovostne podatkovne množice od vpliva boljše arhitekture,
  63. u63 saj lahko dva človeka učita vsak svoj model in se sprašujeta, ali so neki podatki dovolj kakovostni za njun primer. Uspešnost pa je lahko v resnici posledica arhitekture njunega modela. Tu poskušajo arhitekturni vidik poenotiti, da bi
  64. u64 lahko izločili le vpliv boljše kakovosti podatkov. Tudi na tem področju je veliko dela. Lahko se vprašate tudi, kako sestaviti končno podatkovno množico. Naj vključim 20 % kode, 50 % spleta in tako naprej? Tega se ljudje lotevajo na različne načine.
    Pretraining overview: choosing data mixtures via RegMix regression
    20:10 · Pretraining overview: choosing data mixtures via RegMix regression · A Stanford lecture slide explains the RegMix method for choosing a pretraining data mixture. Small proxy models are trained on different mixes of Hacker News, Github and Philpapers, a regression model is fit to predict target loss from the mix, and new mixes are simulated. The best simulated mixture (22.8% Hacker News, 67.0% Github, 10.2% Philpapers) has a predicted target of 5.34 and is used to train a large-scale model.
  65. u65 Eden od načinov je učenje več majhnih modelov na različnih mešanicah podatkov in preverjanje njihove uspešnosti, da lahko sklepamo o morebitni dobri mešanici, ki bi lahko dobro delovala tudi pri povečanju obsega.
  66. u66 Če vas to zanima, toplo priporočam tudi branje tega članka. Ponovno želim poudariti, da je priprava podatkov zahtevno delo. Zato sem želel navesti ta diagram iz Olmol 3, modela z odprtimi utežmi.
  67. u67 Prikazuje potek učenja in priprave podatkov, ki je precej zapleten. Kot sem omenil, je podatkovna množica za predhodno učenje običajno ogromna, reda bilijonov žetonov, zadnje čase celo desetin bilijonov žetonov.
  68. u68 Kot primer: GLM-5, razmeroma nov model z odprtimi utežmi, je bil učen na 30 bilijonih žetonov, zgolj za orientacijo. Lahko si predstavljate, da za učenje tako velikega modela potrebujete ustrezno infrastrukturo.
  69. u69 Povedati sem želel le, da se s tem na tem predavanju ne bomo ukvarjali, bomo pa se na 5. predavanju. Če vas tema zanima, ostanite z nami. Super, to je bil tradicionalno prvi korak pri učenju velikih jezikovnih modelov.
  70. u70 V zadnjih letih pa se je pojavila druga stopnja,
  71. u71 Vmesno učenje
  72. u72 imenovana vmesno učenje, katere cilj je dodati znanje o nalogah, bolj usklajenih z vašim primerom uporabe. Če vam je na primer pomembno, da je model sposoben sklepanja, ga želite
    Pretraining overview lecture slide, Stanford ICME
    22:18 · Pretraining overview lecture slide, Stanford ICME · A Stanford University ICME lecture slide titled "Pretraining overview" with faded body text listing the goal, objective, data mixtures and size of LLM pretraining. A pink banner notes that training systems and infrastructure will be covered in Lecture 5. A small inset at top right shows the lecturer standing in a classroom.
  73. u73 izpostaviti več takšnim podatkom s kodo in maskiranim besedilom. Tu bi uporabili vmesno učenje in kakovostnejše podatke, še vedno z napovedovanjem naslednjega žetona, da se model nauči več
  74. u74 o teh primerih uporabe. To je prvo. Drugo pa je učenje modela na daljših kontekstih oziroma vhodih. Nečesa tu nisem poudaril: pri predhodnem učenju običajno
  75. u75 zaradi učinkovitosti uporabljamo dolžine zaporedij reda nekaj tisoč žetonov. V resnici pa imate lahko vhode z več deset tisoč ali celo več sto tisoč žetoni.
  76. u76 Model morate naučiti, da to obvlada. Zato bomo morda minuto ali dve namenili
  77. u77 Učenje na dolgem kontekstu
  78. u78 učenju na dolgem kontekstu. Videli smo, da je to odvisno od naše sposobnosti kodiranja položajev. Dandanes za to uporabljajo RoPE. Videli smo, da RoPE nima naučenih parametrov.
  79. u79 Teoretično bi ga torej lahko uporabili neposredno. Težava pa je, da če ne naredite ničesar in model učite le na kratkih zaporedjih, nato pa ga želite pri sklepanju uporabiti za daljša, model dejansko še nikoli ni
  80. u80 videl rotacij teh daljših zaporedij, zato se lahko zmede. Zato imamo stopnjo učenja na dolgem kontekstu, kjer model poskušamo izpostaviti daljšim zaporedjem.
    Long context training: extending RoPE with YaRN
    24:32 · Long context training: extending RoPE with YaRN · A Stanford lecture slide on long context training, whose idea is to teach the model to use information over longer distances. It explains that RoPE can be extended, for example with YaRN, and uses a clock analogy (hour slow, minute fast, second very fast) to illustrate rotation at different frequencies. It also shows the block-diagonal rotation matrix R_{θ,m} and diagrams of query and key vectors rotated by angles mθ and nθ. A small inset at top right shows a lecturer at a board.
  81. u81 Običajno se pri tem nekoliko prilagodijo frekvence RoPE, da se model lažje uči. Zasledili boste vrsto metod za razširitev RoPE.
  82. u82 Omenil bom eno. Morda boste videli YaRN. Morda se vprašate, zakaj to potrebujemo. Če bi model, ki ste ga prej učili na krajših kontekstih, preprosto učili na vhodih z dolgim kontekstom,
  83. u83 bi mu otežili učenje teh večjih položajnih razlik v kontekstu, saj bi bile z njegovega vidika povsem nove. Zato dejansko
  84. u84 interpolirajo frekvence, da velike položajne razlike ostanejo znotraj razpona frekvenc, ki jih je model videl med učenjem na kratkem kontekstu. Gre za manjše prilagoditve frekvenc,
  85. u85 ki jih uporablja RoPE, da se model bolje uči. Poleg tega obstaja koncept kurikularnega učenja, torej učenja — ja? Vprašanje je, kako ugotovijo, kakšno dolžino bodo srečevali.
  86. u86 To je vnaprej načrtovano. Rečejo si torej — na sliki dejansko vidite primer GLM-5. Učenje na kratkem kontekstu poteka na vhodih dolžine 4.000. Pri učenju na daljšem kontekstu pa se to podaljša na 128 tisoč ali celo 200 tisoč.
  87. u87 To število torej poznajo od začetka in temu ustrezno interpolirajo. Nato uporabijo prilagojene frekvence, izvedejo učenje in pustijo, da se model ustrezno nauči uteži. Vprašanje je, kaj pa sklepanje. Uporabili bi prilagojene frekvence
  88. u88 po učenju na dolgem kontekstu. Sprva bi model učili na kratkem kontekstu z določenimi frekvencami, nato pa izvedli vmesno učenje. Izvedejo učenje na dolgem kontekstu, pri katerem frekvence nekoliko prilagodijo. Nato te frekvence uporabljajo pri sklepanju
  89. u89 in tako naprej. Ja? Vprašanje je, ali z uporabo YaRN povsem spremenite svojo postavitev. Tu se dejansko opirate na obstoječi RoPE, spremenite pa frekvence, da je model bolje seznanjen z njihovimi razponi, ki se pojavljajo
  90. u90 pri dolgih kontekstih, saj je takšne frekvence videl že med učenjem na kratkem kontekstu. Točno tako, ja. Odlično.
  91. u91 Zakaj je to težko? Če se spomnite, transformer temelji na samopozornosti. Pri samopozornosti vse upošteva vse drugo, s kompleksnostjo O od n na kvadrat. Če vhode povečate s 4.000 na več sto tisoč, imate precej več računanja.
  92. u92 To pa ni edino. Druga težava je, da je težko dobiti podatke, pri katerih nekateri deli za napoved določenega žetona potrebujejo druge, močno oddaljene dele. Naj navedem primer.
  93. u93 Model se mora naučiti uporabiti informacije iz daljne preteklosti za napoved v daljni prihodnosti. Potrebujete torej primere, ki uporabljajo nekaj iz daljne preteklosti, in to ni nekaj, kar bi bilo trivialno —
  94. u94 nekaj, kar bi zlahka sestavili. Nekaj dela je torej namenjenega ustvarjanju takšnih primerov. Izzivov je več. A na koncu, če izvedete predhodno, vmesno in učenje na dolgem kontekstu, boste ob koncu te stopnje
    Challenges slide: cost of large-scale model training
    29:06 · Challenges slide: cost of large-scale model training · A Stanford ICME lecture slide titled "Challenges" with the heading "Cost." and three bullets: the cost is at least millions of dollars, it takes time, and it has environmental/electricity impact. A small inset in the top right shows a person standing near a chalkboard in the lecture room.
  95. u95 najprej porabili veliko dolarjev. Dobra stran pa je, da boste imeli model, ki pozna besedila in programsko kodo ter je usvojil določeno količino znanja iz teh podatkov.
  96. u96 Če pogledate kartice svojih najljubših modelov pri zunanjih ponudnikih, boste videli datum preseka znanja, torej datum, do katerega segajo učni podatki.
  97. u97 V primeru GPT-6 Astra na primer veste, da so podatki za učenje tega modela segali do 30. aprila 2026. Težava je, da je to znanje časovno fiksirano. To pomeni, da model brez dodatnih posegov,
  98. u98 če ga vprašate o nečem, kar se je zgodilo po tem presečnem datumu, o tem ne bo imel pojma, saj tega med učenjem ni videl. Tega znanja torej nima. Spoznali pa bomo tehnike, s katerimi lahko to obidemo. Več o tem pozneje.
  99. u99 Imam vprašanje za vas. Opravili smo vse to delo. Začeli smo z velikim jezikovnim modelom in izvedli predhodno, vmesno in učenje na dolgem kontekstu. Predpostavimo, da vnesemo naslednji poziv: »Ali lahko svojega plišastega medvedka dam v pralni stroj?« Kakšen odgovor nam lahko model poda na tej stopnji?
  100. u100 Ja? Mislim, da pravilno sklepate. Naredil bo — no, na vprašanje ne bo odgovoril. Običajno bo poskušal besedilo samodejno dopolniti, saj smo ga doslej učili napovedovanja naslednjega žetona. Učili smo ga ugibati naslednjo besedo.
  101. u101 Odgovoril bo nekako takole. »Ali lahko svojega plišastega medvedka dam v pralni stroj?« No: »Plišasti medvedki so pogosto izdelani iz materialov, kot sta poliester in bombaž, s plastičnimi očmi in včasih majhnimi dodatki« — nekaj, kar bi običajno videli v besedilu. Je koristno? Ne, ni koristno.
  102. u102 Torej še nismo končali.
  103. u103 Nadzorovano dodatno učenje (SFT)
  104. u104 To je bilo predhodno učenje. Zdaj pojdimo na naslednjo stopnjo, kjer poskušamo model narediti uporaben. Če mu postavljamo vprašanja, želimo odgovore. Ta stopnja se imenuje SFT, nadzorovano dodatno učenje.
  105. u105 Cilj je spremeniti vedenje modela in ga uskladiti s tem, kar želimo doseči. Če želite v prejšnjem primeru postaviti vprašanje, želite odgovor, torej vedenje pomočnika. Zamisel te stopnje je pripraviti
  106. u106 pare vhodov in izhodov, pri katerih želite, da se model na dani vhod odzove kot podani izhod. Ciljna funkcija bo še vedno napovedovanje naslednjega žetona.
  107. u107 Imate neki vhod in želite napovedati naslednji žeton. Za usvajanje vedenja pomočnika potrebujete zlasti pare navodil in odgovorov.
    Supervised finetuning (SFT) lecture slide, Stanford ICME
    32:51 · Supervised finetuning (SFT) lecture slide, Stanford ICME · A lecture slide titled "Supervised finetuning" defines SFT as Supervised FineTuning. It gives the idea (change model behavior by tuning weights), the strategy (collect input/output pairs, train with next-word prediction given the input), and a special case, instruction tuning. The "Idea" and "Strategy" text is faded, while the heading and special case are in full contrast. A small video inset at top right shows a person standing near a blackboard.
  108. u108 Navodilo bi bilo na primer: »Napiši kratko zgodbo o plišastem medvedku, ki rad bere poezijo.« Nato imate, denimo, neko pesem. Drugo bi bilo: »Pojasni, zakaj je plišasti medvedek odličen prijatelj,« nato imate odgovor. Vhod, torej navodilo, bi podali svojemu modelu
  109. u109 in na njegovi podlagi poskušali napovedati naslednji žeton s ciljno funkcijo napovedovanja naslednjega žetona, kar se, kot smo videli, izvaja na primer z izgubo navzkrižne entropije. Da se bomo vsi razumeli: navodilo bi bilo lahko modro.
    Instruction tuning overview: next-token objective given the input
    33:44 · Instruction tuning overview: next-token objective given the input · A Stanford lecture slide titled "Instruction tuning overview" states the objective function as predicting the next token given the input. A diagram shows an LLM box with input tokens [BOS], Do, X, ., Sure along the bottom and output tokens Do, X, ., Sure, ... along the top. The pink-highlighted tokens "Sure" and "..." mark the response part, which is where the prediction applies. A small inset shows the lecturer standing at the top right.
  110. u110 Model bi nato poskušal napovedati rožnate žetone, torej odgovor. Postavitev je torej nekoliko drugačna kot pri predhodnem učenju. Ja? Vprašanje je, kako se SFT razlikuje od vmesnega učenja.
  111. u111 Pri vmesnem učenju gre za kakovostnejše podatke. Nimate pa enega določenega vhodnega poziva, pri katerem bi želeli posnemati neko izhodno vedenje. Še vedno gre za korpus besedil, v katerem poskušate napovedati naslednji žeton. Glavna razlika med vmesnim
  112. u112 in predhodnim učenjem je v kakovostnejših podatkih, bolj usklajenih z nalogo, ki vas zanima. Če vas zanimajo matematični problemi, bi imeli več matematičnih podatkov. Tu pa je cilj posebej prilagoditi vedenje modela,
  113. u113 da bo usklajeno z vašimi željami. V tem primeru mu podamo vhod x. Modelu torej ne naročimo, naj napoveduje vhodne x. Želimo, da napove naslednji žeton odgovora. Majhna sprememba glede na prejšnjo postavitev
  114. u114 je, da je vhod tu x, torej navodilo oziroma poziv, in doslej dekodirani del odgovora. Želimo napovedati naslednji žeton, spet z izgubo, podobno navzkrižni entropiji.
  115. u115 Imeli bi logaritem verjetnosti ciljnega žetona pri danem vhodnem pozivu in preteklih žetonih, običajno povprečen po žetonih. Uporabili bi podatke, usklajene s tem, kar želite. Tu sem omenil eno vrsto podatkov, povezano s pomočjo
  116. u116 oziroma navodili. Lahko pa imate tudi druge vrste podatkov. Predpostavimo, da želite, ne vem, posebej pisati o pesmih v zelo določenem slogu. Imeli bi le takšne podatke. Obseg podatkov za SFT bi bil precej manjši kot pri predhodnem učenju —
  117. u117 če gre za zelo specifičen primer uporabe, bi jih imeli na stotine ali tisoče — stotine ali tisoče. Če pa želite kaj večjega, denimo vedenje pomočnika pri raznovrstnih nalogah, bi imeli morda milijone primerov,
  118. u118 vendar še vedno precej manj kot pri predhodnem učenju. Vrnimo se k primeru: predpostavimo, da model vprašam: »Ali lahko svojega plišastega medvedka dam v pralni stroj?« Kakšen — ja?
  119. u119 Vprašanje je, ali kaznujemo napovedovanje vhoda. Odgovor je ne. Kaznujemo le napovedovanje izhoda. Vhod nas ne zanima, ta nam je dan. Iz te formule bi torej dobili vsoto po t od p theta od —
  120. u120 logaritma p theta od t pri danih x in y. Ja, x je vhod, ja. Vprašanje je, ali bi računanje izgube za poziv škodovalo uspešnosti. Tega pravzaprav ne bi počeli.
  121. u121 To ni vaš namen. Vaš namen ni napovedovati poziva. To preprosto ni usklajeno s tem, kar želite narediti. Ja. Še kakšno vprašanje? V redu, nazaj k mojemu vprašanju: predpostavimo, da imamo enak vhod kot prej,
    Behavior: teddy bear in washer prompt to LLM
    37:41 · Behavior: teddy bear in washer prompt to LLM · A Stanford ICME lecture slide titled "Behavior" shows a simple flow: the question "Can I put my teddy bear in the washer?" goes into a box labeled "Pretrained + instruction tuned LLM", which outputs a question mark. The slide poses the open question of how such a model will respond. A small inset in the top right shows the lecturer standing in front of a blackboard.
  122. u122 tokrat pa model ni le predhodno naučen, temveč tudi prilagojen navodilom s SFT. Kakšen odgovor bi dobili? Ne. Ja, točno, ne, vendar bo povedal še kaj drugega. Morda: »Ne, lahko se poškoduje,
  123. u123 raje ga operite ročno,« kar je precej bolje, saj odgovori na vaše vprašanje. Morda pa si želite nekoliko prijaznejši odgovor, morda v določenem tonu.
  124. u124 V naslednjem razdelku bomo pogledali, kako lahko ta odgovor izboljšamo. Pred tem pa bi rad predstavil nekaj izzivov stopnje SFT. Prvi je, kot sem omenil,
    Challenges slide from Stanford ICME lecture
    38:41 · Challenges slide from Stanford ICME lecture · A Stanford University slide titled "Challenges" lists five bulleted difficulties, with key phrases in bold. A small inset in the top-right corner shows the lecturer standing beside a chalkboard in the lecture room. The slide appears to concern training or aligning language models, though it does not say so.
  125. u125 da potrebujemo zelo kakovostne podatke, saj se bo model po učenju na podatkih SFT vedel natanko tako, kot smo mu pokazali. Zato moramo poskrbeti, da so podatki točno takšni, kot želimo. Druga težava je, da če imamo preveč podatkov o eni določeni stvari, se lahko model
  126. u126 nagiba k odgovarjanju na zelo določen način. Izzivi so torej zagotavljanje ustrezne porazdelitve pozivov za dodatno učenje, sposobnost posploševanja in dejansko vrednotenje. Nekaj minut želim nameniti računskemu vidiku.
  127. u127 Kot smo omenili, ima naš model običajno nekaj milijard ali celo več deset oziroma sto milijard parametrov. Model o besedilu že veliko ve, že ima veliko znanja.
  128. u128 Tu poskušate njegovo vedenje le usmeriti k želenemu vedenju. Vprašanje je torej, ali res morate prilagoditi vse parametre ali zadostuje, da prilagodite le nekatere.
  129. u129 Prav to so se ljudje tudi vprašali.
  130. u130 Prilagajanje z nizkim rangom (LoRA)
  131. u131 To je motivacija za LoRA. Kdo je že slišal za LoRA? Ja? Še kdo? Odlično. LoRA pomeni prilagajanje z nizkim rangom. Zamisel je, da za določeno vedenje verjetno ni treba posodobiti vseh uteži modela,
  132. u132 saj ste že skoraj na cilju. Vzamete učljive parametre, ki so običajno v obliki matrike, in jih razstavite na predhodno naučene uteži W0 ter nekaj prilagodljivih parametrov.
  133. u133 Ti prilagodljivi parametri so v matrikah precej nižjega ranga, tu B in A. To drastično zmanjša število parametrov, ki jih morate učiti. Prednost je precej večja učinkovitost,
  134. u134 pri čemer se izkaže, da je uspešnost približno podobna, odvisno od obsega podatkov in naloge, kar je odlično. Poleg tega predpostavimo, da imate, kot v začetnem primeru, več primerov uporabe in želite model z LoRA prilagoditi vsakemu posebej.
  135. u135 Prednost je, da morate shraniti le predhodno naučene uteži W0 in manjše matrike, specifične za posamezno nalogo. Če LoRA učite za neželeno pošto, dobite B in A, specifična za ta primer uporabe.
  136. u136 Za sentiment lahko znova uporabite W0, B in A pa prilagodite posebej za prepoznavanje sentimenta. Enako za prevajanje in tako naprej. Če LoRA ne bi uporabili, bi morali shraniti vse uteži za prvo nalogo, vse uteži za drugo
  137. u137 in tako naprej. Tu pa morate shraniti le razliko. To je odlično tudi z vidika shranjevanja. Avtorji LoRA so sprva predlagali, naj to izvajamo na matrikah,
  138. u138 ki so v plasti samopozornosti. Od takrat pa so ljudje preizkusili različne postavitve in podatkovne množice. Najnovejše priporočilo je, da uporabimo tudi matrike v nevronski mreži s povezavami naprej,
  139. u139 saj tam dejansko poteka vse računanje. Tam je veliko parametrov. To zato prinese veliko izboljšanje uspešnosti. Za dodatno branje je na dnu prosojnic odličen članek, mislim, da od Thinking Machine, ki ga je vredno prebrati.
    Stanford lecture on Transformers and Large Language Models
    43:18 · Stanford lecture on Transformers and Large Language Models · A still from a lecture video in a Stanford classroom. A man in a pink t-shirt stands beside a chalkboard, looking at a projected title slide, "Transformers & Large Language Models" (Stanford University, ICME). The slide's agenda is on the right, with "Preference tuning" highlighted. Handwritten probability and loss-function equations are on the chalkboard.
  140. u140 Če vas zanima, toplo priporočam ogled. Super. Ja? Vprašanje je: predpostavimo, da postavim neko vprašanje. Kako vem, kateri model prevzame nalogo? Odgovor je, da običajno ne bi
  141. u141 imeli različnih uteži, če želite splošnonamenskega pomočnika. To bomo videli nekoliko pozneje. Običajno bi učili en velik model s čim več želenega znanja oziroma čim več znanja, kolikor je mogoče, ki bi odgovarjal na ta vprašanja. To je predvsem za zelo, zelo specifične primere
  142. u142 uporabe. Predpostavimo nekaj povsem po meri, za kar potrebujete dodatno učenje. V splošnem pa tega običajno ne bi počeli. Ja? Vprašanje je: rekli ste, da je za SFT potrebnih 10 na potenco 6 podatkov, kar je več velikostnih redov
  143. u143 manj kot za predhodno učenje. Torej manj kot pri predhodnem učenju. Zakaj potem tega ne naredite? Ljudje, ki želijo model dodatno učiti, so običajno ljudje, kot sva vi in jaz. Nimajo izjemno zmogljive strojne opreme. Ne moremo si privoščiti prilagajanja milijard in stotin milijard parametrov.
  144. u144 To je prvo. Drugo je, da model že imate. Ima vse znanje, ima vse. Ponovno prilagajanje vsega preprosto ni tako učinkovito, glede na to, da ste že skoraj na cilju. Če pomislite,
  145. u145 ne potrebujete vseh teh prostostnih stopenj, da pridete do želenega rezultata. Vprašanje je, ali se modeli različnih podjetij po tej stopnji razlikujejo. Odgovor je, da je odvisno od izbrane arhitekture in vrste mešanice podatkov,
  146. u146 na kateri jih učijo. To se med modeli precej razlikuje. Torej ja, lahko se razlikujejo, običajno na način, ki ga določata ta dejavnika. Toda podatki so zelo pomembni. Super.
  147. u147 Zdaj želim utemeljiti potrebo — o, ja? Vprašanje je, kako pogosto posodabljate parametre modela. Odvisno od primera uporabe. Če želite, da model opravlja zelo določeno nalogo, in so vam pomembni, denimo, stroški,
  148. u148 ne želite velikega poziva, ki mu vedno znova naroča, kako naj se vede. Morda želite s tem postopkom dodatnega učenja enkrat prilagoditi uteži in model nato velikokrat uporabiti. To je en primer, vendar je zelo odvisno od vaše uporabe,
  149. u149 bi rekel. Super. Doslej smo videli, kako doseči,
  150. u150 Prilagajanje preferencam
  151. u151 da naš model pridobi več znanja o besedilu in programski kodi. Naučili smo se usmerjati njegovo vedenje k nečemu, kar želimo, na primer odgovarjanju na vprašanja. V tem razdelku bomo videli, kako model uskladiti s podatki o človeških preferencah.
  152. u152 Ta razdelek želim posebej utemeljiti z naslednjim primerom. Predpostavimo, da imamo predhodno in dodatno naučen model. Zna odgovarjati na vprašanja ali navodila. Predpostavimo torej: »Predlagaj novo dejavnost, ki bi jo lahko
  153. u153 počel s svojim plišastim medvedkom.« Model reče: »Predlagam, da s plišastim medvedkom pravzaprav ne preživljaš časa.« To je odgovor, morda pa ni tak, kot ste ga želeli. Modelu želite povedati, da takšnega izhoda ne želite.
  154. u154 Doslej smo modelu govorili le, kaj naj počne. Nismo mu povedali, česa naj ne počne, saj smo doslej govorili le: napovedovanje naslednjega žetona, ob tem vhodu želim to. In kot ste prej odlično pripomnili,
  155. u155 teh podatkov ni ustvaril model. Pravzaprav so modelirani. Te podatke mu vsiljujemo. To želimo tu rešiti. Prvi korak pri tem je zbiranje podatkov o preferencah v parih.
    Preference tuning: collecting preference pairs to train LLMs
    48:13 · Preference tuning: collecting preference pairs to train LLMs · A Stanford ICME lecture slide on preference tuning. The faded top half shows the problem: an SFT model answers a request for a teddy bear activity with a bad reply. The bottom states the idea of collecting preference pairs and training on them, with a good reply marked by a green check and a bad reply marked by a red X. A small video inset shows a presenter standing near a blackboard.
  156. u156 Za dani poziv bi zbrali negativen primer, tu torej nepreživljanje časa s plišastim medvedkom, in pozitiven primer, morda nekaj želenega o tem, da so odlični spremljevalci pri spanju in podobno. Imeli bi torej pozive s pozitivnimi in negativnimi primeri.
  157. u157 Razlog za obravnavo v parih je preprosto lažje zbiranje takšnih podatkov. Človeku je precej lažje ugotoviti, da je nekaj boljše od nečesa drugega, kot pa trditi, da je nekaj
  158. u158 dobro na absolutni lestvici. Pri SFT sem omenil tudi, da je model običajno precej občutljiv na porazdelitev pozivov. Tu pa bomo videli prednost, da na ta vidik ni tako občutljiv.
  159. u159 Model želimo usmeriti, da se ne bi vedel neustrezno. Na primer odgovor »Pravzaprav ne predlagam, da počneš karkoli« je lahko nekaj, kar bi model odgovoril tudi ob pravilno izvedenem SFT.
  160. u160 Včasih pa vam neustrezno vedenje pove nekaj o morebitnem nenamernem dogajanju med SFT. Morda ste mu podali podatke, ki jih niste nameravali. Obravnava neustreznega vedenja je tudi stopnja,
  161. u161 na kateri je primerno pregledati podatke SFT in preveriti, ali ste model učili na nameravanih podatkih z želeno kakovostjo. Kako torej zberemo podatke o preferencah? Lahko uporabimo sistem posamičnega ocenjevanja —
  162. u162 imate poziv in več odgovorov. Ta je dober, ta ni dober na absolutni lestvici. Toda rekli smo, da je ljudem takšno absolutno presojanje težko. Lahko imamo podatke o preferencah v parih, kot smo pravkar omenili,
  163. u163 kjer imamo dva odgovora in povemo, kateri je boljši. To je parni pristop. Pri seznamnem pristopu pa imate poziv in seznam možnih odgovorov, ki jih razvrstite od najbolj do najmanj zaželenega.
  164. u164 Zaradi preprostosti ljudje pri določanju preferenc, ki jih želijo vnesti, večinoma zbirajo podatke v parih. Naslednje vprašanje je, kako pri neznanih podatkih zunaj te množice
  165. u165 veste, ali je dani odgovor dober ali slab. Kako lahko to posplošite? To je motivacija za prvi korak, o katerem bomo govorili, imenovan modeliranje nagrade.
  166. u166 Zgraditi želimo model, ki nam lahko pove, ali je odgovor na dani poziv dober. Če imamo tak model, je zamisel druge stopnje uskladiti naš model z dobrim vedenjem, kar
  167. u167 ovrednotimo tako, da model nagrade nekaterim odgovorom dodeli visoke ocene, izogibamo pa se izhodom z nižjimi ocenami. Tu nastopi RLHF.
  168. u168 Kdo je že slišal za RLHF? Ja, veliko vas. RLHF pomeni spodbujevalno učenje s človeškimi povratnimi informacijami. Gre za metodo usklajevanja modela s človeškimi preferencami. Zakaj se tako imenuje?
  169. u169 Ker na prvi stopnji, ko se želite naučiti razlikovati dobro od slabega, model nagrade učite na podatkih o človeških preferencah. Tu torej modeliramo človeške preference. Druga stopnja pa je uporaba modela, ki
  170. u170 je bil naučen na človeških preferencah, da naš model uskladimo z boljšim vedenjem. To je zamisel. Povedal bi še, da so RLHF in na splošno metode na osnovi spodbujevalnega učenja
    Disclaimer slide: RL math deferred to Lecture 4
    53:27 · Disclaimer slide: RL math deferred to Lecture 4 · A Stanford ICME lecture slide titled "Disclaimer" warns that reinforcement learning-based methods are technical and mathematically involved. A pink callout says the mathematical derivations for RL-based methods will come in Lecture 4. A small inset in the top right shows a person standing near a blackboard in the lecture room.
  171. u171 precej tehnične, zato se bomo danes osredotočili predvsem na intuitivno razumevanje. Vso matematiko puščamo za naslednje predavanje. Upam torej, da boste nanj prišli pripravljeni.
  172. u172 Ukvarjali se bomo z matematiko. Na tem predavanju pa se bomo bolj osredotočili na intuicijo. Ločujemo ju zato, ker je zadeva precej tehnična in je treba paziti na nekatere podrobnosti. Zdaj pa pojdimo skozi omenjena koraka,
  173. u173 torej modeliranje nagrade in spodbujevalno učenje. Pri modeliranju nagrade se želimo naučiti razlikovati dobre odgovore od slabih. Ob danem pozivu in odgovoru
  174. u174 želimo, da model reče: da, to je dober odgovor na ta poziv, ali: ne, to ni dober odgovor. To je naš cilj.
  175. u175 Bradley-Terryjeva formulacija
  176. u176 Za to običajno uporabljamo precej specifično formulacijo, imenovano Bradley-Terryjeva formulacija. Ta na zelo določen način modelira verjetnost, da je nekaj bolj zaželeno kot nekaj
    Reward modeling with the Bradley-Terry formulation
    54:44 · Reward modeling with the Bradley-Terry formulation · A Stanford lecture slide titled "Step 1: Reward modeling" defines the Bradley-Terry probability that output y_i is better than y_j. It equals e^{r_i} / (e^{r_i} + e^{r_j}), which is the sigmoid of the reward difference r_i − r_j. A small plot of the sigmoid curve rises from 0 to 1 and crosses 0.5 at x = 0. A small video inset at top right shows a presenter standing in a lecture room.
  177. u177 drugega. Tu je verjetnost, da ima, denimo, yi prednost pred yj, enaka sigmoidi ri minus rj. Pravimo le, da yi označuje neka nagrada ri,
  178. u178 yj pa neka nagrada rj. Pravimo, da je verjetnost, da ima yi prednost pred yj, enaka sigmoidi razlike med nagradama. To trdimo.
  179. u179 Za osvežitev: ne vem, ali vsi poznate sigmoidno funkcijo. Enaka je 1 deljeno z 1 plus eksponentna funkcija od minus x. Ima obliko, prikazano na prosojnici. Ko gre x proti minus neskončno, je 0, proti plus neskončno pa 1.
  180. u180 Model nagrade bomo učili tako, da bomo izkoristili zbrane podatke o preferencah v parih. Če se spomnite, smo omenili, da je parni pristop najlažji način zbiranja podatkov o preferencah.
  181. u181 Za vsak poziv imamo torej zmagovalni in poraženi odgovor. Predpostavimo, da imamo poziv x. Nato imamo odgovor yw, zmagovalni odgovor, in poraženi odgovor yl.
  182. u182 Naš cilj je model nagrade naučiti, da zmagovalnemu pripada višja, poraženemu pa nižja nagrada. Model nagrade učimo s parno izgubo. Za dani poziv bi torej vnesli yw in yl.
  183. u183 Z modelom bi izračunali nagrado. Nato bi s to parno izgubo posodobili uteži modela. Parna izguba je morda videti nekoliko strašljiva, zato bom pojasnil njen smisel.
  184. u184 Če se spomnite, smo pri navzkrižni entropiji intuitivno želeli določiti parametre theta, ki maksimirajo verjetnost, da model vidi učno množico. Tu pa je dogodek, ki ga želimo modelirati, yw —
  185. u185 torej to, da ima zmagovalni odgovor prednost pred poraženim. Želite torej maksimirati verjetnost, da vaš model reče, da ima, denimo, zmagovalni odgovor prednost pred poraženim, približno
    Person at blackboard about to write, Stanford lecture
    58:04 · Person at blackboard about to write, Stanford lecture · A still from a lecture video shows a person seen from behind, wearing a pink t-shirt, glasses and a wristwatch. They hold chalk up to a large, blank dark-gray blackboard as if about to start writing. A faint "Stanford" watermark is in the lower right.
  186. u186 rečeno. Če se spomnite, tisti del, Bradley-Terryjeva formulacija, kaj nam pove? Enak je sigma od r theta, kar je vaš model nagrajevanja, od — torej vašega poziva
  187. u187 in zmagovalnega odgovora minus model nagrajevanja vašega poziva in poraženega odgovora. To nam pove Bradley-Terryjeva formulacija. To želite maksimirati po vseh svojih parih. Toda kot smo rekli, radi uporabljate logaritem,
  188. u188 ker je monoton. Te količine so lahko zelo majhne in lahko povzročijo nestabilnost. Zato vzamete logaritem. Pri strojnem učenju pa pravzaprav raje stvari minimizirate kot maksimirate. Tu torej želite maksimirati to, maksimirati logaritem tega, kar je isto kot minimizirati
  189. u189 minus logaritem tega. In če pogledate prosojnico, je zapisano natanko to. Minimizirati želite minus logaritem sigme nagrade zmagovalnega odgovora minus nagrade poraženega odgovora. To je zgolj posledica Bradley-Terryjeve formulacije.
  190. u190 Predpostavimo, da to naredite. Da bi torej — ja? Ja, vprašanje je, kaj je e? Da, to je pričakovana vrednost po vseh vaših podatkih. Lahko si jo predstavljate kot vsoto ali povprečje, če želite. Vprašanje je torej, kakšna je arhitektura vašega modela nagrajevanja. No, ljudje so nagrade modelirali na več načinov.
  191. u191 En način je, da izkoristite ogrodje svojega LLM-ja. Toda vaš LLM je naučen napovedovanja naslednjega žetona. Če torej vnesete neke vhode, lahko vzamete vektorsko predstavitev, ki ustreza
  192. u192 zadnjemu vnesenemu žetonu, in jo projicirate v neki prostor. To lahko naredite. Drugi način je uporaba modela samo s kodirnikom. Vnesete vse, uporabite samopozornost in samo projicirate podatke. Pri prvi metodi je dobro to, da lahko izkoristite ogrodje, ki ga že imate. Torej ja, lahko uporabite kateri koli način.
  193. u193 Običajno lahko uporabite enega od teh dveh. V redu, super. Oznaka je tu človeška preferenca, ker jo potrebujete, da lahko temu rečete RLHF. In pravkar sem ugotovil, ja,
    Step 1: Reward modeling data for RLHF
    1:01:00 · Step 1: Reward modeling data for RLHF · A Stanford lecture slide titled "Step 1: Reward modeling" describing the data used: on the order of 10,000 observations, labeled by human ratings. The slide notes that human rating is the source of the "HF" in RLHF. A small inset video in the top right shows a person standing near a blackboard.
  194. u194 to je bila natanko moja naslednja prosojnica. Vrsta modela bi bila torej bodisi ogrodje LLM-ja s klasifikacijsko glavo na zadnjem žetonu, ki ga želite izkoristiti, bodisi model samo s kodirnikom. Super, v redu, v tej prvi fazi ste
  195. u195 prešli od tega, da imate zgolj preferenčne pare in se želite le naučiti ločevati dobre odgovore od slabih, do tega, da dejansko imate model, ki vam za dani poziv in dani odgovor pove, ali je to res dober ali slab odgovor.
  196. u196 Spodbujevalno učenje s človeškimi povratnimi informacijami (RLHF)
  197. u197 Zdaj je druga faza, ki je matematično zahtevnejša, faza spodbujevalnega učenja. Namen te faze je spremeniti uteži vašega modela, da se uskladi z nagradami, ki jih določa
  198. u198 ta model nagrajevanja. Kako bi to naredili? Imeli bi poziv in svoj model prosili, naj ustvari odgovor. Tu želite vedeti, ali je to vrsta vedenja, ki jo želite spodbujati ali zavirati.
  199. u199 Svoje vhodne pozive in odgovor bi vnesli v model nagrajevanja — predpostavimo, da reče: ne, to je slab odgovor — in s to presojo posodobili uteži svojega LLM-ja. Tu je torej vpletene veliko matematike.
  200. u200 Toda na kratko: model nagrajevanja je nekaj, kar ste naučili v 1. fazi in je zdaj zamrznjeno. Uteži, ki jih spreminjate, so uteži vašega LLM-ja, torej LLM-ja, katerega vedenje želite uskladiti. To naredite z namensko funkcijo, ki
  201. u201 je običajno sestavljena iz dveh delov. Prvi del poskuša maksimirati nagrade, hkrati pa ne preveč odstopati od referenčnega modela, ker je, podobno kot pri moji prejšnji pripombi o LoRA glede na prednaučeni model,
  202. u202 vaš model tu že dovolj dober. Zna odgovarjati na vprašanja. Veliko stvari ve. Uteži ne želite preveč spreminjati. Poleg tega vaš model nagrajevanja ni popoln. Včasih bo rekel: o, to je slabo, čeprav je dobro. Zato ne želite, da se vaš model preveč oddalji od referenčnega
  203. u203 modela. Običajno imate zato dodaten člen, ki kaznuje preveliko razliko glede na referenco. Tu je število opazovanj običajno za več velikostnih redov večje kot pri modelu nagrajevanja. Svoj model bi inicializirali z modelom SFT,
  204. u204 ki ste ga dobili prej. Imeli bi namensko funkcijo, ki je natanko to, kar sem omenil: kompromis med dvema deloma, maksimiranjem nagrad in hkrati ne prevelikim odstopanjem od osnovnega modela. Tu pa želim omeniti še en ključen izraz.
  205. u205 Ljudje včasih rečejo izigravanje nagrajevanja. To je dejstvo oziroma pojav, ko vaš model poskuša ugoditi modelu nagrajevanja tako, da gre v smer, ki je modelu nagrajevanja všeč, ne da bi bilo to nujno dobro, če preprosto
  206. u206 s svojega vidika odmislite model nagrajevanja, pač zato, ker model nagrajevanja ni popoln. Ja? Odlično vprašanje. Vaše vprašanje je torej, kako posodabljamo uteži modela. Za to se bomo morali poglobiti v podrobnosti.
  207. u207 Zato prihranite vprašanje za naslednji teden. Takrat bomo to podrobno obravnavali. Želim pa, da si tu zapomnite eno stvar: v tej fazi je model nagrajevanja nespremenljiv. Njegovih uteži ne posodabljamo. Posodabljamo samo uteži LLM-ja. Naslednji teden bomo videli, kako natanko to naredimo.
  208. u208 Super.
  209. u209 Neposredna optimizacija preferenc preferenc (DPO)
  210. u210 Pravkar smo si ogledali RLHF. Naučiti morate model nagrajevanja in nato na svojem LLM-ju izvajati spodbujevalno učenje, da posodobite njegove uteži in vedenje uskladite s tem, kar želite. Težava je, da je spodbujevalno učenje zapleteno. Potrebujete model nagrajevanja.
    Direct Preference Optimization (DPO) loss function slide
    1:05:38 · Direct Preference Optimization (DPO) loss function slide · A Stanford lecture slide titled "Supervised approach with DPO" defines DPO as Direct Preference Optimization and shows its loss function, which rewrites preference learning as a supervised objective. It says DPO needs no separate reward model and works directly on preference data. A small inset in the top right shows a lecturer standing at a board.
  211. u211 Veliko pozornosti je treba nameniti izbiri hiperparametrov in tako naprej, zato so ljudje ta problem poskušali formulirati na nadzorovan način. To je zamisel za DPO, kar pomeni neposredna optimizacija preferenc.
  212. u212 Tu se ne bomo poglabljali v matematiko, želim vam le povedati, da je izpeljana funkcija izgube pravzaprav zelo podobna funkciji izgube, ki smo jo dobili za model nagrajevanja. Če predpostavite, da je r enak neki količini
  213. u213 krat logaritem razmerja med verjetnostjo modela, ki ga poskušate prilagoditi, in referenčnega modela, in če to pogledate, boste videli tudi, da ta funkcija izgube vaš model spodbuja k povečanju verjetnosti ustvarjanja zmagovalnega odgovora
  214. u214 v primerjavi z referenco. Model spodbuja tudi k zmanjšanju verjetnosti ustvarjanja poraženega odgovora v primerjavi z referenco. To bom šel zelo hitro skozi. Tu torej pravimo nekaj,
  215. u215 recimo minus pričakovana vrednost, recimo logaritma vaših sigmoid, potem pa imate ta ogromen izraz, na primer minus rl — vaša izguba je torej taka, da želite, da je rw minus rl
    DPO loss formula overlaid on lecture video frame
    1:07:25 · DPO loss formula overlaid on lecture video frame · A lecture still shows a person in a pink t-shirt and glasses, seen from behind, writing on a green-gray chalkboard. The Direct Preference Optimization (DPO) loss is overlaid along the bottom. Two terms inside the sigmoid are boxed in red: the scaled log-ratio of the policy to the reference model for the preferred response y_w, and the same for the dispreferred response y_l.
  216. u216 čim večji. Kaj to pomeni? Če rečete, da je r enak neki količini krat logaritem verjetnosti modela, ki ga prilagajate, da, recimo, ustvari odgovor, deljene z verjetnostjo
  217. u217 vašega referenčnega modela, da ustvari odgovor — to pomeni, da bo poskušal rw narediti čim večji, da bi bila razlika velika, kar poskuša doseči vaša izguba. Kako lahko to naredim?
  218. u218 Tako, da je verjetnost modela, ki ga poskušamo prilagoditi, za ta izhod ob danih vhodih višja od verjetnosti vašega referenčnega modela. To pomeni, da poskušamo povečati verjetnost ustvarjanja zmagovalnega odgovora.
  219. u219 Želite pa zmanjšati rl. Kako zmanjšate rl? Dejansko zmanjšate verjetnost, da vaš model ob danem vhodu ustvari ta poraženi odgovor. Ja? Vprašanje je torej, kaj je pi?
  220. u220 Tu je pi — naslednji teden bomo videli, da bomo temu modelu LLM rekli politika. Ko govorite o politiki, njeno napovedano verjetnost običajno označujete s pi. Torej ja, ta zapis je specifičen za spodbujevalno učenje. In ja — glede vaše pripombe, da.
  221. u221 V redu, odlično. Želim le povedati, da je ta formula lahko strašljiva. Toda če imate v mislih Bradley-Terryjevo formulacijo ter levi in desni člen razlagate kot funkcijo razmerja med modelom, ki ga poskušate prilagoditi, in referenčnim modelom,
  222. u222 če o tem razmišljate tako, je to, upam, nekoliko bolj smiselno. Ja? Vprašanje je torej, ali je referenčni model nadzorovano dodatno učeni model? Da, to je model, iz katerega izhajate, ko izvajate to učenje, ja.
    RLHF versus DPO: ease of implementation and performance
    1:10:13 · RLHF versus DPO: ease of implementation and performance · A Stanford lecture slide compares RLHF and DPO for aligning language models. RLHF needs multi-stage training and several extra models, while DPO is supervised learning that needs only the base model. On performance, the slide says there is no consensus: results vary by task and are sensitive to implementation.
  223. u223 V redu, super. Gremo naprej. Srečevali in slišali boste izraza RLHF in DPO. Želim vam povedati nekaj o razlikah. RLHF, kot smo omenili, sestavljata dve fazi. Prva je modeliranje nagrajevanja.
  224. u224 Druga faza je spodbujevalno učenje. Torej je treba naučiti modele, kar je lahko računsko zahtevno, medtem ko je DPO način za to z nadzorovanim učenjem. Toda pri DPO je ena stvar: ne
  225. u225 kaznuje izgube na podlagi izhodov, ki jih ustvarja model. Dejansko temelji na fiksnih izhodih. Glede vaše pripombe je torej ta težava tu še vedno prisotna. Čez nekaj prosojnic bomo videli, da je RLHF metoda na podlagi trenutne politike, ker dejansko izkorišča dejanske izhode
  226. u226 LLM-ja, v nasprotju z metodami zunaj trenutne politike, ki model dejansko učijo na podlagi fiksnih izhodov, ki jih ni nujno ustvaril model. S tem se vrnimo k našemu primeru.
  227. u227 Predpostavimo, da imamo iste vhode. Zdaj je model prednaučen. Dodatno je naučen s sledenjem navodilom. In prilagojen je tudi preferencam. Zdaj bomo dobili odgovor, ki je morda prijaznejšega tona. Torej tu: »Ali lahko svojega medvedka dam v pralni stroj?« Namesto »Ne« bomo dobili nekaj, kar je morda
  228. u228 prijaznejše. Ne: »Bolje, da ne. Tvoj medvedek bi se lahko poškodoval! Nežno ročno pranje je varnejše.« To metodo lahko torej uporabite, recimo, za spremembo tona.
  229. u229 Sklepanje
  230. u230 Zdaj vam želim govoriti o temi, ki je v zadnjih dveh letih pridobila pomen. To je sklepanje, ki ga bom tu zelo preprosto opredelil kot sposobnost reševanja problema.
  231. u231 Za primerjavo pozivov, ki ne zahtevajo sklepanja, s tistimi, ki ga zahtevajo: če tu zastavite vprašanje, ki temelji na znanju, »Kakšna je oznaka Stanfordovega predmeta Transformers & LLMs?«, je to nekaj, kar veste ali ne veste. To se razlikuje od, recimo, matematičnega vprašanja.
  232. u232 Predpostavimo, da vprašate: v redu, vaš medvedek se je rodil leta 2020. Koliko je star zdaj? Da dobite odgovor, morate malo razmisliti, katero leto je in kakšna je razlika v letih. Ta desni primer je torej vrsta pozivov, pri katerih poskušamo izboljšati
  233. u233 uspešnost modela. Če se spomnite, smo ob koncu predavanja prejšnji teden videli tehniko pozivanja, imenovano veriga misli, ki je poskušala iz modela izvabiti to vedenje tako, da ga je spodbujala, naj razkrije svojo verigo sklepanja
  234. u234 z nekaj primeri. Videli smo torej, da če LLM-ju povemo, recimo pri tem primeru, koliko je star medvedek: da prideš do odgovora, želim, da izpišeš to verigo. Potem se LLM lahko nauči pred odgovorom izpisati verigo sklepanja.
  235. u235 Težava te metode je, da LLM-ju tega ne želimo vedno naročati. Želimo, da to počne sam. In prav to si bomo ogledali tu. Leta 2024, septembra 2024, je bilo podjetje OpenAI, mislim, prvo, ki je poročalo o izboljšani uspešnosti
  236. u236 pri matematičnih in programerskih nalogah z uporabo te tehnike. Kmalu zatem so skoraj vsi drugi vodilni laboratoriji prav tako imeli modele, ki so uporabljali isto strategijo. Videli bomo, kaj natanko ta strategija je.
  237. u237 Zlasti DeepSeek-R1 je bil januarja 2025 prvi model z odprtimi utežmi, ki je dejansko pojasnil, kako to deluje. Ta članek je torej verjetno prvi, ki resnično pojasnjuje, kako se učijo modeli sklepanja.
  238. u238 Tu bomo videli, kako natanko to naredimo. Če bi bili, recimo, leta 2025, bi model sklepanja prepoznali po tem, da je to pisalo povsod v uporabniškem vmesniku. Tu je primer OpenAI — obstajal je model z imenom ChatGPT-5 Thinking.
    How to spot a reasoning model in 2025
    1:15:09 · How to spot a reasoning model in 2025 · A Stanford ICME lecture slide with a screenshot of ChatGPT 5 Thinking answering "My bear was born in 2020. How old is he now?" The model thought for 5 seconds and replied that as of November 3, 2025 the bear is either 5 or 4 years old depending on his birthday. A side "Activity" panel shows its visible reasoning, which marks it as a reasoning model. A small inset shows the lecturer standing at the top right.
  239. u239 Tu je torej namig. Potem pa veriga sklepanja: ker je razmišljal nekaj sekund, je včasih izpisal dejansko verigo, morda v povzeti obliki, imeli pa ste tudi možnost, da razmišlja dlje. Toda preskočimo na danes — ti modeli
  240. u240 so dejansko povsod. Dandanes so skoraj vsi modeli modeli sklepanja. Zato je edino mesto, kjer bi, recimo, pri uporabi OpenAI, ChatGPT in tako naprej, videli namig, da je model model sklepanja, raven napora pri razmišljanju. Povedati želim, da je veriga sklepanja
    Lecture on spotting reasoning models, Stanford ICME
    1:16:02 · Lecture on spotting reasoning models, Stanford ICME · A lecture-hall still shows a man in a pink t-shirt standing beside chalkboards and looking at a projected slide titled "How to spot a reasoning model today". The slide is a ChatGPT screenshot. The user asks "My bear was born in 2020. How old is he now?" and the answer is "5 or 6 years old", depending on whether the birthday has passed in 2026. A "Thinking effort" menu is set to "Extra High". The chalkboards carry handwritten log-probability and preference-optimization equations.
  241. u241 dejansko pomembna, ker zajema prejšnji vnos, ki ga je uporabnik posredoval modelu. Ne vem, ali ste slišali v novicah, toda pred nekaj meseci je
  242. u242 izšel članek, ki je pokazal, da je bilo pri nekaterih zunanjih ponudnikih z eksperimentiranjem z API-jem dejansko mogoče pridobiti celotno verigo sklepanja. Ta članek je povzročil toliko razburjenja zato,
  243. u243 ker lahko te verige sklepanja dejansko vsebujejo veliko informacij o uporabniku, o klepetu, o tem, kar je bilo omenjeno prej, česar iz varnostnih razlogov verjetno ne želite razkriti. Drugi razlog pa je tudi, da veriga sklepanja ne bi bila
  244. u244 razkrita drugim, da bi na njej učili modele, saj bomo videli, da lahko kakovostna veriga sklepanja dejansko izboljša uspešnost vašega modela. Torej le toliko: na splošno je veriga sklepanja nekaj, kar ljudje poskušajo zaščititi, česar ne želijo prikazati,
  245. u245 iz teh dveh razlogov. Zato se je uporabniški vmesnik med letom 2025 5 in danes precej spremenil, ker zdaj verige sklepanja dejansko ne dobite več kar privzeto, kot ste jo nekoč. Zamisel je torej spodbuditi model,
    Enhancing model reasoning abilities: the standard question-to-answer LLM flow
    1:17:47 · Enhancing model reasoning abilities: the standard question-to-answer LLM flow · A Stanford ICME lecture slide titled "Enhancing model reasoning abilities". Under the heading "Until now", it shows a simple pipeline in which a Question goes into an LLM, which produces an Answer. A small video inset in the top right shows a person standing in front of a chalkboard.
  246. u246 da pred odgovorom dejansko izpiše verigo sklepanja. Samo da razjasnimo, kaj je kaj: veriga sklepanja dejansko šteje kot izhod modela. Če torej razmišljate o izhodnih žetonih, morate sklepanje šteti kot njihov del.
  247. u247 Če bi torej razmišljali o uporabi teh modelov sklepanja in imate omejen proračun, imejte v mislih, da vam zaračunajo tako tisto, kar vidite, kot tudi običajno skrito verigo sklepanja, ki jo model ustvari. Tu sem na prosojnicah le označil
  248. u248 dele pri glavnih ponudnikih, kjer je to omenjeno. Ja? Ja. Vprašanje je, ali se lahko model odloči, o čem bo sklepal in o čem ne? Da, običajno ima način, kako se odločiti. To je del procesa učenja. Kot uporabnik lahko to tudi nastavite, običajno s kakšnim stikalom za raven napora pri razmišljanju.
  249. u249 Toda tudi znotraj tega so modeli običajno naučeni razvrščati pozive, ki morda zahtevajo manj napora, in tiste, ki ga zahtevajo več. Kratek odgovor je torej da. Gremo naprej: glavno vprašanje je zdaj, kako lahko naučimo tak model, kako
  250. u250 lahko model spodbudimo, da pred odgovorom izpiše verigo sklepanja. Zamisel je, da model učimo na podlagi nagrad, vendar tokrat to niso nagrade, ki smo jih videli pred nekaj prosojnicami.
  251. u251 Dejansko so preverljive, saj lahko pri matematičnih in programerskih problemih, ko dobite odgovor, ugotovite, ali je pravilen ali napačen. Dal vam bom primer. Predpostavimo, da opravljate programersko nalogo.
    Reasoning-based benchmarks: coding problem and solution
    1:19:45 · Reasoning-based benchmarks: coding problem and solution · A Stanford ICME lecture slide titled "Reasoning-based benchmarks" describes the coding category as solving a coding problem or fixing a bug. It pairs a plain-language problem about teddy bears with a Python function meant to solve it. A small inset at top right shows the lecturer standing near a blackboard.
  252. u252 Imate rešitev. Kako veste, ali deluje? No, izvedete nekaj testnih primerov. Predpostavimo, da želite rešiti matematični problem. Kako veste, ali je rešitev pravilna? No, svoj odgovor preprosto primerjate z referenčno pravilnim odgovorom? Lepo pri tej postavitvi je to,
  253. u253 da lahko za vsak odgovor modela ugotovite, ali je model odgovoril pravilno ali napačno. Zato lahko zasnujete nagrado, ki temelji na končnem odgovoru in tudi na tem, da mora odgovor
  254. u254 vsebovati verigo sklepanja. Tu lahko torej dejansko imate nagrado, sestavljeno iz pravilnosti odgovora in tega, da odgovor vsebuje verigo sklepanja — torej običajno žetone sklepanja.
    GRPO used for reasoning training (Stanford lecture slide)
    1:20:56 · GRPO used for reasoning training (Stanford lecture slide) · A Stanford lecture slide with a maroon header reading "GRPO used for reasoning training". The body only defines the acronym GRPO as Group Relative Policy Optimization and is otherwise blank, with a citation to the DeepSeekMath paper at the bottom. A small inset in the top right shows a person standing near a blackboard.
  255. u255 Skupinsko relativna optimizacija politike (GRPO)
  256. u256 Model bi učili z algoritmi spodbujevalnega učenja. Naslednji teden bomo poglobljeno obravnavali en tak algoritem, ki je postal vse bolj priljubljen in se imenuje GRPO. To pomeni skupinsko relativna optimizacija politike. Ne skrbite glede matematike.
  257. u257 Ogledali si jo bomo naslednji teden. Na zelo splošni ravni pa ob dani poizvedbi, danem pozivu, svojemu LLM-ju, ki je tu politika, naročimo, naj izpiše več odgovorov. Ugotovimo, ali so ti odgovori pravilni ali ne. Nato izračunamo prednosti,
  258. u258 kar pomeni, koliko boljši je dani odgovor glede na skupino. Če je veliko boljši, naj model tega počne več. Če ne, naj tega počne manj, ob tem pa še vedno kaznujemo odstopanje glede na referenčni model.
  259. u259 Cilj je torej spet maksimirati prednosti, ne da bi preveč odstopali od osnovnega modela. Tu gre za isto miselnost. Glavna razlika je, da se dejansko opirate na preverljive nagrade. Modela nagrajevanja ne potrebujete.
  260. u260 Tu zgolj uporabljate svoje znanje o referenčno pravilni rešitvi problema in primerjate, ali se odgovor, ki ga izpiše model, ujema s to rešitvijo. Je to smiselno?
  261. u261 Še enkrat želim poudariti, da si bomo podrobnosti ogledali naslednji teden. Če to naredite, boste videli, da vaš model pri teh problemih sklepanja postaja vse boljši. Na levi imamo uspešnost modela v odvisnosti od koraka spodbujevalnega učenja.
  262. u262 To je merilo, kako daleč ste v procesu učenja. Tu torej postaja vse boljši. Na desni pa imate empirično dolžino verige sklepanja, ki je vse večja. Mislim, da sem vam že povedal, toda 4. predavanje
  263. u263 je tisto, kjer bomo govorili o podrobnostih. Če imamo tu neki problem sklepanja, modelu rečemo, no, zdaj lahko model odgovori na način, ki je usklajen s tem, kar želimo.
  264. u264 Destilacija na podlagi trenutne politike (OPD)
  265. u265 Preden predam besedo Shervinu, vam želim o nečem povedati. Ta pristop ima omejitev, temeljno omejitev: dejansko dobivate zelo grobo nagrado. Nagrado dobite za celoten izhod. Bodisi je celoten izhod pravilen
  266. u266 bodisi je celoten izhod napačen. To je ena težava. Druga težava je, da so imele metode, ki smo jih videli in so imele signal na ravni žetonov, omejitev, da so temeljile na zaporedjih, ki jih dejansko ni
  267. u267 ustvaril model. Takim zaporedjem pravimo zaporedja zunaj trenutne politike. Gre torej za metodo zunaj trenutne politike. Signal je gost, vendar ga ni ustvaril model, zato lahko odstopa od tega, kar model dejansko ustvarja. Torej imamo plus.
  268. u268 Signal je gost, vendar ni iz modela. Po drugi strani pa pri tem, kar smo pravkar videli pri prilagajanju preferencam in učenju modela sklepanja, med učenjem dejansko izkoriščamo izhode modela, vendar se opiramo na redek signal, torej nagrado, ki
  269. u269 je na ravni zaporedja. Nimamo načina, da bi na ravni žetonov ugotovili, kaj je dobro in kaj ni, vsaj pri GRPO ne. Zato se pojavlja nov sklop strategij učenja.
    On-policy distillation: teacher per-token probabilities on student trajectory
    1:25:04 · On-policy distillation: teacher per-token probabilities on student trajectory · A Stanford lecture slide (ICME) explains on-policy distillation: fix a student model's behavior using a stronger teacher model's outputs. For the prompt "What is 5 + (2 × 3)?", the student's generated tokens are shaded by the teacher's conditional probability. Low-probability tokens such as "2" (5%) and "is" (15%) are shaded darkest red, marking where the student went wrong, while "7" and "21" are 99%.
  270. u270 Ena takšna tehnika, ki postaja vse bolj priljubljena, se imenuje destilacija na podlagi trenutne politike. Zamisel te metode je združiti najboljše iz obeh svetov. Ob danem pozivu vaš model ustvari odgovor. Toda namesto da bi se opirali
  271. u271 na redek signal čez celotno zaporedje, model učitelja dejansko prosite, naj oceni vsak posamezen ustvarjeni žeton. Kaznujete odstopanja med svojim modelom, modelom učencem, in modelom učiteljem.
  272. u272 Na zelo splošni ravni je tu tako, kot bi vstavili celotno zaporedje, ki ga učenec ustvarja. Predstavljajte si, da zaporedje ustvarjate po en del naenkrat. Učitelja vprašate, kakšna bi bila njegova napoved. Nato primerjate napoved učenca in učitelja.
    Combining both worlds with on-policy distillation (lecture slide)
    1:26:00 · Combining both worlds with on-policy distillation (lecture slide) · A Stanford ICME lecture slide shows an LLM block taking five input tokens ([BOS], A, teddy, bear, is) with arrows up into it. Arrows then lead from the LLM to five empty light-purple output boxes, one per token position. The outputs are left blank, probably to be filled in during the lecture. A small inset shows the presenter standing near a chalkboard.
  273. u273 In kaznujete odstopanja. Dobro pri tem je, da temelji na trenutni politiki, ker dejansko uporabljate ustvarjanje učenca. Signal pa je tudi gost, ker ga dobivate na ravni žetonov. Obstaja nekaj različic te strategije.
  274. u274 Kako torej dobite učitelja? Če učitelja ni, obstaja različica, imenovana samodestilacija na podlagi trenutne politike: za nalogo uporabite isti model, vendar temu modelu učitelju, ki je isti model, poveste odgovor.
  275. u275 Poveste mu torej odgovor, da ve, kako usmerjati svoj odziv. Ta tehnika se vključuje v, rekel bi, večino vodilnih odprtih belih modelov. Kot primer boste tu videli,
  276. u276 da obstajajo postavitve s specializiranimi učitelji — na primer enim, ki je zelo dober pri matematiki, in drugim, ki je zelo, zelo dober pri, recimo, inženirstvu. Nato izvajate gost nadzor nad modelom, ki ga poskušate naučiti, glede na te modele
  277. u277 učitelje. S tem predajam besedo Shervinu.
  278. u278 Primer od začetka do konca
  279. u279 Hvala, Afshine. V tem zadnjem delu se bomo osredotočili na praktičen primer uporabe. Vse, kar je Afshine omenil, si bomo ogledali v praksi. Obstaja spletna stran Artificial Analysis Intelligence Index, ki jo priporočam.
  280. u280 Če je ne poznate: združuje primerjalne preizkuse in jih pretvori v eno številko, približno to, kar danes velja za inteligenco. To je torej dober način za medsebojno razvrščanje modelov. Ima filter z imenom Open Source Models. Običajno ti odprtokodni modeli
  281. u281 nekoliko zaostajajo za dejansko najnaprednejšimi zaprtokodnimi modeli. Odlično pri njih pa je, da pogosto razkrijejo celoten skrivni recept za pripravo teh LLM-jev in imajo odprte uteži. Tu torej vidimo to lestvico.
  282. u282 Imamo nekaj zmogljivih modelov. Eden ima še posebej odlično tehnično poročilo, GLM — torej GLM-5, ki je izšel v začetku tega leta. Nanj se bomo oprli, da bomo vse, kar je Afshine omenil, videli v praksi.
  283. u283 Skupaj bomo šli skozi vsako fazo učenja velikega jezikovnega modela in pogledali, kaj so vključili v posamezno fazo. Prva faza, ki jo je Afshine omenil, je predhodno učenje, kjer je glavni cilj spoznavanje jezika. Vključili so nekaj spletnih podatkov.
  284. u284 Običajno uporabite Common Crawl, ki vsebuje skoraj vse na internetu. Danes je veliko tega onesnaženega z vsebino, ustvarjeno z umetno inteligenco, in drugimi stvarmi, zato imate hevristike na podlagi teh podatkov, ki
  285. u285 vse skupaj oklestijo. Obstajajo članki, ki pojasnjujejo razloge in način, kako to naredite. Običajno vam na koncu ostane približno 1 % vhoda. To je torej odličen filter. Nato je pravi čas, da model naučite osnovnih področij znanja.
  286. u286 Običajno imate avtoritativna spletna mesta, kot je Wikipedia, ki ponujajo veliko odličnih stvari s področja splošnega znanja. Obstajajo pa tudi druga dejstva, ki morda niso na teh glavnih spletnih mestih, zato morate bolj skrbno izbirati, kaj gre v vašo mešanico podatkov. Afshine je omenil vidik sklepanja
    Pretraining data mix: coding sources slide
    1:30:27 · Pretraining data mix: coding sources slide · A Stanford lecture slide titled "Pretraining data mix" with the Web section greyed out and the Coding section highlighted. It says coding data comes mainly from GitHub and other platforms, with special care for lower-resource programming languages. A small inset in the top right shows a presenter standing near a blackboard.
  287. u287 kot nekaj, kar je danes zelo pomembno. Skupaj s programiranjem je to temelj vsega, kar poganja današnje sisteme. Ko govorimo o agentih oziroma bomo o njih govorili v drugem delu predmeta, gre večinoma za programerske probleme v različnih preoblekah, torej
  288. u288 zato želimo že pri predhodnem učenju učiti napovedovanje naslednjega žetona na programerskih podatkih — običajno z GitHuba in podobnih virov. Včasih pa vas zanimajo jeziki, ki v vaši mešanici morda niso tako zastopani. Primer so zlasti podatki, specifični za mobilne naprave.
  289. u289 Tu je torej potrebno nekaj skrbnega izbiranja. Nazadnje pa za obogatitev učenja uporabite gradivo s podatki, podobnimi sklepanju.
  290. u290 Imate tudi stvari, kot so članki ter matematično in naravoslovno usmerjeno gradivo. Kar zadeva številke, kot je omenil Afshine, faza predhodnega učenja običajno poteka s kratkim kontekstom. GLM-5 je imel približno 4 tisoč žetonov.
  291. u291 Še nekaj velikostnih redov: predhodno učenje je razdeljeno na dve fazi. Prva je zelo groba, kjer želimo samo spoznati jezikovno strukturo in se osredotočamo na spletne podatke. Ko je to končano, pride na vrsto mešanica programiranja in sklepanja
  292. u292 skupaj s spletnimi podatki, vendar v manjšem obsegu. Zdaj bom povedal, kaj natanko se dogaja med učenjem. Tu je bilo vprašanje, česa se dejansko učimo. Učimo se izključno napovedovanja naslednjega žetona. Naš cilj ni ustvarjati uporabnih povedi.
  293. u293 Želimo se le naučiti splošnih konceptov jezika. Nimamo torej lepo oblikovane govorne sekvence, konca zaporedja, učnega svežnja, ki bi ga preprosto vstavili takega, kot je. Imamo ogromno podatkov, ki jih razrežemo na kose, nato pa združujemo dokumente,
  294. u294 ki gredo skupaj naenkrat. Videli boste torej stvari, kot so razrezani in nato združeni dokumenti. Učnega svežnja na primer ne začnete nujno z žetonom za začetek zaporedja. To delate zato, da zapolnite dolžino konteksta.
    Pretraining visualization: "Concatenate and chunk" strategy for LLMs
    1:33:15 · Pretraining visualization: "Concatenate and chunk" strategy for LLMs · A Stanford lecture slide shows how pretraining data is prepared by concatenating documents and chunking them into fixed-length sequences. A box labeled LLM takes a row of tokens as input and outputs the same tokens shifted by one position, for next-token prediction. The span is marked 4K, and documents are separated by [EOS] and [BOS] tokens. A small video inset shows the lecturer at the top right.
  295. u295 Spet smo omenili, da je tipičen velikostni red nekaj tisoč. Zdaj se želim nekoliko bolj osredotočiti na to, kar sem omenil o pomenu skrbnega izbiranja podatkov. Pri prvih LLM-jih, ki so izšli leta 2022, je bilo odlično. Internet je vseboval večinoma podatke, ki so jih ustvarili ljudje.
  296. u296 Zato vam ni bilo treba skrbeti glede kakovosti tega, kdo je prispeval podatke. Želim govoriti o pojavu, imenovanem kolaps modela. Kdo je že slišal zanj? Ja, nekaj vas je. Torej, predstavljajte si, da imate popoln model,
  297. u297 in recimo, da imate na voljo podatke, ki so jih ustvarili ljudje. Recimo, da želite naučiti svoj model. Iz tega večjega korpusa boste vzorčili končno število vzorcev. Toda porazdelitev, ki je tam zunaj, je zelo raznolika.
  298. u298 Za stvari povsem na dolgem repu imate torej lahko neko neničelno verjetnost. Ker pa je vaše vzorčenje končno, pri učenju modela ne boste zajeli vseh teh podrobnosti, kar pomeni, da je izhod vašega modela že po naravi obsojen na neuspeh.
  299. u299 Na izhodu torej ne boste imeli iste porazdelitve. In to ob predpostavki, da je model popoln. Poleg tega pa si predstavljajte, da je model približevalnik. Ne bo izpisal popolne porazdelitve. Uči se je. Da je mera polna — in to ste morda opazili
  300. u300 pri lastni uporabi LLM-jev — v poznejših fazah obstajajo določene preference, ki jih ponudniki in jezikovni strokovnjaki vstavijo v vedenje LLM-ja. Če vam omenim stvari, kot sta »nosilen« in »bajtno identičen«, vas bo to morda spomnilo na vaše izkušnje z LLM-ji.
  301. u301 Njihova pogostost je močno povečana glede na pravo porazdelitev. To je še ena težava, ki se pridruži temu začetnemu opažanju, zato postanejo vse tehnike skrbnega izbiranja, ki jih ti članki poskušajo doseči na začetku, res pomembne.
  302. u302 Vem tudi, da je bilo pred enim ali dvema predavanjema vprašanje o številu epoh, skozi katere gredo tovrstni podatki. Običajno je to [? Of1. ?] Toda v tem članku lahko podatki, ki so po klasifikatorjih kakovostnejši, gredo skozi nekoliko več. Drugi del pa je vmesno učenje —
  303. u303 Afshine je omenil, da tu pridejo v igro kakovostnejši podatki. Pri GLM-5 je bil cilj izključno povečati dolžino konteksta in to narediti tako, da deluje, zato je mešanica podatkov večinoma sestavljena iz daljših podatkov, ki
    Lecture hall with "Midtraining" slide at Stanford
    1:36:10 · Lecture hall with "Midtraining" slide at Stanford · A presenter in a pink t-shirt stands in a lecture hall, looking toward a projected slide titled "Midtraining" that states the objective is scaling to longer context. Chalkboards behind hold handwritten math on language-model log-likelihood loss and a preference-optimization objective. The slide footer cites the GLM-5 Team, 2026, and carries Stanford University and ICME marks.
  304. u304 ustrezajo področjem, ki nas zanimajo. Pri kodi na primer gledamo zahtevke za združitev s prijavljenimi težavami in nato razlike v kodi. Ti običajno zavzamejo veliko več konteksta. Zdaj si lahko privoščite vključiti tudi cele knjige in tako naprej. Zadnjič sem omenil težavo
  305. u305 propadanja konteksta, ko si pri daljšem kontekstu LLM morda težko zapomni dejstvo, omenjeno prej. Tudi to je dobro mesto, da to upoštevate: v sintetične podatke lahko nekje na sredini vstavite dejstvo
  306. u306 in se nato pozneje poskusite sklicevati nanj. To je torej še eno dobro mesto za to. Še nekaj velikostnih redov: podobno kot [? potem ?] pri predhodnem učenju imate več faz — prvo, ki se osredotoča na programiranje, in drugo na druge daljše podatke.
  307. u307 Strategija njihovega učenja pa je nekoliko drugačna. Ta članek natančno navede razliko. Namesto da vse razrežemo na kose in vse preprosto uporabimo za napovedovanje naslednjega žetona, smo tu nekoliko pametnejši. Dokumente poskušamo zapakirati tako, da se prilegajo in niso odrezani.
  308. u308 Temu pravimo pakiranje po najboljšem prileganju. Če ostane preveč prostora, lahko kontekst dopolnimo s polnilom. In ja, tako kot pri predhodnem učenju gre še vedno za napovedovanje naslednjega žetona. Zdaj želimo iz modela narediti uporabnega pomočnika.
    Midtraining best-fit packing of sequences for an LLM
    1:38:09 · Midtraining best-fit packing of sequences for an LLM · A Stanford ICME lecture slide titled "Midtraining visualization" shows the "best-fit packing" strategy. Several documents are packed into one long context window, separated by [BOS] and [EOS] tokens, with [PAD] tokens filling leftover space. The sequence is fed into an LLM box, which predicts the input shifted by one token. The context length is labeled "32K up to 200K".
  309. u309 To je faza SFT, kjer pridejo v igro podatki veliko višje kakovosti. Velikostni red števila žetonov za učenje pa se precej zmanjša. Poudarek je na splošni koristnosti. In kot je omenil Afshine, so pri današnjih modelih ugotovili, da je osredotočenost na sklepanje zelo koristna.
  310. u310 Zato se tja vnese veliko podatkov o sklepanju in kodiranju. Članek omenja tudi strategijo vstavljanja sklepanja, ki vodi do določenih klicev orodij, kar je odlično tudi za učenje sposobnosti sklepanja, kadar želi model izvesti klic orodja.
  311. u311 Videli boste torej prepleteno sklepanje in prisotnost žetonov think. Mislim, da bomo naslednjič to podrobneje omenili. Vse to sklepanje, ki šteje na vašem [? računu ?] in ga ne vidite — razlog, da ga ne vidite, je, da je med žetoni, imenovanimi žetoni think.
  312. u312 To je način, da ima model beležnico o tem, kam mora priti, vendar vam je ne prikaže. Gremo naprej: tokrat ne izvajamo čistega napovedovanja naslednjega žetona. Vse, kar zadeva vhod — recimo, da imate splošen primer uporabe z vprašanji in odgovori.
  313. u313 Imate vhodni poziv. Tam ne poskušate uganiti naslednjega žetona, ker je to uporabnikov vnos. Napovedovanje naslednjega žetona želite prilagoditi odgovoru, ki ga želite od svojega LLM-ja, zato je izguba bolj lokalizirana. Nato zadnja faza, RL — dandanes
  314. u314 se spodbujevalno učenje veliko uporablja za razvoj sposobnosti sklepanja. Članek o GLM-5 to razdeli na tri dele. Prvega imenuje spodbujevalno učenje sklepanja. Imate na primer matematična tekmovanja in druge podobne podatke, pri katerih imate prostor,
  315. u315 da razmislite, kakšen je odgovor, in odgovor, ki je preverljiv. To je torej vrsta podatkov za spodbujevalno učenje sklepanja. Agentsko spodbujevalno učenje — svoj LLM postavite v podporno okolje, kjer lahko na primer poganja teste, da preveri pravilnost svojega početja — na primer
  316. u316 pri odpravljanju napak. Morda želite doseči, da neuspešen test postane uspešen, in tako naprej. Splošno spodbujevalno učenje pa je nekoliko bolj odprto. Vključuje razsežnosti, kot so temeljna pravilnost, čustvena inteligenca in kakovost za posamezno nalogo,
    Post-training RL stages: reasoning, agentic, general
    1:40:47 · Post-training RL stages: reasoning, agentic, general · A Stanford lecture slide titled "Post-training: RL" lists three reinforcement learning stages used to turn a helpful assistant into one that solves tasks reliably. The stages are Reasoning RL, Agentic RL and General RL. A small inset in the top right shows the lecturer standing in front of a blackboard.
  317. u317 ki označujejo kakovost sledenja navodilom. Čustvena inteligenca je mnenje strokovnjaka, ki izbira podatke, o tem, kaj je koristen odgovor, in tako naprej, zato lahko tja vnesejo to mnenje. Tokrat pa — več o tem bomo videli naslednjič.
  318. u318 Ustvarimo torej odgovor. Nato lahko glede na to, ali odgovor ustreza temu, kar iščemo, povečamo utež verjetnosti pojavitve nekaterih žetonov v primerjavi z drugimi. Želim se navezati na zadnjo temo, ki jo je omenil Afshine.
  319. u319 Videli smo veliko faz, ki poskušajo doseči veliko stvari. Morda se sprašujete, ali smo prepričani, da se vse, kar smo se naučili, ohrani. To je upravičena skrb. Včasih se ne, zato je v zadnji fazi spodbujevalnega učenja
  320. u320 faza medfazne destilacije na podlagi trenutne politike, kjer se postopek, ki ga je omenil Afshine, izvaja glede na učitelje iz prejšnjih kontrolnih točk — natančneje tistega po SFT in tistega po prvi fazi spodbujevalnega učenja. S tem zagotovimo, da nismo izgubili nobenih sposobnosti.
    1:42:34
  321. u321 Ti modeli z odprtimi utežmi so torej odlični. Ponujajo tehnične članke z veliko podrobnostmi. Nekaj skrivnega recepta za podatke pa ni vedno izrecno razkritega. Želim le povedati: ohranite kritičen pogled na vse, kar vidite,
  322. u322 ker se v novicah pogosto pojavljajo ponudniki, ki se pritožujejo, da drugi destilirajo njihove podatke. Tudi to je morda del mešanice podatkov, seveda pa ni zapisano v tehničnem poročilu. Obstajajo torej nekatere obtožbe o tem. Omeniti želim tudi primer Pi, programerskega agenta,
  323. u323 ki ga morda že poznate. To je minimalističen agent, ki se ponaša z odlično uspešnostjo ob minimalnem podpornem okolju. Avtor, ki je bil po mojem mnenju med prvimi, ki so res dobro razumeli, kako so lahko ti modeli zelo uspešni, je razumel, da se vse te faze spodbujevalnega učenja
  324. u324 osredotočajo na razvoj sposobnosti sklepanja, zaradi katerih vam v podporno okolje ni treba vnašati preveč konteksta. To je odlična posledica. Zaradi tega boste morda opažali vse manjšo potrebo po inženirstvu podpornega okolja.
  325. u325 Še nekaj iz nedavnih novic: vsi ti podatki o sklepanju in učenje omogočajo napredek, na primer na področju matematike. Zelo nedavno je OpenAI objavil nekaj rešitev odprtih problemov, kar je odlično.
  326. u326 S tem vam želim lep konec tedna. [APLAZ]

Izvirnik

V okolici

web-7ecf4c2a4e3dweb-52d3c45e6aa8slimearxiv-2602.15763GLM-4.7DeepSeek Sparse AttentionGLM-5zai-org/GLM-5 · Hugging FaceStanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 3 – Učenje velikih jezikovnih modelov3. predavanje: Učenje velikih…GLM-5: odprti model podjetja zai-org za…GLM-5DeepSeek Sparse AttentionGLM-4.7arxiv-2602.15763slimeweb-52d3c45e6aa8web-7ecf4c2a4e3d

source

zai-org/GLM-5 · Hugging Face

GLM-5 je velik odprt model organizacije zai-org, predstavljen kot naslednik modela GLM-4.5, namenjen sistemskemu inženirstvu in dolgoročnim agentskim nalogam. Stran na Hugging Face vsebuje kodo za uporabo s Transformers, vLLM, SGLang in Docker, skupaj s tabelami primerjalnih preizkusov, nastavitvami vrednotenja in ukazi za lokalno namestitev. Njeno sporočilo je, da je GLM-5 najzmogljivejši odprtokodni model pri sklepanju, programiranju in agentskih nalogah ter da zmanjšuje zaostanek za najnaprednejšimi modeli.

Prispevek

topic

GLM-5

Velik jezikovni model z odprtimi utežmi iz družine GLM, ki ga je razvil Z.ai (zai-org).

Tema2 viraŠe brez izvirne raziskave

To besedilo je napisano z umetno inteligenco.

Objavljeno v: Zdaj