youtube · talk · 2026-10-09 · Stanford Online

2. predavanje: Veliki jezikovni modeli

Izvirni naslov vira: Stanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 2 – Veliki jezikovni modeli

Veliki jezikovni modeli temeljijo na transformerjih, pri čemer je poleg pristopov, ki temeljijo na predstavitvah, kot je BERT, prevladujoča postala uporaba modelov zgolj z dekodirnikom za generiranje besedila. Njihova učinkovitost je odvisna od uravnoteženja velikosti modela in učnih podatkov, uporabe učinkovitih arhitektur ter izbire primernih metod dekodiranja. Tehnike pozivanja in sklepanja lahko izboljšajo odgovore brez spreminjanja uteži, vendar lahko daljši konteksti poslabšajo priklic informacij in povečajo stroške.

Izbira: Claude desk (agent umetne inteligence)

Video

Kako stojijo trditve

Le tu: 59

Kaj pravi

Transformerski jezikovni modeli omogočajo dva glavna pristopa: BERT se uči dvosmernih predstavitev za naknadno prilagajanje posameznim nalogam, GPT pa besedilo generira avtoregresivno in lahko naloge rešuje na podlagi pozivov. Zakoni skaliranja povezujejo zmogljivost s številom parametrov, učnih žetonov in obsegom računanja; računsko optimalno učenje uravnoteži velikost modela in podatkovne zbirke, stroški izvajanja modela za uporabnike pa dodatno spodbujajo uporabo manjših modelov. Redka mešanica ekspertov poveča zmogljivost, ne da bi aktivirala vsak parameter, pri čemer z naučenim usmerjanjem in izgubami za uravnoteženje obremenitve preprečuje premajhno uporabo ekspertov. Sodobne arhitekture vključujejo rotacijske vložitve položaja, pozornost z drsečim oknom, pozornost z združenimi poizvedbami, normalizacijo pred podslojem in RMSNorm za kodiranje položaja, obvladovanje računskih zahtev in predpomnilnika ter podporo pretoku gradientov. Metode generiranja vključujejo požrešno dekodiranje, iskanje s snopom in vzorčenje, ki ga nadzirata izbira kandidatov in temperatura. Ničelna temperatura ne zagotavlja determinističnega izvajanja modela, dekodiranje s sintaktičnimi omejitvami pa izboljša zanesljivost strukturiranih izhodov. Kontekstna okna vključujejo tudi generirane žetone, daljši konteksti pa lahko poslabšajo priklic informacij. Primeri v kontekstu in prikazi verig sklepanja lahko izboljšajo odgovore brez posodabljanja uteži, vendar povečujejo stroške in lahko spodbujajo pretirano prilagajanje; metoda samoskladnosti stabilizira odgovore z glasovanjem med več potmi sklepanja.
BERT, predstavljen leta 2018, uporablja kodirniški del transformerja in vsem vhodnim žetonom omogoča, da so pozorni drug na drugega. u17–19 · 4:50
Pri nalogi maskiranega jezikovnega modeliranja se izbrani vhodni žetoni v modelu BERT spremenijo, model pa se uči iz konteksta obnoviti izvirne žetone. u26–30 · 8:08 Predavanje maskiranje opisuje kot poenostavitev dejanskega postopka spreminjanja žetonov.
Pri nalogi napovedovanja naslednjega stavka BERT ugotavlja, ali si vhodna stavka v besedilu sledita, s čimer naj bi se naučil odnosov na ravni dokumenta. u31–34 · 9:50
Transformerji s kodirnikom in dekodirnikom uporabljajo dvosmerno pozornost nad vhodom, transformerji zgolj z dekodirnikom pa pozornost vsakega vhodnega žetona omejijo nanj samega in na predhodne žetone. Obe arhitekturi lahko besedilo generirata avtoregresivno. u51–54 · 16:11
FLOPs meri skupno število operacij s plavajočo vejico, FLOPS ali FLOP/s pa število operacij na sekundo in s tem računsko hitrost. u69–71 · 22:14 Gre za razliko med obsegom računanja in hitrostjo računanja.
Predavanje iz študije skaliranja iz leta 2022 navaja približno računsko optimalno razmerje 20 učnih žetonov na parameter modela. u76–77 · 24:39 Razmerje se nanaša na optimalno uporabo računskih virov pri učenju.
Izguba pri napovedovanju naslednjega žetona, obravnavana v razdelku o zakonih skaliranja, je križna entropija, ki primerja napovedano porazdelitev z dejanskim naslednjim žetonom. u79–80 · 25:45
Jezikovni model zaporedjem žetonov pripisuje verjetnosti. Predavanje velike jezikovne modele opisuje kot velike po številu parametrov, obsegu učnih podatkov in računskih zahtevah. u84–86 · 26:49
Transformer zgolj z dekodirnikom poleg kodirnika odstrani tudi navzkrižno pozornost med kodirnikom in dekodirnikom. Njegovo preostalo ogrodje sestavljata vzročna večglava pozornost in nevronska mreža s prehajanjem naprej. u87–89 · 27:49
Gosta MoE aktivira vse eksperte z različnimi utežmi, redka MoE pa le izbrane eksperte. Redka MoE združi izhode izbranih ekspertov z utežmi, ki jih določi usmerjevalnik. u99–104 · 31:18
Pri opisani pomožni izgubi MoE se delež žetonov, dodeljenih posameznemu ekspertu, obravnava kot konstanta. Vzvratno razširjanje posodablja usmerjevalnik prek verjetnosti usmerjanja, ne prek same diskretne izbire. u122–123 · 38:21
Predavatelj navaja, da sodobne zasnove MoE uporabljajo desetine ali stotine ekspertov namesto zgolj 8 ali 16, kar omogoča podrobnejšo specializacijo. Predavanje navaja tudi empirično ugotovljene izboljšave zmogljivosti zaradi ožje specializiranih ekspertov. u130–131 · 41:06
Novejši vrhunski odprtokodni modeli, prikazani na predavanju, imajo stotine ekspertov, med navedenimi primeri 384 in 256, pri posameznem prehodu naprej pa običajno aktivirajo približno osem ekspertov. Njihove skupne velikosti segajo od več sto milijard do približno bilijona parametrov. u131–134 · 41:29 To so primeri z nedavnega posnetka zaslona, obravnavanega na predavanju, ne trditev o vseh modelih MoE.
Sinusno kodiranje položaja, prikazano na predavanju, dimenziji 2i dodeli sin(ω_i m), dimenziji 2i+1 pa cos(ω_i m), pri čemer je ω_i = 10000^(−2i/d_model). Pari dimenzij z nižjimi indeksi se s položajem spreminjajo hitreje. u161–166 · 51:16 Prikazana formula je pripisana delu Attention Is All You Need.
Položajni odmik pri T5 pred uporabo softmaxa skaliranim rezultatom primerjave poizvedb in ključev prišteje naučen odmik za vsako glavo, ki temelji na relativni razdalji, razvrščeni v razrede. Pri ALiBi pa je odmik pozornosti linearna funkcija razlike med položajema. u186–191 · 1:00:01
RoPE poizvedbe in ključe zavrti glede na položaje njihovih žetonov, namesto da bi dodal odmik pozornosti. Tako dobljena interakcija med poizvedbo in ključem vključuje rotacijo, določeno z relativnim položajem n−m. u194–206 · 1:02:21
RoPE svojo konstrukcijo dvodimenzionalne rotacije razširi na večdimenzionalne vektorje z vrtenjem dvodimenzionalnih blokov za kote, odvisne od indeksa. Afshine Amidi poudarja, da se te položajne konstrukcije ni treba učiti in da jo je mogoče razširiti na poljubne položaje. u207–209 · 1:07:11 Trditev se nanaša na položajno konstrukcijo in ne zagotavlja točnosti modela pri poljubnih dolžinah zaporedij.
RMSNorm spremeni merilo aktivacij, ne da bi jih ponovno centriral, in uporablja naučen faktor skaliranja. Afshine Amidi pravi, da RMSNorm deluje prav tako dobro kot LayerNorm, kar utemeljuje njegovo uporabo. u247–249 · 1:19:42 Primerjava je kvalitativna; odlomek ne vsebuje primerjalnega preizkusa ali izmerjene razlike.
Vzorčenje top-k omeji kandidate za naslednji žeton na k najverjetnejših žetonov. Vzorčenje top-p pa kandidate izbira glede na prag kumulativne verjetnosti. u269–271 · 1:26:51 Razlaga top-p v prepisu je kratka in ubeseditveno nepopolna.
Temperatura T=1 da običajno porazdelitev softmax; višja temperatura izenačuje verjetnosti žetonov, nižja pa povečuje razlike med njimi. Shervine Amidi pojasnjuje, da se pri zelo visoki temperaturi porazdelitev približuje enakomerni, pri zelo nizki pa se verjetnost osredotoči na žeton z najvišjo oceno. u275–280 · 1:28:52
Predavanje kot standardno dolžino konteksta v panogi navaja približno milijon žetonov, kot običajno omejitev izhoda pa približno 100,000 žetonov. u301–303 · 1:37:21 Predavatelj te vrednosti obravnava kot velikostne rede in pravi, da bi lahko novoizdani, neimenovani LLM nakazoval višje omejitve.
Predavanje za grobo oceno števila žetonov navaja približno tri četrtine besede na žeton, 500 žetonov na stran, 100,000 žetonov za knjigo in milijon za obsežno knjigo. u303–304 · 1:38:00 To so približne miselne predstave, ne natančne pretvorbe.
Po navedbah predavanja so avtorji članka o verigi razmišljanja ugotovili, da je prikaz poti sklepanja v pozivih z nekaj primeri modelu pomagal usvojiti te poti in izboljšal njegovo splošno uspešnost. u316–317 · 1:41:42 Odlomek ne navaja preizkušenih modelov, nalog ali velikosti izboljšanja.
Jezikovni model, sestavljen samo iz dekodirnika, lahko izvaja klasifikacijo sentimenta tako, da prejme stavek skupaj z vprašanjem, ali je stavek pozitiven ali negativen. Predavanje dodatno učenje pri tem pristopu predstavlja kot možnost, ne kot nujen korak prilagoditve. u47–49 · 15:12
Pomožna funkcija izgube za uravnoteženje obremenitve lahko preprečuje kolaps usmerjanja tako, da spodbuja usmerjanje približno enakih deležev žetonov k različnim ekspertom. u120–121 · 37:37 Odločitve o usmerjanju se sprejemajo za vsak žeton posebej, ne enkrat za celoten stavek.
Za zanesljivo strukturiran izhod, kot je JSON, Shervine Amidi priporoča vodeno dekodiranje, ki glede na ciljno sintakso omejuje razpoložljive naslednje žetone, namesto da bi se zanašali le na navodilo o obliki izhoda. u289–292 · 1:33:50 Mišljena je uporaba, pri kateri nepravilno oblikovan strukturiran izhod povzroči napake pri nadaljnjem razčlenjevanju.
Predavanje priporoča zgoščevanje konteksta in začenjanje novih klepetov, da bi omejili tveganja kopičenja vse več vhodnega konteksta. u308–309 · 1:39:18
Vložitev žetona CLS v modelu BERT lahko predstavlja celotno vhodno zaporedje, ker samopozornost temu žetonu omogoča interakcijo z vsemi drugimi vhodnimi žetoni. Tako dobljeno predstavitev je nato mogoče uporabiti za naloge, kot je klasifikacija sentimenta. u19–22 · 5:39
Večji jezikovni modeli so lahko učinkovitejši pri izrabi žetonov: določeno raven uspešnosti lahko dosežejo po učenju na manj žetonih kot manjši modeli. u64–67 · 20:32 Učinkovita izraba žetonov ne odpravi omejitve končnega proračuna za računanje.
Predavanje umešča MoE v plasti transformatorja s povezavami naprej, ker te običajno opravijo večino računanja, medtem ko pozornost predvsem omogoča komunikacijo med žetoni. Vsak ekspert je zato nevronska mreža s povezavami naprej. u109–110 · 34:12
Kolaps usmerjanja se krepi sam od sebe: eksperti, izbrani na začetku, prejemajo posodobitve in se izboljšujejo, neizbrani pa ostajajo neuporabljeni. Osredotočanje usmerjanja na majhno podmnožico ekspertov zmanjšuje dejansko velikost modela. u116–119 · 36:07 Ta povratna zanka je razlog za uvedbo pomožne funkcije izgube, ki spodbuja uporabo širšega nabora ekspertov.
Vedno aktivni skupni eksperti lahko opravijo računanje, ki ga potrebuje vsak žeton, in tako preprečijo podvajanje skupnega temeljnega dela med specializiranimi eksperti. u128–129 · 40:23
Skalarni produkt sinusnih položajnih vložitev na položajih m in n je vsota členov cos(ω_i(m−n)), zato je podobnost odvisna od relativnega odmika, ne pa od obeh absolutnih položajev ločeno. Vsota je največja, ko je m enak n. u167–173 · 53:19 Trigonometrična identiteta pojasnjuje, kako lahko kodiranje absolutnega položaja izraža podobnost glede na relativni položaj.
Afshine Amidi trdi, da dodajanje položajnih vložitev vložitvam žetonov vsako plast po nepotrebnem izpostavi absolutnemu položaju. Kodiranje položaja neposredno v mehanizmu pozornosti pa je usmerjeno v operacijo, ki mora presojati odnose med žetoni. u183–186 · 58:59 Mreža s povezavami naprej je predstavljena kot mreža, ki ji ni treba poznati absolutnega položaja žetona.
Zlaganje blokov pozornosti z drsečim oknom žetonu prek vmesnih predstavitev omogoča prejemanje informacij tudi izven njegovega neposrednega okna pozornosti. Afshine Amidi širjenje tega dosega primerja z receptivnimi polji v konvolucijskih nevronskih mrežah. u219–224 · 1:10:59 Lokalna pozornost v eni plasti ne pomeni, da končna predstavitev žetona vsebuje le informacije iz enega lokalnega okna.
Pozornost z združenimi poizvedbami zmanjša pomnilnik za predpomnilnik pri dekodiranju, ker si glave pozornosti znotraj skupin delijo projekcije ključev in vrednosti. Poizvedbe niso enak cilj varčevanja s pomnilnikom, saj se vsaka uporabi le enkrat, prejšnji ključi in vrednosti pa se ohranijo za nadaljnje korake dekodiranja. u232–239 · 1:15:29 Razlog je naraščajoča poraba pomnilnika za shranjene ključe in vrednosti med avtoregresivnim generiranjem.
Pri predhodni normalizaciji se normalizacija izvede pred podplastjo, nato pa se izhod podplasti prišteje prvotnemu vhodu. Afshine Amidi pravi, da ohranitev rezidualnega vhoda zunaj normalizacije rezidualni povezavi omogoča bolj neposredno podporo pretoku gradientov kot pri naknadni normalizaciji. u242–245 · 1:18:13 Pri naknadni normalizaciji se namesto tega normalizira vsota vhoda in izhoda podplasti.
Učenje v kontekstu lahko izboljša odgovore LLM brez spreminjanja njegovih uteži: primeri vprašanj in želenih odgovorov ga lahko implicitno naučijo oblike odgovora in morda tudi sklepanja. u310–312 · 1:40:00 Predavanje primere predstavlja kot alternativo prilagajanju uteži.
Metoda samoskladnosti lahko ustali odgovore, na primer pri aritmetiki, tako da ustvari več poti sklepanja in odgovor izbere z večinskim glasovanjem. u318–319 · 1:42:18 Metoda združuje več generiranih izhodov, namesto da bi se opirala na eno samo pot sklepanja.
Predavanje predstavi dva glavna pristopa na osnovi transformerjev: izračun predstavitev in njihovo dodatno prilagajanje nalogi ali oblikovanje naloge kot generiranje besedila iz besedila. Modeli zgolj z dekodirnikom so postali prevladujoči pristop za generiranje besedila. u56–59 · 18:01
Zakoni skaliranja jezikovnih modelov povezujejo izboljšave zmogljivosti z učnimi podatki, številom parametrov in obsegom računanja. Pri omejenem računskem proračunu je treba velikost modela uravnotežiti s številom učnih žetonov, ne pa zgolj čim bolj povečati modela. u61–74 · 19:23
Modeli z redko mešanico ekspertov omogočajo povečevanje števila parametrov, ne da bi pri vsakem prehodu naprej aktivirali vse parametre. u140–142 · 44:31
Afshine Amidi predstavi RoPE, lokalno pozornost, pozornost z združenimi poizvedbami, normalizacijo pred podslojem in RMSNorm kot pogoste arhitekturne izbire v sodobnih velikih jezikovnih modelih ter jih primerja z izvirnim transformerjem. u249–250 · 1:20:22
Shervine Amidi generiranje z velikimi jezikovnimi modeli opiše kot avtoregresivno: obdelani žetoni tvorijo kontekst za generiranje naslednjih žetonov, enega za drugim. u253–255 · 1:21:11
Kontekstno okno velikega jezikovnega modela poleg uporabnikovega začetnega poziva vključuje tudi generirane žetone, ki se vračajo v vhod, zato je razpoložljivi kontekst povezan z dolžino izhoda. u297–299 · 1:36:01
Več vhodnih žetonov ni vedno bolje: zaradi degradacije konteksta je z rastjo konteksta velikega jezikovnega modela vse težje priklicati posamezno informacijo. u306–309 · 1:38:39
Ali kakovost učnih podatkov vpliva na uspešnost jezikovnega modela? u80–82 · 26:02 Predavatelj priznava, da raziskave prihajajo do različnih sklepov, vendar pravi, da je pri predhodnem učenju pomembnejša količina, kakovost pa postane pomembnejša v poznejših fazah učenja.
Raziskava skaliranja iz leta 2022, obravnavana na predavanju, je ugotovila, da so bili številni takratni jezikovni modeli preveliki glede na svoje učne podatkovne zbirke. Ob enakem proračunu za računanje je manjši model, učen na več žetonih, presegel večjega. u74–76 · 23:57 Predhodna razprava o skaliranju bi lahko vzbudila vtis, da je izbira večjega modela vedno boljša.
Sklepanje z velikimi jezikovnimi modeli je lahko tudi pri temperaturi nič nedeterministično, če združevanje zahtev v pakete spremeni vrstni red operacij s plavajočo vejico. Shervine Amidi te razlike pripisuje neizpolnjeni invariantnosti glede na paket in neasociativnosti seštevanja s plavajočo vejico. u281–287 · 1:30:58 Pri nespremenjenih utežeh, nespremenjenih operacijah in temperaturi nič bi sicer pričakovali enake izhode za enake vhode.
BERT lahko pri nadaljnjih nalogah doseže dobre rezultate z razmeroma malo označenimi podatki, vendar dodatno učenje za posamezno nalogo še vedno zahteva trud. Tudi generiranje besedila iz zasnove, ki temelji samo na kodirniku, ni očitno, čeprav predavanje izrecno pravi, da je mogoče. u38–41 · 12:19 Predavanje razlago generiranja z modelom, sestavljenim samo iz kodirnika, prestavi na predavanje 8.
Jezikovni model, optimiziran glede na računske stroške učenja, morda ni najboljša izbira za uporabo v produkciji. Obdelava velikega števila zahtev je dodatna spodbuda, da model ostane majhen. u78–79 · 25:23 Stroški učenja in stroški ponavljajočega se sklepanja lahko narekujejo različne odločitve pri zasnovi.
Prej obravnavana raziskava zakonov skaliranja je uporabljala goste jezikovne modele, zato njeni rezultati ne določajo neposredno, kako se s povečevanjem obsega obnaša drugačna zasnova MoE. Predavatelj opisuje izvajanje manjših poskusov skaliranja, prilagojenih posamezni arhitekturi, pred izbiro parametrov za večji obseg. u134–137 · 42:32 Poskusi v manjšem obsegu podajo razmerje skaliranja za konkretno arhitekturo, ki jo razvijajo.
Naučene absolutne položajne vložitve nimajo naučenih vnosov za položaje onkraj dolžine učnega zaporedja. Afshine Amidi pravi, da se deterministične formule za položaj tej omejitvi izognejo, in navaja, da so avtorji izvirnega transformatorja z obema pristopoma dosegli približno podobne rezultate. u150–153 · 47:23 Namen je določiti informacije o položaju za daljša zaporedja pri sklepanju, ne da bi se bilo treba naučiti dodatnih položajnih vložitev.
Afshine Amidi opisuje, da se velikost skalarnega produkta poizvedbe in ključa pri RoPE z večanjem razdalje med položajema praviloma zmanjšuje, vendar izrecno pravi, da zmanjševanje ni strogo monotono. u210–211 · 1:08:12 Opis upadanja z razdaljo izraža splošno težnjo, ne pa stroge urejenosti vseh parov žetonov.
Izbira najverjetnejšega naslednjega žetona ne zagotavlja največje skupne verjetnosti dokončanega zaporedja. Iskanje s snopom ohranja k kandidatnih poti za raziskovanje alternativ, vendar zahteva več računanja in ostaja deterministično. u257–263 · 1:22:34 Iskanje s snopom je predstavljeno kot omejeno iskanje, ne kot izčrpna optimizacija verjetnosti zaporedja.
Shervine Amidi trdi, da lahko raznoliki vzorčeni odgovori klepetalnim robotom dajejo manj robotski vtis, medtem ko so deterministični odgovori koristni, kadar je pomembna ponovljivost. Kot primera slednjega navaja ponavljajoče se povzemanje in dosledne ocene pri uporabi LLM kot ocenjevalca. u264–272 · 1:25:05 Primer ponavljajočega se odgovora klepetalnega robota je miselni poskus, saj se lahko konteksti dejanskih zahtev spreminjajo.
Nekaj primerov v pozivu lahko povzroči, da se LLM pretirano prilagodi podanim primerom, namesto da bi sklepal bolj splošno, dodatni vhodni žetoni pa povečajo stroške in zakasnitev. Predavanje pravi, da praktiki primere včasih nadomestijo z ročno oblikovanimi navodili. u313–314 · 1:41:02 Predavanje vedenje, vezano na posamezne primere, postavlja nasproti želenemu poudarku na sklepanju.
Učinkovito modeliranje jezika z velikimi modeli je odvisno od uravnoteženja obsega učenja, arhitekturne učinkovitosti, izbire dekodiranja in strategij pozivanja, ne pa zgolj od povečevanja modela ali dolžine konteksta. Kako se veliki jezikovni modeli na osnovi transformerjev učijo, skalirajo, arhitekturno izpopolnjujejo in uporabljajo za tvorjenje učinkovitih odgovorov?

Kako utemeljuje

thesis Effective LLMs require balanced scale, architecture, decoding, and prompting How are transformer-based large language models trained, scaled, architecturally refined, and used to generate effective responses?
1. theme From representations to task generation Transformers support both task-specific representation learning and text generation, with decoder-only models enabling tasks through prompts.
  1. idea Representations and generation offer two task-solving approaches
    1. example BERT uses bidirectional encoder attention
      1. mechanism CLS attention builds a sequence representation for classification
      2. mechanism Masked prediction trains BERT to recover corrupted tokens
      3. mechanism Sentence prediction trains document-level relationships
      4. counterargument BERT still requires adaptation and complicates generation
    2. example Prompted sentiment classification can avoid fine-tuning
    3. mechanism Different attention patterns both support autoregressive generation
      1. mechanism Decoder-only backbones retain causal attention and feedforward layers
  2. idea LLMs model token probabilities at large scale
2. theme Scale requires balancing competing resources Effective scaling balances parameters, training tokens, and compute, while accounting for serving costs and architectural differences.
  1. idea Compute budgets require balancing model size and tokens
    1. argument Larger models can reach performance with fewer tokens
    2. evidence Smaller models trained longer beat undertrained larger models
    3. evidence Study estimates twenty training tokens per parameter
    4. counterargument Serving costs can favor smaller than training-optimal models
    5. counterargument Dense scaling results require architecture-specific checks for MoE
3. theme Sparse capacity needs effective expert routing Sparse MoE increases capacity without activating every parameter, but requires routing and specialization that make that capacity useful.
  1. idea Sparse experts grow capacity without activating every parameter
    1. mechanism Sparse routing selects and weights only some experts
    2. mechanism Experts replace computationally intensive feedforward layers
    3. counterargument Self-reinforcing routing collapse shrinks effective model capacity
      1. action Balance expert utilization with an auxiliary loss
        mechanism Router gradients flow through probabilities, not discrete selections
    4. mechanism Shared experts avoid duplicating common foundational computation
    5. evidence Finer-grained expert specialization yields empirical performance gains
    6. example Frontier MoEs activate about eight among hundreds
4. theme Architecture targets positional and computational efficiency Modern LLMs refine positional encoding, attention, and normalization to improve how transformers represent relationships and use resources.
  1. idea Modern LLMs refine positions, attention, and normalization
    1. argument Position belongs in attention rather than every layer
      1. example T5 and ALiBi bias attention by relative distance
      2. example RoPE rotations make query-key interactions position-relative
        mechanism Blockwise deterministic rotations extend RoPE to arbitrary positions
        counterargument RoPE distance decay is not strictly monotonic
    2. example Stacked local attention expands the effective receptive field
    3. example Grouped queries reduce memory through shared cached keys
    4. example Pre-norm preserves a direct residual gradient path
    5. example RMSNorm rescales without recentering while retaining performance
  2. idea Deterministic positions avoid learned embedding length limits
    1. example Sinusoidal positions use dimension-dependent sine and cosine frequencies
      1. implication Sinusoidal similarity depends on relative positional offset
5. theme Decoding choices determine generation behavior Autoregressive generation requires choices about search, sampling, reproducibility, and syntactic constraints.
6. theme Longer context is not always better Context capacity must accommodate generated tokens, and accumulating more context can undermine retrieval rather than improve responses.
  1. idea Generated output consumes the available context window
    1. example Reported context and output limits differ substantially
  2. idea Context rot makes longer inputs harder to retrieve
    1. action Compact context and start fresh chats
7. theme Prompting teaches without updating weights Examples and reasoning demonstrations can improve responses, but their benefits must be weighed against overfitting, cost, and latency.
  1. idea In-context examples teach responses without changing weights
    1. counterargument Few-shot examples risk overfitting, cost, and latency
    2. evidence Demonstrated reasoning paths improved few-shot performance
  2. idea Majority voting across reasoning paths stabilizes answers

Kjer vir nasprotuje sam sebi

Večji jezikovni modeli so lahko učinkovitejši pri izrabi žetonov: določeno raven uspešnosti lahko dosežejo po učenju na manj žetonih kot manjši modeli. proti Raziskava skaliranja iz leta 2022, obravnavana na predavanju, je ugotovila, da so bili številni takratni jezikovni modeli preveliki glede na svoje učne podatkovne zbirke. Ob enakem proračunu za računanje je manjši model, učen na več žetonih, presegel večjega.
The token-efficiency advantage of larger models does not necessarily translate into better performance under a fixed compute budget.

Vir, odlomek za odlomkom

Stanford CME295 Transformers & LLMs | Jesen 2026 | Predavanje 2 – Veliki jezikovni modeli

Prepis, preveden z umetno inteligenco iz angleščine.

u1 0:00 Uvod
u2 0:05 Pozdravljeni vsi in dobrodošli na 2. predavanju pri predmetu CME 295. Danes je razburljiv dan, saj bomo govorili o velikih jezikovnih modelih in zlasti o tem, kako so povezani z arhitekturo transformerja, ki smo jo spoznali na prejšnjem predavanju. Preden začnemo, pa bomo ponovili, kaj smo obravnavali zadnjič.
u3 0:29 To bomo naredili na vsakem predavanju, da vidimo, kako se to povezuje s tem, kar bomo obravnavali danes. Če se spomnite, smo se zadnjič spraševali, kako lahko modeli obdelujejo besedilo. Modeli besedila ne razumejo takšnega, kot je, razumejo števila.
u4 0:47 Če se spomnite, smo najprej pogledali, kako besedilo razdeliti na nedeljive enote. Ta postopek se imenuje tokenizacija. Spoznali smo nekaj vrst algoritmov za tokenizacijo. Rekli smo, da je najpogostejši algoritem za tokenizacijo
0:53 · Lecturer in front of "Recap of last episode" slide · A still from a lecture video in a classroom with chalkboards. A man in a dark T-shirt and green pants stands gesturing with both hands while a projected Stanford University / ICME slide behind him shows the sentence "A cute teddy bear is reading." split into tokens. The slide appears to recap tokenization of text, with "teddy bear" kept as one token.
u5 1:06 dandanes tokenizacija na podbesede, saj ponuja dobro ravnovesje med besediščem, ki ga gradi, in dolžino zaporedja vhodnega besedila. Vendar to še ni bilo vse, saj ko
u6 1:23 besedilo razdelite na tokene, je naslednji korak izračun vektorskih vložitev. Če se spomnite, smo spoznali Word2Vec kot način za izračun vložitev, vendar te niso upoštevale konteksta. Nato smo govorili o drugi skupini modelov, ki je bila zelo priljubljena v letih od 2010 do 2019 in se imenuje RNN,
u7 1:45 rekurentne nevronske mreže. Nato smo rekli: v redu, težava je v tem, da običajno pozabljate stvari, ki so se zgodile v preteklosti. Leta 2017 je izšel prelomni članek z naslovom »Attention is All You Need«, ki je dejansko opustil načelo
1:49 · Recap: attention query, keys and values for "teddy bear" · A Stanford ICME lecture slide recapping self-attention on the sentence "A cute teddy bear is reading." The tokens a, cute, teddy bear, is, reading and "." each carry a key (kᵀ) and a value (v). The query for "teddy bear" connects by lines to every token's key. The upper sentence and tokenized row are faded, and a small inset shows the lecturer standing at the right.
u8 2:07 rekurence in uporabil neposredne povezave za izračun smiselnih predstavitev tokenov. Nekaj časa smo namenili oznakam. Če se spomnite, smo imeli poizvedbo, ključ in vrednost, s katerimi smo lahko ugotovili: v redu,
u9 2:28 na katere druge tokene naj bo dani token pozoren? Spoznali smo, da se arhitektura, ki so jo predstavili avtorji, imenuje transformer in da se tukaj prikazana operacija pozornosti dejansko
2:36 · Recap slide: attention and the Transformer architecture · A Stanford ICME lecture slide titled "Recap of last episode..." The right side shows the Transformer encoder-decoder diagram from "Attention Is All You Need" (Vaswani et al., 2017). The left side has a faded illustration of attention on the sentence "A cute teddy bear is reading.", with value, key and query vectors per token and the query for "teddy bear" linked to every key. A small inset in the top right shows a lecturer standing by a blackboard.
u10 2:47 izvaja v plasteh večglave pozornosti, ki so prisotne v kodirniku in dekodirniku. Rekli smo, da je bila ta arhitektura najprej razvita za strojno prevajanje in da se je model v tem kontekstu zelo dobro izkazal.
u11 3:11 Naravno vprašanje je torej: glede na to, da je ta arhitektura pri strojnem prevajanju res zelo uspešna, ali lahko te izboljšave prenesemo na druga področja? To si bomo ogledali v prvem delu. Govorili bomo o različnih različicah
3:26 · Stanford ICME lecture slide: Transformers & Large Language Models · A title slide from a Stanford University ICME lecture video. The left half is white with the Stanford "S" logo and the title "Transformers & Large Language Models". The right half is crimson with an agenda of five topics, and the first is highlighted. A small inset at top right shows a person standing in front of a blackboard.
u12 3:32 izvirne arhitekture transformerja, s katerimi jo je bilo mogoče uporabiti na drugih področjih. Če se spomnite, transformer sestavljata dva glavna dela. Prvi je kodirnik, ki je na levi strani slike.
u13 3:53 Cilj kodirnika je izračunati smiselne vektorske vložitve vhodnega besedila. Tukaj je šlo za strojno prevajanje. Vhodno besedilo si lahko predstavljate kot izvorno besedilo, ki ga želite prevesti. Nato smo imeli na desni strani drugi del, ki
u14 4:12 je dekodirnik, katerega cilj je ustvarjati izhod po en token naenkrat na avtoregresiven način. To počne tako, da je pozoren na vse tokene, ki jih je doslej napovedal,
u15 4:33 in na smiselne vložitve vhoda, ki jih je izračunal kodirnik. To je bil izvirni transformer. Zelo naravno vprašanje je torej: kaj če se poskusimo malo poigrati z arhitekturo?
u16 4:47 BERT in modeli samo s kodirnikom
u17 4:50 Poskusimo pogledati, kaj se zgodi, če vzamemo samo kodirnik. Predpostavimo, da vzamemo samo kodirnik. Ali lahko z njim kaj naredimo? To so ljudje poskusili kmalu po pojavu transformerja, leta 2018, v zelo pomembnem članku z naslovom BERT, kar pomeni Bidirectional Encoder
u18 5:16 Representation from Transformers. Ideja je vzeti samo kodirniške dele transformerja in izkoristiti plast večglave pozornosti, ki izvaja samopozornost nad vsemi svojimi vhodi,
u19 5:39 da so vsi vhodni tokeni pozorni drug na drugega. Tukaj pravijo: če to naredite in uvedete poseben token — tukaj je ta posebni token na levi strani zaporedja in se imenuje token CLS.
u20 6:00 To je klasifikacijski token. Nato se lahko oprete na smiselno kodirano vložitev, ki ustreza tokenu CLS, da ugotovite, o čem govori vhodno zaporedje. Kodirnik namreč tukaj izvaja samopozornost
u21 6:22 med vsemi tokeni. Smiselna vložitev, ki ustreza tokenu CLS, je torej sodelovala z vsemi drugimi tokeni. Ideja modela BERT je, da lahko za neko vhodno besedilo izračunamo smiselno predstavitev
u22 6:47 vhoda in jo nato uporabimo za neko nadaljnjo nalogo. Takrat je bila zelo pogosta naloga na primer prepoznavanje sentimenta. Je ta tvit pozitiven ali ne? Običajno lahko vzamete to vložitev in jo preslikate v ta razred.
u23 7:07 To je en primer. Lahko pa vzamete tudi vložitev določenega tokena in poskusite ugotoviti, ali ta token ustreza, recimo, samostalniku ali glagolu in tako naprej. To je torej ideja.
u24 7:24 Je to smiselno? V redu, odlično. Naslednje vprašanje je, kako tak model dejansko učimo. To poteka v dveh korakih. Prvi korak se imenuje predučenje. Cilj je, da model razume, kako je besedilo napisano.
7:27 · BERT and encoder-only models lecture slide · A Stanford ICME lecture slide explains that BERT stands for Bidirectional Encoder Representations from Transformers. Its idea is to use encoded embeddings to make predictions. The diagram shows the tokens "[CLS] A cute teddy bear is reading [SEP]" entering an encoder block, with the [CLS] position projected into a single encoded embedding. A small video inset shows the lecturer standing at the top right.
u25 7:48 To dosežemo z nadomestnimi nalogami. Če se spomnite, je nadomestna naloga naloga, ki pravzaprav ni vaš končni cilj, temveč način, da dosežete nekaj drugega. Za nas je to nekaj drugega tukaj razumevanje besedila pri modelu.
u26 8:08 Prva nadomestna naloga, s katero učimo ta model, se imenuje modeliranje jezika z maskiranjem, MLM. Ideja je, da model razume, kako so razporejeni tokeni.
u27 8:27 To naredi tako, da vzame vhodno besedilo in ga naključno pokvari. Naključno izbere nekaj tokenov in jih zamaskira. Pravzaprav je postopek nekoliko bolj zapleten, da ne bi uvedli pristranskosti.
8:34 · BERT pretraining with Masked Language Model, Stanford lecture slide · A Stanford lecture slide on BERT and encoder-only models, outlining the strategy's first step: pretraining with proxy tasks, specifically the Masked Language Model (MLM). A green ENCODER box sits above a token sequence "[CLS] A cute teddy bear is reading [SEP]", where "cute" and "reading" are shaded grey, marking them as the masked words. A small inset at top right shows the lecturer standing in a room.
u28 8:45 Ideja pa je pokvariti vhodno zaporedje. Nato izračunamo smiselne vložitve, ki ustrezajo tem pokvarjenim tokenom, da poskusimo napovedati dejanski token — izvirni token,
u29 9:08 ki je bil tam pred pokvarjenim tokenom. Če na primer vzamemo »prisrčen plišasti medvedek bere« in predpostavimo, da pokvarimo »prisrčen« in »bere«, bi bil naš cilj izračunati smiselno predstavitev teh pokvarjenih tokenov in poskusiti
u30 9:28 napovedati izvirni token. Model se bo pri tem poskušal opreti na ves mehanizem pozornosti, ki ga izvaja, da iz konteksta sklepa, kateri je bil izvirni token.
u31 9:50 Z drugimi besedami, model poskuša razumeti, kako je jezik zapisan, in ugotoviti, katere besede so verjetne na mestih, kjer nekaj manjka. To je prva nadomestna naloga. Avtorji modela BERT so preizkusili še drugo nadomestno nalogo, imenovano NSP, kar pomeni
10:03 · BERT pretraining with Next Sentence Prediction · A Stanford ICME lecture slide on BERT and encoder-only models. It lists Step 1 of the strategy, pretraining with the proxy task Next Sentence Prediction (NSP). A diagram shows an encoder block fed the tokens "[CLS] Oh wow [SEP] What a cutie [SEP]", with brackets grouping the two sentences. A small video inset shows the lecturer standing at the top right.
u32 10:12 napovedovanje naslednje povedi. Ideja te nadomestne naloge je, da model razume, kako si povedi sledijo. Kot vhod torej podamo dve različni povedi
u33 10:33 in model vprašamo, ali si ti povedi dejansko sledita ali ne. V praksi pogledamo besedilo, vzamemo dve zaporedni povedi, ju vstavimo sem in poskusimo napovedati, da si res sledita. Nato pa dve povedi, ki si ne sledita,
u34 10:52 in napovedati moramo, da si ne sledita. Ideja te nadomestne naloge je, da se model nauči besedila ne na ravni povedi, temveč na ravni dokumenta. To je prvi korak, imenovan predučenje.
u35 11:11 Na tej stopnji predpostavljamo, da model zdaj veliko bolje razume besedilo. Zato lahko preidemo na drugo nalogo. Mimogrede, prva naloga je običajno zelo draga, izvedete jo samo enkrat in model učite na množici podatkov. Druga naloga pa je namenjena temu,
11:23 · Lecture on BERT and encoder-only models at Stanford · A presenter in a dark t-shirt and green trousers stands gesturing in a lecture hall in front of blackboards. A projected slide titled "BERT and encoder-only models" shows the strategy's Step 2, finetuning for a given end task, with an encoder box above the tokens "[CLS] I really love this teddy bear [SEP]". Step 1 (pretraining with proxy tasks) is greyed out.
u36 11:33 da model prilagodite konkretnemu primeru uporabe, ki vas zanima. Če vzamemo primer prepoznavanja sentimenta, kjer poskušamo napovedati, ali je poved, recimo, pozitivna ali negativna, uporabimo projekcijsko plast, ki prejme token CLS, ta pa
u37 11:58 nosi vse informacije iz povedi, in ga preslika v razred — v razrede, ki nas zanimajo, torej pozitivno ali negativno. Za to potrebujete majhen nabor oznak. Potrebujete torej primere z dejanskimi oznakami.
u38 12:19 Nato prilagodite uteži, da lahko to smiselno predstavitev preslikate v želeni prostor. Katere so prednosti in slabosti tega pristopa? Prednost je, da je prinesel precej dobre rezultate. Poleg tega temelji na mehanizmu samopozornosti.
u39 12:43 Imamo torej povezave z obeh strani, kar je tudi razlog za ime BERT, saj pomeni Bidirectional Encoder Representation from Transformers. Druga prednost je, da sicer potrebujete fino prilagajanje, vendar običajno ne potrebujete toliko podatkov, ali od 100.
u40 13:04 Slabost pa je, da za fino prilagajanje sicer potrebujete majhno količino podatkov, vendar morate fino prilagajanje vseeno izvesti. Že to samo po sebi zahteva trud. To je slabost. Druga slabost pa je, da se ob pogledu na ta model morda sprašujete: kako lahko ustvarjam besedilo?
u41 13:26 To ni očitno. Vendar bomo na 8. predavanju videli, da je besedilo dejansko mogoče ustvarjati tudi z modelom samo s kodirnikom. Za zdaj pa predpostavimo, da ni očitnega načina. Več o tem na 8. predavanju.
u42 13:47 GPT in modeli samo z dekodirnikom
u43 13:47 Super. Toliko o modelu samo s kodirnikom. Če se vrnemo k arhitekturi transformerja: poskusili smo odstraniti dekodirnik in uporabiti samo kodirnik. To smo dobili. Kaj pa, če odstranimo kodirnik in poskusimo samo z dekodirnikom?
13:47 · Transformer variant: decoder-only architecture · A lecture slide adapted from the original Transformer diagram, with the encoder block crossed out in red to show that a decoder-only variant drops it. The remaining decoder generates the next token autoregressively. A small inset video in the top right shows a presenter standing in a lecture room.
u44 14:07 Pa poskusimo. Pravzaprav so to ljudje poskusili približno takrat, ko je bil objavljen BERT. Obstajala je še druga veja različic transformerja, ki se je osredotočala na transformerje samo z dekodirnikom. Tak primer je GPT, za katerega
u45 14:27 ste zagotovo že velikokrat slišali in ki pomeni Generative Pre-trained Transformer. Ideja je ohraniti samo dekodirniške dele transformerja in vsako nalogo oblikovati kot problem pretvorbe besedila v besedilo. Kaj to pomeni?
u46 14:52 To pomeni, da imate neko besedilo kot vhod, vaša edina naloga pa je napovedati naslednji token. Tukaj torej začetek zaporedja, en, en, plišasti, plišasti medvedek, bere in tako naprej. Mimogrede, takšno dekodiranje
14:52 · GPT and decoder-only models lecture slide · A Stanford lecture slide defines GPT as Generative Pre-trained Transformer and states the idea of predicting the next token one at a time. A diagram shows a single DECODER box with a [BOS] token as the input beneath it, the start of an autoregressive generation sequence. A small inset at top right shows the lecturer standing in a classroom.
u47 15:12 se imenuje avtoregresivno dekodiranje, saj tokene napovedujete po enega naenkrat. To je ideja modela GPT. Ni vam treba — ni nujno, da izvajate kakršno koli fino prilagajanje, saj je model že pripravljen za prilagoditev kateremu koli primeru uporabe.
u48 15:33 Dal vam bom primer. Prepoznavanje sentimenta. Predpostavimo, da imate tvit, ki ga želite razvrstiti kot pozitivnega ali negativnega. V model preprosto vnesete: je ta poved pozitivna ali negativna? Nato dodate poved.
u49 15:51 Model nato preprosto odgovori pozitivna ali negativna. Finega prilagajanja ne potrebujete, razen če želite model še izboljšati. Fino prilagajanje torej ni obvezen korak, kar je že precej privlačno.
u50 16:10 Kodirnik-dekodirnik v primerjavi s samim dekodirnikom
u51 16:11 Morda pa se sprašujete: zadnjič smo spoznali arhitekturo kodirnik-dekodirnik, izvirni transformer, ki je prav tako ustvarjal besedilo. Kakšna je razlika med tem novim modelom samo z dekodirnikom in modelom kodirnik-dekodirnik? Oba sta si podobna v tem, da lahko ustvarjata besedilo
u52 16:36 avtoregresivno. Pri arhitekturi kodirnik-dekodirnik pa je vhod obravnavan posebej. Podan je v kodirnik in znotraj tega kodirnika lahko vsi tokeni sodelujejo drug z drugim.
u53 16:57 To je torej čista samopozornost. Pri arhitekturi samo z dekodirnikom pa lahko vhodni tokeni sodelujejo le sami s seboj in s tokeni pred njimi. S tokeni za njimi ne morejo sodelovati.
u54 17:16 Pri samem dekodirniku imamo torej vzročno pozornost, pri vhodu arhitekture kodirnik-dekodirnik pa dvosmerno pozornost. To je prva razlika. Druga razlika je, da imamo dodaten kodirnik in moramo posebej poskrbeti za vhod.
u55 17:40 Obravnavamo ga drugače, kar je lahko smiselno pri strojnem prevajanju, saj imamo kot vhod izvorno besedilo, kot izhod pa želimo ciljno besedilo. Pri ustvarjanju besedila pa ni povsem jasno, kaj naj bi bilo vhod.
u56 18:01 Z drugimi besedami, sam dekodirnik je nekoliko splošnejši, saj vse obravnava enako. Ljudje so pri paradigmi besedilo-v-besedilo preizkusili oba pristopa in velika večina se je pravzaprav
u57 18:21 odločila za sam dekodirnik. Želim, da si zapomnite, da so ljudje preizkusili vse različne različice. Zlasti pri ustvarjanju besedila sta obstajali obe paradigmi. Vendar se je do danes ohranila tista samo z dekodirnikom.
18:21 · Encoder-decoder versus decoder-only transformer architectures · A Stanford lecture slide contrasts encoder-decoder models with decoder-only models. The encoder-decoder option on the left is greyed out, and the decoder-only option on the right is highlighted. Its diagram shows the encoder crossed out in red, leaving only the decoder, which generates the next token, and the bullets say both input and output use causal attention. A small inset at top right shows a person standing in a lecture room.
u58 18:44 Eden od razlogov je, da je preprostejša in da vhodov ne obravnava posebej. In ja, ne potrebujete kodirnika za ločeno obravnavo vhoda. Na splošno torej obstajata dve paradigmi. Bodisi izračunate smiselne vložitve in poskusite model fino prilagoditi svojemu primeru uporabe,
u59 19:03 bodisi ga oblikujete kot problem pretvorbe besedila v besedilo. Vse probleme lahko oblikujete kot probleme besedilo-v-besedilo. Drugo vprašanje je, ali je to učinkovito. To je drugo vprašanje. Vendar to lahko naredite. In to ljudje počnejo doslej. Super.
u60 19:23 Zakoni skaliranja
u61 19:23 Kot sem omenil, so se ljudje odločili za arhitekturo samo z dekodirnikom in jo preprosto povečevali, saj so opazili, da deluje vse bolje. Zlasti v začetku dvajsetih let tega stoletja je nekaj člankov dejansko kvantificiralo, koliko
u62 19:44 boljši postaja model, ko ga učite na več podatkih, z več parametri in z več računanja. To si bomo zdaj ogledali. Ta članek iz leta 2020 pravi, da lahko dejansko dobimo skoraj nekakšen zakon, ki
u63 20:09 pove, koliko boljši bo model glede na število tokenov, na katerih ga učite. To je srednji graf, pa tudi glede na velikost modela, kar prikazuje skrajno desni graf. Zato so v letih 2020, 2021 in 2022
u64 20:32 ljudje vse bolj povečevali modele in jih učili na vse več tokenih. Ne le to, avtorji so opazili tudi, da so večji modeli učinkovitejši glede porabe tokenov.
u65 20:52 Kaj to pomeni? Če imate večji model, potrebujete manj tokenov za učenje, da dosežete določeno uspešnost. Kaj torej pomenijo vse te barve na prosojnici? Na osi y je Teslova.
u66 21:11 To je torej uspešnost modela. Nižje je bolje. Os x pa predstavlja število tokenov, obdelanih med učenjem. Te lepe barve povedo, da svetlejša barva pomeni večji model, ki običajno doseže boljšo
u67 21:35 uspešnost prej. Zato pravimo, da so večji modeli tudi učinkovitejši glede tokenov. Za boljše delovanje potrebujejo manj učnih tokenov. Kot si lahko predstavljate, pa je strojna oprema omejena. Nimamo neskončno računskih virov.
u68 21:55 Zato se povsem naravno sprašujete: če imam določen računski proračun, za koliko naj povečam model? In koliko naj ga namenim številu tokenov, na katerih naj ga učim? Preden spregovorimo o tem, želim predstaviti nekaj oznak,
u69 22:14 ki ste jih morda že videli, vendar želim zagotoviti, da jih vsi enako razumemo. Prva je FLOPs, kar pomeni operacije s plavajočo vejico. Bodite pozorni na mali s. Ta enota je namenjena merjenju količine računanja. Višji FLOPs torej pomeni več računanja.
u70 22:38 Za občutek velikostnega reda: FLOPs za učenje velikih jezikovnih modelov je približno 10 na 25. potenco. Lahko pa naletite tudi na drug FLOPS. FLOPS z velikim S ali celo /S. Ta dejansko označuje računsko hitrost. Je merilo zmogljivosti strojne opreme.
u71 23:00 Razlikuje se od prejšnjega FLOPs, vendar ju hitro zamenjamo. Na to sem želel opozoriti. Zdaj pa nazaj k temu, o čemer smo govorili. Živimo v svetu, kjer nimamo neomejenih računskih virov, vsaj za zdaj ne.
23:00 · Lecturer in front of "Notations" slide on FLOPs · A still from a lecture video shows a man in a dark T-shirt and green trousers standing and gesturing in a classroom with blackboards. A projected Stanford/ICME slide titled "Notations" distinguishes FLOPs (total floating-point operations) from FLOPS or FLOP/s (operations per second). The slide gives rough computational performance for a smartphone, a computer and a supercomputer.
u72 23:18 Glede na količino računskih virov, ki jih imate na voljo, je naravno vprašanje: za koliko naj povečam model? In za koliko naj povečam učno množico, na kateri ga učim?
u73 23:36 Leta 2022 je izšel članek, ki je zastavil prav to vprašanje. Ugotovitve so bile precej zanimive. Ugotovil je, da obstaja optimalno ravnovesje med velikostjo modela in velikostjo učnih podatkov.
u74 23:57 Ugotovil je tudi, da je bila večina modelov takrat, leta 2022, premalo učena, kar pomeni, da so bili preveliki glede na število tokenov, na katerih so se učili. Bili so premalo učeni. To je pokazal tudi z učenjem dveh modelov.
u75 24:18 Eden je imel, mislim, 70 milijard parametrov, drugi pa dvesto in nekaj milijard, torej več kot prvi. Oba sta imela enak računski proračun. Prvi model je bil manjši, zato so ga učili na več tokenih.
u76 24:39 Mislim, da so ga učili na 1,4 bilijona tokenov. Drugi, večji model pa so učili na manj tokenih, ker je bil računski proračun enak. Pokazalo se je, da je bil manjši model dejansko uspešnejši. Dobili so torej neko razmerje med številom parametrov
u77 25:01 in številom tokenov za učenje, ki je bilo približno en parameter na 20 tokenov. To je bilo precej pomembno. Veliko ljudi se je vrnilo k svojim modelom in preverilo, ali so računsko optimalni. Ja, tudi to je precej pomemben članek.
u78 25:23 Drugo vprašanje, ki si ga lahko zastavite — če poskusimo razmišljati širše od tega članka — je, kakšen je vaš primer uporabe. Tukaj govorimo o računski optimalnosti učenja. Model pa morate uporabljati tudi v produkciji. Če z njim obdelujete zelo veliko zahtev,
u79 25:45 imate tudi razlog, da ni prevelik. Ampak to je drugo vprašanje. Želel sem ga le omeniti. Ja. Vprašanje je torej, ali gre za izgubo križne entropije. Odgovor je da, ker je vaša naloga napovedovanje naslednjega tokena.
u80 26:02 Doseči želite, da je napoved čim bližje oznaki, ki je naslednji token. Da, običajno uporabljamo križno entropijo in ta je uporabljena tudi tukaj. Ja. Vprašanje je torej, ali je kakovost podatkov pomembna.
u81 26:22 Rekel bi, da je o tem izšlo veliko člankov, mnogi z različnimi sklepi. Rekel bi, da je za predučenje količina pomembnejša od kakovosti. Na 3. predavanju bomo videli, da je pri naslednjih korakih učnega procesa kakovost pomembnejša,
u82 26:43 in to si bomo ogledali. V redu, super.
u83 26:49 Opredelitev velikega jezikovnega modela
u84 26:49 Preidimo k LLM. Zakaj LLM imenujemo LLM? LLM pomeni veliki jezikovni model. Jezikovni model zato, ker je to model, ki zaporedjem tokenov pripisuje določene verjetnosti.
26:49 · Terminology slide: LLM means Large Language Model · A Stanford lecture slide titled "Terminology" on a mostly blank white background. It gives one definition, LLM = Large Language Model, with the initials L, L and M in bold. A small inset at the top right shows the lecturer standing in front of a board.
u85 27:07 V tem primeru gre za model, ki poskuša napovedati naslednji token. Poskušamo torej določiti verjetnost naslednje napovedi. Zakaj pa je velik? Velik je zato, ker je velikost modela velika, običajno v milijardah, celo desetinah ali stotinah milijard
u86 27:27 in celo bilijonih. Tudi učni podatki obsegajo stotine milijard tokenov. Vsaj dandanes gre tudi za desetine bilijonov tokenov. Pa tudi računanje. Potrebujete veliko grafičnih procesorjev. Kot sem omenil, se ljudje dandanes opirajo na transformer samo z dekodirnikom,
u87 27:49 ki je izvirni transformer brez kodirnika. Morda me boste vprašali: če pogledamo dekodirnik, ima komponento navzkrižne pozornosti, ki prejema smiselne vložitve iz kodirnika skupaj s tistimi,
u88 28:13 ki prihajajo iz dekodirnika. In vprašate: kaj se zgodi s to komponento? Tudi to odstranite. Dekodirnik torej ni povsem isti dekodirnik. Odstranite tudi del, ki sodeluje s kodirnikom, in dobite to zelo preprosto ogrodje: plast vzročne večglave pozornosti, ki je pozorna samo
u89 28:34 na posamezni token in tokene pred njim, ter nevronsko mrežo s povezavami naprej, kjer poteka računanje. Super. V redu. Tukaj smo torej videli, da večji model pomeni boljšo uspešnost.
u90 28:57 Videli smo tudi, da obstaja kompromis med številom tokenov, na katerih model učimo, in velikostjo modela.
u91 29:05 Mešanica strokovnjakov (MoE)
u92 29:05 Naravno vprašanje bi bilo: ko imate vhod x v model in je model ogromen, to pomeni, da v njem poteka veliko računanja. Naravno vprašanje je, ali res
29:05 · Lecture on Transformers and Large Language Models at Stanford · A man in a dark t-shirt and green trousers stands in a classroom, turned toward a projected slide. The slide is the title/outline slide for "Transformers & Large Language Models" from Stanford University and ICME, with the topic "Expert routing" highlighted in bold among six agenda items.
u93 29:24 potrebujete vse parametre modela za dani vhod x. Ali jih res potrebujete? To opažanje želim ponazoriti z drugim opažanjem. Predpostavimo, da sem tukaj v sobi, polni ljudi.
u94 29:44 Recimo, da imam matematično vprašanje. Predpostavimo, da vsi prihajate z različnih področij. Recimo, da ste vi strokovnjak za matematiko. Vi ste strokovnjak za fiziko, vi za biologijo. Jaz pa pridem s svojim matematičnim vprašanjem. Naj vprašam vse?
u95 30:00 Ali naj vprašam samo vas? Natanko takšno vprašanje so si zastavili ljudje. Kaj če za dane vhode dejansko aktiviramo samo podmnožico modela namesto vseh parametrov?
30:07 · Motivation: only a subset of weights is used in the forward pass · A Stanford ICME lecture slide titled "Motivation" states the idea that not all weights are useful in the forward pass. A diagram shows input x flowing into a tall box whose top part, highlighted in blue, is labeled "Subset of the huge model" and whose lower part is faded, then an arrow leading out to the output ŷ. It suggests that only part of a large model needs to be active for a given input. A small video inset of the lecturer stands at top right.
u96 30:22 Če to naredimo, bi lahko povečali model, ne da bi imeli stroške izvajanja vseh teh operacij pri vsakem prehodu naprej? Kaj če bi to naredili?
u97 30:39 Izkazalo se je, da obstaja vrsta modela, ki je nastala že pred velikimi jezikovnimi modeli in se imenuje mešanica strokovnjakov. Kdo je že slišal za mešanico strokovnjakov? Da. V redu, odlično. Kakšna je ideja mešanice strokovnjakov? Imate strokovnjake.
u98 30:58 Predstavljajte si strokovnjaka za matematiko, strokovnjake za fiziko in tako naprej. Nato imate vrata, imenovana tudi usmerjevalnik, ki poskuša glede na vhod ugotoviti, katerega strokovnjaka uporabiti in v kolikšni meri.
u99 31:18 Imate na primer vhod x, ki ga pošljete skozi vrata oziroma usmerjevalnik. Usmerjevalnik reče: v redu, strokovnjak 2, to je matematično vprašanje, vprašati moram tebe. Obstaja več vrst mešanic strokovnjakov oziroma MoE. Prva vrsta se imenuje gosta MoE.
u100 31:41 Kaj počne gosta MoE? Še vedno aktivira vse strokovnjake, vendar daje večjo težo tistim, ki so morda pomembnejši. Matematično vprašanje bi na primer dobilo veliko težo pri strokovnjaku za matematiko, morda manjšo pri strokovnjaku za fiziko in morda zelo majhno
u101 31:59 pri strokovnjakih za biologijo. Slabost goste MoE je, da še vedno aktivirate vse parametre. Tega ne želite. Zato v kontekstu velikih jezikovnih modelov dejansko zelo zanimiva vrsta
u102 32:17 ni gosta MoE, temveč redka MoE, ki je vrsta streliva, ki dejansko izbere strokovnjake, ki naj se aktivirajo, in prezre vse druge. To je redka MoE.
u103 32:37 Običajno torej izberemo najboljših k strokovnjakov. k je lahko enak 1, lahko 2 ali nekemu številu, ki ga določite. Izhod, ki ga dobite, torej y s strešico, je vsota izhodov strokovnjakov, uteženih glede na njihovo pomembnost,
u104 32:58 ki jo določijo vrata. To je vsota samo po aktiviranih strokovnjakih — torej k strokovnjakih, ne po vseh.
u105 33:11 Veliki jezikovni modeli na osnovi MoE
u106 33:11 Super. V redu. Vse to je odlično. Zdaj pa se vrnimo v resničnost. Vrnimo se k našemu velikemu jezikovnemu modelu. Če se spomnite, gre za arhitekturo samo z dekodirnikom. To je naše ogrodje. Imam vprašanje za vas. Kam v arhitekturi bi umestili to shemo mešanice strokovnjakov?
33:11 · MoE in Transformer-based models: decoder block starting point · A Stanford lecture slide titled "MoE in Transformer-based models" shows a single transformer decoder block adapted from "Attention Is All You Need". The block stacks Masked Multi-Head Attention, Add & Norm, Feed Forward, and Add & Norm, with residual connections, repeated N times. The right side is empty, likely where the mixture-of-experts modification will be added. A small inset shows a presenter standing at the top right.
u107 33:33 V katero plast bi jo dali? Ima kdo kak predlog? Da. Ja. Odgovor je torej, da lahko vzamete token in ga projicirate, da izberete strokovnjaka.
u108 33:54 Da. To je dejansko vloga usmerjevalnika. Tukaj me res zanima, kam bi v vsem tem umestili celotno mešanico strokovnjakov. Pomagal vam bom. Aha, ja. Oprostite. Ja. Odličen odgovor. Samo ponovil bom natanko to, kar ste rekli.
u109 34:12 Odgovor bi bil nevronska mreža s povezavami naprej, saj se tam običajno izvaja vse računanje. Da, popolnoma se strinjam z vami. Plast večglave pozornosti je dejansko mesto, kjer tokeni komunicirajo. Običajno tam ne izračunavamo smiselnih vložitev
u110 34:31 s projiciranjem. Običajno bi torej izbrali nevronsko mrežo s povezavami naprej. Odličen odgovor. Če se vrnem k vaši pripombi, bi tukaj imeli usmerjevalnik, ki za dani vhod odloči, katerega strokovnjaka aktivirati. Strokovnjak pa bi bil nevronska mreža s povezavami naprej.
34:34 · Mixture of Experts in Transformer feed-forward layers · A Stanford lecture slide shows how a Mixture-of-Experts layer replaces the Transformer's feed-forward block. Input x goes to a gating network G, which selects which of the feed-forward experts FFNN1…FFNNn process x. In the diagram, only FFNN2 is selected (green check) and the others are rejected (red X). The outputs combine into ŷ. A faded Transformer block on the left highlights the Feed Forward component being replaced.
u111 34:54 Torej ja, odličen odgovor. Oprostite. Ja. Vprašanje oziroma pripomba je, da imamo v plasti pozornosti različne glave. Zakaj ne bi glav obravnavali kot strokovnjake? Odlična pripomba.
u112 35:14 Mislim, da lahko navsezadnje poskusite tudi to. Ko že govorimo o tem, bomo dejansko obravnavali manjšo spremembo, ki jo ljudje običajno naredijo pri večglavi pozornosti, saj niso vse glave enako uporabne.
u113 35:30 Na vaše vprašanje bom torej odgovoril čez približno 30 minut. Ja, odlično opažanje. Ja. Vprašanje je, kako usmerjevalnik ve, kdaj aktivirati posameznega strokovnjaka. S čarovnijo vzvratnega razširjanja, s čarovnijo učenja.
u114 35:50 Imate učni proces in želite se naučiti, kako naj se obnaša vsaka komponenta. Preprosto izvedete vzvratno razširjanje in tako se nauči. To je dejansko odlično vprašanje, saj je eno od opažanj
u115 36:03 Izguba za uravnoteženje obremenitve
u116 36:07 lahko naslednje: kaj bi modelu preprečilo, da se pretirano opira na določeno skupino strokovnjakov in ne raziskuje drugih? To je dejansko težava pri učenju velikih jezikovnih modelov na osnovi MoE, ki
u117 36:27 pomeni težnjo modela, da se opira samo na majhno skupino strokovnjakov namesto na vse. Imenuje se kolaps usmerjanja. Obstaja veliko razlogov, zakaj to ni dobro. Eden je, da je dejanska velikost modela manjša od skupnega števila strokovnjakov
u118 36:51 in uteži, ki jih imate. To se običajno zgodi zato, ker so med učenjem nekateri strokovnjaki izbrani že na samem začetku, nato pa se pri posodabljanju uteži ti strokovnjaki, ki so bili aktivirani na začetku,
u119 37:13 običajno posodobijo prvi. Zato postajajo vse boljši, vsi drugi strokovnjaki pa še vedno samo čakajo. Gre za problem, ko bogati postajajo še bogatejši. Zato so ljudje uvedli tudi del tako imenovane izgube, torej gre za
37:34 · Routing collapse in mixture-of-experts and auxiliary loss remedy · A Stanford lecture slide on training challenges in mixture-of-experts models. The symptom, routing collapse, is that the same expert is selected most of the time. The remedy is an auxiliary loss, loss = α·N·Σ f_i·P_i, that forces other experts to take part. The slide cites Switch Transformers (Fedus et al., 2021). A small inset video shows a lecturer at a board.
u120 37:37 pomožno izgubo za uravnoteženje obremenitve, katere cilj je model prisiliti oziroma spodbuditi k raziskovanju drugih strokovnjakov, tako da spodbuja enakomeren ali bolj ali manj enakomeren delež preusmerjenih tokenov
u121 38:00 med strokovnjaki. Morda tega nisem povedal, zato bom zdaj. Usmerjanje poteka na ravni tokenov. Če imate vhodno poved, se vsak token vpraša, h kateremu strokovnjaku naj gre. To torej poteka na ravni tokenov.
u122 38:21 Ta izguba torej spodbuja model — ja. Vprašanje je: če izberete enega ali dva, to ni odvedljivo. Odlično opažanje. Imate operator stop grad, ki nekatere vidike obravnava tako, kot da imajo odvod 0,
u123 38:42 in jih obravnava kot konstante. Skratka, pri izgubi delež tokenov, usmerjenih k strokovnjaku i, obravnavate kot konstanto. Vzvratno razširjanje pa izvajate samo skozi verjetnost usmerjanja. Tako lahko te usmerjevalnike še vedno spreminjate.
u124 39:02 Ja, dobra pripomba. Naj pogledam. Mislim, da smo govorili o tem, da ta pomožna izguba spodbuja model, da izbere tudi druge strokovnjake in da ne pride do težave s kolapsom usmerjanja, ki smo jo
u125 39:24 omenili na začetku. Obstajajo tudi druge težave. Želim vam samo povedati, da je učenje velikega jezikovnega modela na osnovi MoE zahtevno, in to je del teh izzivov. Dobra stran pa je, da boste ob pravilni izvedbi imeli — tukaj na prosojnici vidite
39:38 · Interpreting experts: colored MoE layer code from Mixtral · A Stanford ICME lecture slide titled "Interpreting experts" shows a PyTorch MoeLayer class with each token highlighted in a color. The slide says each color represents an expert, so the highlighting shows which expert handles which code tokens in Layer 0. A small video inset at top right shows a person standing in front of a board.
u126 39:46 vhodno besedilo, kjer barva vsakega odseka označuje določenega strokovnjaka, h kateremu je bil poslan posamezni token. To je na primer pri določeni plasti. To prihaja iz članka o modelu Mixtral. Tukaj je torej model z imenom Mixtral of experts.
u127 40:07 Vidite, da so barve precej raznolike. To pomeni, da svoje strokovnjake dejansko precej dobro izkoriščate. O velikih jezikovnih modelih na osnovi MoE želim povedati še nekaj stvari. Zdaj smo torej v letu 2026.
u128 40:23 Mislim, da je bil ta članek iz leta 2024, kar je na področju umetne inteligence že kar dolgo nazaj. Dandanes ljudje uporabljajo strokovnjake, imajo pa tudi skupne strokovnjake, ki se aktivirajo ne glede na to, katere strokovnjake usmerjevalnik
u129 40:46 oziroma vrata izberejo. Ideja je, da je za vsak token vedno potrebno določeno računanje. Želite preprečiti, da bi se strokovnjaki vedno učili iste osnove in se nato specializirali za nekaj.
u130 41:06 To torej ljudje počnejo dandanes. Druga stvar je število strokovnjakov: ne izberejo 8 ali 16. Izberejo več, 60 ali več sto. Intuitivni razlog za to je, da strokovnjakom preprosto omogočite,
u131 41:29 da so zelo specializirani in zelo ozko usmerjeni. Tudi na grafih vidite, da je uspešnost pri bolj ozko specializiranih strokovnjakih višja. To je torej tudi empirično potrjeno. Ko govorimo o velikostnih redih: pri najnaprednejših odprtokodnih velikih jezikovnih modelih,
u132 41:51 ki so bili objavljeni pred kratkim — ta posnetek zaslona je dejansko star nekaj dni — pri najboljših modelih vidimo, da gre za modele na osnovi MoE. Število strokovnjakov je reda velikosti več sto. Tukaj sta 384 in 256.
u133 42:12 Število strokovnjakov, aktiviranih pri vsakem prehodu naprej, pa je običajno približno osem. Imate tudi skupnega strokovnjaka, ki pa ni splošno uporabljen. V tem primeru ga na primer prvi model ne uporablja. Glede velikosti modela pa gre
u134 42:32 za stotine milijard parametrov ali pri prvem celo za bilijon parametrov. To so torej precej veliki modeli. Da. Odlično vprašanje. Vprašanje je, ali zakon skaliranja še vedno velja za velike jezikovne modele na osnovi MoE.
u135 42:51 Odgovor je, da je tisti članek dejansko temeljil na gostem velikem jezikovnem modelu, ne na modelu na osnovi MoE. V člankih sem videl, da avtorji izvedejo poskuse z zakoni skaliranja za svojo postavitev, z majhnim številom tokenov in majhnimi modeli, da ugotovijo, kakšen zakon velja za to postavitev.
u136 43:15 Glede vašega vprašanja torej mislim, da pri velikih jezikovnih modelih na osnovi MoE avtorji, če menijo, da sta njihova izbira in zasnova zelo drugačni od prej preizkušenih, izvedejo tak zelo majhen poskus in pogledajo, kakšen zakon iz njega izhaja,
u137 43:35 nato pa na tej osnovi izberejo parametre. Ja. Ja. Vprašanje je, zakaj je n, število strokovnjakov, v števcu. Tukaj dejansko seštevate po strokovnjakih.
u138 43:53 Če to zapišete matematično, želite dodati n — ker sta fi in Pi približno deljena z n, je to deljeno z n na kvadrat, krat n pa je približno deljeno z n. Torej je krat n. n pa je število strokovnjakov.
u139 44:13 V redu, odlično. Izvrstno nam gre. Kakšno vprašanje, še kakšno vprašanje? Kaj smo videli do zdaj? Videli smo, da so ljudje preizkusili različne različice transformerja.
u140 44:31 Pogledali so: kaj če vzamemo kodirnik? V redu, to lahko naredimo. Kaj če vzamemo dekodirnik? To obravnavamo kot problem besedilo-v-besedilo. To so povečevali. Opazili so, da se uspešnost vse bolj izboljšuje, ko povečujejo model in število tokenov, na katerih ga učijo.
u141 44:50 Videli smo, da moramo pri prevelikem modelu nekaj ukreniti, da stroški sklepanja niso nori. Zato so ljudje razvili velike jezikovne modele na osnovi MoE, ki omogočajo povečanje števila parametrov brez stroškov aktiviranja
u142 45:11 vseh parametrov pri vsakem prehodu naprej. V tem delu se bomo osredotočili na številne spremembe, ki so jih ljudje uvedli v plasti, opisane v izvirni arhitekturi transformerja.
u143 45:33 Takoj boste videli, kaj mislim.
u144 45:36 Položajne vložitve
u145 45:36 Če se spomnite, arhitektura transformerja temelji na mehanizmu samopozornosti, katerega ideja je vsem tokenom omogočiti komunikacijo z vsemi. Težava pri tem je,
45:36 · Need for position information in attention · A Stanford lecture slide on why transformers need position information: direct query-key links between tokens "lose" position info. It shows the sentence "a cute teddy bear is reading ." with a value vector above and a transposed key vector below each token. The query for "teddy bear" connects by lines to every key, including its own.
u146 45:56 da izgubite informacijo o položajih tokenov, ker imate te neposredne povezave. Če nikjer nimate vključene informacije o položajih posameznih tokenov, izgubite informacijo o tem, kje so tokeni. Izvirni članek o transformerju je preizkusil dva pristopa.
u147 46:23 Prvi je bil učenje položajnih vložitev in prištevanje teh vložitev vložitvam tokenov. Imate torej vhodno zaporedje in tokene. Vsakemu tokenu je pripisan indeks položaja.
u148 46:42 Recimo 1, 2, 3 in tako naprej. Ideja je naučiti se vložitve, povezane z vsakim indeksom položaja. Položaj 1 bo imel svojo vložitev, položaj 2 svojo in tako naprej. Te vložitve bi se naučili.
u149 47:02 Da bi model dejansko vedel, kje je posamezen token, bi, kot vidite na desni, vzeli vložitev tokena in ji prišteli vložitev, značilno za njegov položaj,
u150 47:23 da bi odražali, da je token na točno določenem položaju. Težava tega pristopa pa je, kot smo omenili zadnjič, da če model učite na vhodnih podatkih določene dolžine in med sklepanjem naletite na zaporedje, ki je,
u151 47:48 recimo, daljše, je težava v tem, da nikoli niste naleteli na položaje zunaj tistih, ki ste jih srečali med učenjem. Zato dejansko ne veste, kakšne so vložitve za takšne položaje. Ne veste.
u152 48:06 Zato izvirni avtorji članka o transformerju niso preizkusili le naučenega pristopa, temveč tudi deterministični pristop na osnovi formule, ki si ga bomo takoj ogledali. Ta pristop so preizkusili zato,
u153 48:23 ker se lahko posploši na katero koli dolžino zaporedja, ne da bi model morali učiti na daljših zaporedjih. Dejansko so navedli, da sta oba pristopa dosegla približno enako uspešnost.
u154 48:42 Fiksni pristop je torej boljši in zdaj si ga bomo ogledali. Izhajal bom iz analogije, ki sem jo omenil zadnjič. Ideja deterministične formulacije je vsak položaj izraziti z visokorazsežnim vektorjem.
u155 49:11 Želite, da vam ta vektor natančno pove, na katerem položaju ste. To si torej želite. Želite tudi, da sta položaja vložena tako, da je podobnost med njunima
u156 49:35 vložitvama visoka, če sta položaja blizu, in nizka, če sta daleč narazen. Zdaj bom pojasnil, zakaj so avtorji tako zasnovali formulo in pristop, ki ga
u157 49:52 uporabljajo za položajno vložitev, predlagano tukaj. Če se vrnemo k analogiji, o kateri smo govorili: predpostavimo, da gledate svojo uro. Imate več kazalcev. Imate urni kazalec. Imate minutni kazalec.
50:05 · Hardcoded position embeddings: clock analogy, hour hand · A Stanford lecture slide titled "Hardcoded position embeddings" states the idea of hardcoding position-embedding values. It uses a clock face with a single blue hand, labeled "Hour (slow)", as an analogy for encoding position with a cyclic signal. A small inset in the top right shows the lecturer standing in the room.
u158 50:09 Imate sekundni kazalec. Če vse te kazalce združite, natančno veste, koliko je ura. Vsak od njih se premika z drugačno frekvenco. Urni kazalec vam približno pove, kje v dnevu ste,
u159 50:28 minutni je malo natančnejši. Sekundni pa še natančnejši. Pri položajnih vložitvah bomo naredili nekaj zelo podobnega: imeli bomo funkcije z višjimi in nižjimi frekvencami, tako da boste, ko vse združite v en vektor,
u160 50:54 natančno vedeli, na katerem položaju ste. Zdaj bo malo več matematike. Opozorilo: upam, da se spomnite trigonometričnih formul. Če se jih ne, pa ne skrbite. Ogledali si jih bomo skupaj. Predpostavimo, da ste na položaju m.
u161 51:16 Tukaj gledate dva zaporedna indeksa — 2i in 2i plus 1. Avtorji predlagajo, da je eden kosinus, drugi sinus ali obratno,
u162 51:35 frekvenca teh funkcij pa naj bo odvisna od indeksa. Če je i majhen, imate funkcijo z višjo frekvenco. Če je i velik, imate funkcijo z nižjo frekvenco,
u163 51:55 kar pomeni, da se sinus spreminja počasneje. Če pogledate graf — ne vem, ali dobro vidite osi — na desni strani prosojnice je na osi y položaj, na osi x pa razsežnost.
u164 52:18 Tukaj vidite, da če vzamete prvo vrstico in se premikate navzdol, greste od položaja 1 do poznejših položajev v zaporedju. Vidite, da se prve razsežnosti, prvi indeksi,
u165 52:37 tisti na levi, običajno spreminjajo zelo hitro, tisti na desni, poznejši indeksi, pa veliko, veliko počasneje. Z drugimi besedami, nižji indeksi imajo precej višjo frekvenco. Poznejši indeksi pa precej nižjo.
u166 52:58 Ta na videz strašljiva formula vam torej pove samo to. Gre za spreminjanje kosinusa in sinusa z različnimi frekvencami. Višja frekvenca pri nižjem indeksu, nižja frekvenca pri višjem indeksu. Predpostavimo, da to ogromno formulo označimo z omega i,
53:13 · Hardcoded sinusoidal position embeddings from "Attention Is All You Need" · A Stanford lecture slide explains hardcoding position embedding values. Even dimensions 2i get a sine of ω_i × m, and odd dimensions 2i+1 get a cosine of the same argument. Arrows from the two formula boxes point to the matching cells in a vertical vector for position m. A small inset shows the lecturer standing at a board.
u167 53:19 da se nam ni treba ukvarjati z njo. Kaj se zgodi, če imamo položaj m in položaj n? Kako izračunamo podobnost? Vzamemo skalarni produkt. Če se spomnite, skalarni produkt dveh vektorjev izračunamo tako, da pomnožimo ustrezne komponente in vse seštejemo.
u168 53:43 Na kratko ponovimo trigonometrijo. Kosinus a minus b je kosinus a krat kosinus b plus sinus a krat sinus b, to je trigonometrična formula. Če tukaj vzamete kosinus omega i krat m minus n,
53:58 · Hardcoded position embeddings using the cosine difference identity · A Stanford ICME lecture slide titled "Hardcoded position embeddings" with the idea of hardcoding position-embedding values. It faintly shows the identity cos(a−b)=cos(a)cos(b)+sin(a)sin(b), then applies it to cos(ω_i(m−n)), so a relative position m−n is written in terms of sines and cosines of the absolute positions m and n. A small inset at top right shows the lecturer standing in a lecture room.
u169 54:06 je to dejansko skalarni produkt med tema dvema indeksoma. Vprašanje je, ali je i odvisen od razsežnosti. Da.
u170 54:22 i je torej odvisen od indeksa. Če imate manjši i, bo omega i takšen, da bo frekvenca višja. Da, odvisen je od indeksa. Odlično vprašanje. Če se vrnemo k naši najljubši trigonometrični formuli, želim opozoriti, da je kosinus omega i krat m minus n
u171 54:49 enak skalarnemu produktu teh dveh. Če želite izračunati skalarni produkt celotnih vektorjev, dobite vsoto kosinusov omega i za vse indekse, pomnoženih z m minus n.
54:55 · Hardcoded position embeddings using cosine identity · A Stanford ICME lecture slide on hardcoding position embedding values. Faded trigonometric identities (cos(a−b) expanded into cos·cos + sin·sin) lead to the main result: the inner product of position embeddings PE_m and PE_n contains terms like cos(ω_i(m−n)), so it depends on the relative offset m−n. A small video inset shows the lecturer standing at a board.
u172 55:16 Ali vsi sledite do zdaj? Ja. Zakaj to govorim? Zato, ker je skalarni produkt položajnih vložitev na položajih m in n funkcija razlike m minus n. Morda se spomnite, da je kosinus 0
u173 55:38 največja vrednost, ki jo kosinus lahko zavzame. Z drugimi besedami, ko je m enak n, je vsota največja. Podobnost je torej največja. Vse to pomeni, da če vzamete ta izraz, ki je grafično glede na
55:50 · Hardcoded position embeddings in transformers (Stanford lecture slide) · A lecture slide presents the idea of hardcoding position-embedding values. The left heatmap shows sinusoidal embedding values for positions 0–50 across about 128 dimensions, with fast oscillation at low dimensions and slower, then near-constant stripes at higher ones. The right heatmap shows similarity between positions, with a strong dark diagonal that fades as positions move apart. A small video inset shows a person standing at the right.
u174 56:00 vrednosti vložitev videti tako kot na levi, dobite visoko podobnost med bližnjimi položaji in manjšo podobnost med bolj oddaljenimi položaji. To vidite na desni. Na desni imate položaje na osi x
u175 56:21 in na osi y, za m in n. Vidite, da je pri enakih položajih podobnost največja. Skratka, mislim, da bi vas pogled na formule brez konteksta verjetno prestrašil.
u176 56:39 Upam pa, da so s tega vidika nekoliko manj strašljive. Zdaj vam želim povedati, da bi, če bi bilo vse odlično, danes uporabljali natanko to metodo.
u177 56:59 Toda v resnici je ne. Tega ljudje danes dejansko ne uporabljajo. Uporabljajo nekaj drugega. Razlog je v tem, da vas, če pomislite, položaji tokenov zanimajo v točno določeni plasti.
u178 57:21 Zanimajo vas samo v plasti pozornosti, saj je to plast, kjer dejansko poteka komunikacija. Pri izračunu izraza poskušate ugotoviti, kateri tokeni so pomembni. Zato so ljudje dejansko
57:38 · From absolute to relative position info in attention · A Stanford ICME lecture slide on moving from absolute to relative position information. The motivation is that relative position matters in the attention layer. The slide proposes changing the attention layer instead, with a faded example of query/key/value vectors for "a cute teddy bear is reading." and a faded Transformer diagram from "Attention Is All You Need." A small inset shows the lecturer standing at a board.
u179 57:43 poskušali najti metodo, ki ne vpliva na vse plasti, temveč jo natančno uporabimo samo v plasti pozornosti. Ja. Vprašanje je, ali bi s tem lahko povzročili,
u180 58:03 da bolj oddaljeni tokeni manj sodelujejo. To pa je bila morda težava rekurentnih nevronskih mrež. Zakaj torej to počnemo? Ideja je vnesti nekaj informacije o položaju in intuitivno so bolj oddaljeni tokeni preprosto manj pomembni.
u181 58:21 Vendar niso pomembni. Ideja je torej, da so v relativnem smislu bližji tokeni verjetneje pomembnejši. Še vedno pa ohranjate neposredne povezave in modelu še vedno dajete možnost,
u182 58:39 da s temi tokeni dejansko sodeluje. Razumem torej vaš pomislek. Kljub temu se je to izkazalo za uspešno in odraža idejo, da je pri, recimo, dokumentu z 10 stranmi tisto, kar je v isti povedi,
u183 58:59 verjetno pomembnejše od nečesa zelo oddaljenega, vendar tem tokenom še vedno omogočate sodelovanje. V redu, odlično. Vrnimo se sem. Ena glavnih slabosti prejšnjega pristopa je, da se je ta položajna vložitev dejansko
u184 59:20 prištevala vložitvi tokena, ki so jo nato obdelovale vse plasti. Intuitivno pa tega pravzaprav ne želite, saj želite plasti pozornosti sporočiti, kdaj sta tokena daleč narazen. Ne želite pa svoji nevronski mreži s povezavami naprej sporočiti
u185 59:43 da je vaš žeton na položaju 5 ali na položaju 12, ker nevronski mreži s povezavami naprej ni mar. Povsem mogoče je imeti stavek, v katerem je žeton na položaju 24 namesto 1. To je lahko povsem smiselno že zato, ker
u186 1:00:01 imate več stavkov. Zato so ljudje poskušali to pomanjkljivost omiliti s ciljnimi posegi v plasti pozornosti. Predstavil bom nekaj metod,
1:00:18 · Linear bias in attention layer (T5 bias) · A Stanford lecture slide explaining how a bias is added to query-key attention scores. A diagram shows the query for "teddy bear" (position m) attending to the key for "cute" (position n) in the sentence "a cute teddy bear is reading .". The softmax formula adds bias(m,n) to the scaled dot product, and the T5 bias is learned per head as a function of bucketed relative distance m−n.
u187 1:00:22 ki so jih preizkusili. Ena od njih je metoda, namenjena učenju člena odmika znotraj funkcije Softmax. Če se spomnite, imamo v plasti pozornosti to formulo, za katero priporočam, da si jo zapomnite: Softmax od q krat transponirani k, deljeno z neko skalirno konstanto, krat
u188 1:00:45 v. Znotraj funkcije Softmax se torej dejansko sprašujete, kako relevantna je poizvedba za vse druge ključe. Tu je to pomembno. Ideja je torej naučiti se odmika, ki je odvisen od tega, kako oddaljena sta vaš žeton m in vaš žeton n,
u189 1:01:11 z učenjem odmika. Težava pri tem je, podobno kot pri čisto prvi metodi, da se morate odmika naučiti. Prvič, morda so že vaši učni podatki sami po sebi pristranski. Zato morda ne bo optimalen.
u190 1:01:29 Druga stvar pa je, da tega ni mogoče posplošiti na vse možne razdalje. Zato so preizkušali tudi druge metode. Druga se imenuje ALiBi — torej pozornost z linearnimi odmiki. Tu je ideja, da se ta odmik dejansko spreminja kot funkcija m —
u191 1:01:52 oprostite, n minus m. Torej razdalje med m in n.
u192 1:01:58 Rotacijske pozicijske vložitve (RoPE)
u193 1:01:58 Toda metoda, ki se danes pogosto uporablja, ni ALiBi in ni odmik T5, temveč RoPE. Kdo je že slišal za RoPE? Ja? V redu, odlično. Pogledali si bomo, zakaj je RoPE takšen, kot je. RoPE pomeni rotacijska pozicijska vložitev.
1:01:58 · Linear bias in attention layer (ALiBi) lecture slide · A Stanford ICME lecture slide explaining adding a bias to query-key attention scores. It illustrates with the sentence "a cute teddy bear is reading." where query m ("teddy bear") attends to key n ("cute"). The softmax formula adds bias(m,n), and ALiBi defines it as a linear, deterministic, unbounded function of distance, while the T5 bias is greyed out.
u194 1:02:21 Ideja za RoPE je, da v plasti pozornosti ne boste dodali odmika. Namesto tega boste neposredno spremenili poizvedbo in ključ. Kako ju bomo torej neposredno spremenili? Naredili boste to, da boste
u195 1:02:40 zavrteli svojo poizvedbo. Zavrteli boste svoj ključ, vsakega v odvisnosti od položaja, na katerem je. Zakaj je to tako privlačno? Ker je lepo to, da ko zavrtite poizvedbo, ko
u196 1:03:02 zavrtite ključ, pri izračunu formule samopozornosti dejansko dobite izraz, ki je funkcija razlike med n in m.
u197 1:03:25 Pogledali si bomo, kako to deluje. Nisem prepričan, ali je kdo med vami strokovnjak za geometrijo in rotacijske matrike. Vektor zavrtite tako, da vzamete ta vektor in imate rotacijsko matriko,
u198 1:03:45 ki jo uporabite na njem. Morda bom to kar zapisal. Če imam tole. Predpostavimo, da imate neki vektor, recimo mu x. Imate torej, recimo, dve dimenziji —
1:03:57 · Lecturer at blank chalkboard in Stanford classroom · A still from a lecture video shows a person with short dark hair, glasses, a dark T-shirt and green trousers standing with their back to the camera. They raise a hand toward the upper left of a large, empty dark-gray chalkboard, as if about to write. A faint "Stanford" watermark is at the lower right, and the edge of a projected slide is partly visible at the top right.
u199 1:04:08 predpostavimo, da imate x in y. In predpostavimo, da je vaš vektor takšen. To pa je, recimo, polmer r. Tu je torej os x enaka x — oprostite, to je R, tu pa imate kot theta,
u200 1:04:32 kosinus theta. Tu pa imate vrednost y, ki je R sinus theta. Predpostavimo torej, da imate to. Vse, kar počnem, je, da izražam
u201 1:04:51 x kot funkcijo nekega kota theta, ki ga že ima. Pokazati vam želim, kaj se zgodi, če rotacijsko matriko pomnožite s tem vektorjem x. Predpostavimo, da imate rotacijsko matriko za, recimo, kot phi, ki je — kar prepisal bom
u202 1:05:14 to, kar je na prosojnicah. Torej kosinus phi, minus sinus phi, sinus phi in nato kosinus phi. Predpostavimo, da svojo rotacijsko matriko dejansko pomnožite
u203 1:05:37 z vektorjem x. Za tiste, ki imate radi množenje matrik in trigonometrične formule, je to najboljši primer, ker bom ravno to pogledal. Tu bi torej izvedli množenje matrik.
u204 1:05:57 Torej R krat kosinus theta kosinus phi minus R kosinus theta — oprostite, minus R sinus phi sinus theta. Kaj je to? To je R kosinus vsote theta in phi. In uganili ste, druga komponenta je enaka, le s sinusom.
u205 1:06:30 Zakaj vse to pišem? Pokazati vam želim, da z množenjem vektorja z rotacijsko matriko vektor zavrtite. Zato imamo to formulo zapisano na prosojnici. Lepo pa je, da če svoj poizvedbeni vektor zavrtite
u206 1:06:52 za neki kot v odvisnosti od m in svoj vektor ključa zavrtite v odvisnosti od njegovega položaja n, dobite rotacijsko matriko, ki je dejansko funkcija n minus m.
u207 1:07:11 Podrobnosti vam bom prihranil. Če pa preprosto izvedete množenje, boste videli, da deluje. To je zelo lepo zato, ker je razširljivo na poljubne položaje. Ničesar se ne učite.
u208 1:07:30 Mimogrede, povedal bom še nekaj: pokazal sem vam le dvodimenzionalni primer. Za posplošitev na, recimo, d-dimenzionalni primer bi to dejansko počeli po dvodimenzionalnih blokih. Rotacijo pa bi izvajali s koti, ki
u209 1:07:54 so funkcija indeksa. Torej glede vašega prejšnjega vprašanja: tudi tu bi imeli kote, ki bi bili funkcija, recimo, pri nižjem indeksu bi bil kot drugačen kot pri poznejšem indeksu. Super.
u210 1:08:12 Lepo pri tej metodi pa je, da če pogledate velikostni red skalarnega produkta med poizvedbo in ključem v odvisnosti od oddaljenosti njunih položajev, vidite, da približno upada, ko sta m in n
u211 1:08:33 bolj narazen. Ni strogo monoton, ker je stvar bolj zapletena. Toda zelo na splošno upada in odraža to, kar želimo pri žetonih, ki so zelo daleč narazen.
u212 1:08:53 To je bil RoPE. Z drugimi besedami, izvirni članek o transformerju je uporabljal pozicijske vložitve, ki so se prištevale, v nasprotju z današnjo uporabo RoPE za kodiranje položaja.
u213 1:09:13 Tako ga torej uporabljajo. Ne uporabljajo pa prištevanja položaja, o katerem smo govorili prej. Zdaj bomo govorili o drugi komponenti, ki je nekoliko drugačna v primerjavi
1:09:28 · Sparse attention: Longformer slide with empty attention grid · A Stanford lecture slide titled "Sparse attention: Longformer" shows an 8x8 grid of pink cells meant as an attention matrix. Rows and columns are labeled with the tokens [CLS], A, cute, teddy bear, followed by ellipses. No cells are highlighted yet, so the sparse pattern has not been revealed. A small inset shows the lecturer standing at the top right.
u214 1:09:28 Pozornost z drsečim oknom (SWA)
u215 1:09:29 z izvirnim transformerjem, in to je plast pozornosti. Omenil sem, da je v kodirniškem delu vsak lahko pozoren na vsakega. V dekodirniškem delu je dani žeton lahko pozoren nase in na žetone pred seboj. Zato je naravno vprašanje, ki so si ga zastavili,
u216 1:09:52 ali morate res biti pozorni na vse v vsaki plasti. To namreč zahteva veliko izračunov. Odgovor je, da morda tega ne potrebujete. Obstaja posebna različica,
u217 1:10:14 ki se imenuje pozornost z drsečim oknom in je namenjena temu, da ste pozorni le do določenega položaja, ki je od vas oddaljen. Ne na vse, temveč le do določene meje. Temu pravijo tudi
u218 1:10:34 lokalna pozornost. Povedati vam želim, da bi morda — verjetno mi boste rekli: v redu, to težavo je imel že RNN. Zakaj torej to počnete? Zato želim poudariti nekaj, za kar upam, da bo smiselno.
u219 1:10:59 Vaš model ni samo en blok. Ni samo en blok dekodirnika. Dejansko vsebuje več blokov. Operacija pozornosti se torej ne zgodi samo enkrat, temveč večkrat. Če imate, recimo, zaporedje žetonov.
1:11:17 · Lecturer at blank blackboard, Stanford classroom · A man seen from behind, in a dark T-shirt and green-gray trousers, raises his hand with chalk to a large empty dark blackboard. A faint "Stanford" watermark is at the lower right, and part of a projected slide is at the top right edge. The board is still blank, so he appears to be about to start writing.
u220 1:11:25 Te žetone bom preprosto natančno ponovil tukaj in, recimo, tukaj. Predpostavimo, da lahko ta žeton sodeluje samo sam s seboj in z enim predhodnim žetonom.
u221 1:11:54 Tu vidite samo sebe in predhodni žeton. Če pa upoštevate, da je podobno tudi ta žeton lahko pozoren nase in na predhodni žeton, lahko ta žeton dejansko vidi predstavitve
u222 1:12:15 žetonov, ki so onkraj te meje. Je to, kar govorim, smiselno? Ja. V redu. Z drugimi besedami, čeprav omejujete žetone, s katerimi lahko sodelujete,
u223 1:12:35 lahko z več naloženimi bloki dejansko sodelujete z bolj oddaljenimi žetoni. Za tiste med nami, ki poznamo tudi področje računalniškega vida, torej če poznate konvolucijske nevronske mreže, je ideja nekoliko podobna receptivnim poljem.
u224 1:12:58 Ko tu izvedete konvolucijo, je dani element dejansko funkcija številnih slikovnih pik, če greste nazaj po verigi. Gre torej za isto idejo. V redu, o plasti pozornosti vam želim povedati še nekaj.
u225 1:13:15 Pozornost z združenimi poizvedbami (GQA)
u226 1:13:18 Mislim, da smo o tem na kratko govorili že prej med predavanjem. Ampak v redu, to bom znova uporabil. Predpostavimo, da smo spet pri modelu, ki vsebuje samo dekodirnik, kar je značilno za velike jezikovne modele.
u227 1:13:41 Predpostavimo, da želite napovedati naslednji žeton. To je vaš zadnji napovedani žeton. Za napoved naslednjega žetona imate več plasti, toda zlasti v plasti pozornosti ste pozorni nase.
u228 1:14:01 Pozorni ste na predhodni žeton, na žeton pred njim in na žeton pred njim. Predpostavimo, da napoveste nov žeton in da ste pri tem novem žetonu za napoved naslednjega žetona pozorni nase, na predhodnega in tako naprej. Vsakič, ko želite napovedati naslednji žeton, torej
u229 1:14:27 izvajate to vzročno pozornost, pri kateri primerjate poizvedbo svojega žetona z vsemi ključi drugih žetonov. In vsakič, ko želite napovedati nov žeton,
u230 1:14:45 ga znova primerjate s ključi prejšnjih žetonov. Lahko torej vsakič, ko izvedete to operacijo, izračunate vse prejšnje ključe ali pa ključe med dekodiranjem shranjujete.
u231 1:15:09 Ko na primer dekodiram tukaj, sem pozoren samo nase. Izračunal sem ključ. Ključ lahko shranite. Napoveste tega. Tu sem torej pozoren sem in na predhodnega — potrebujem torej ključ. Ključ lahko ponovno uporabim. Tu izračunam ključ, ki ga shranim. In ta postopek nadaljujem tako naprej.
u232 1:15:29 Težava pri tem je, da ključi zasedajo pomnilnik. Ko vaše dekodiranje postaja vse daljše, morate te ključe shranjevati. Če se spomnite, je plast pozornosti dejansko plast večglave pozornosti.
u233 1:15:48 Nima torej samo enega ključa, temveč več ključev za isto plast in isti žeton. Zato so poskušali zmanjšati število ključev in vrednosti, ki jih mora ustvariti vsak žeton. Zato imamo to metodo.
u234 1:16:07 Na primer idejo deljenja ključev in vrednosti med glavami. Te metode so zanimive zato, ker ključe za napoved naslednjega žetona vedno potrebujete, zato želite tu prihraniti pomnilnik.
u235 1:16:30 Zato imamo številne metode, kot je pozornost z združenimi poizvedbami, ki med glavami deli projekcijski matriki ključev in vrednosti, ali pa pozornost z združenimi poizvedbami, ki je nekoliko pogostejša in pri kateri imate določeno število skupin, znotraj katerih delite matrike ključev
u236 1:16:51 in vrednosti. To je v nasprotju z izvirno plastjo večglave pozornosti, ki je imela eno glavo, kjer ste imeli vse projekcijske matrike, ki ste se jih morali naučiti. Vse to torej zato, da povem, da ko
u237 1:17:11 ste v položaju, ko ves čas shranjujete ključe in vrednosti za žetone, ki ste jih dekodirali v preteklosti, želite, da jih ne bi bilo treba shranjevati preveč. Nočete zapolniti pomnilnika.
u238 1:17:29 Zato iščejo načine, kako to optimizirati. Eden od njih je preprosto zmanjšati število različnih projekcijskih matrik za ključe in vrednosti, ki se jih morate naučiti. Zato, mislim, nikogar ne skrbi poizvedba, ker poizvedbo
u239 1:17:47 uporabite enkrat in je nato ne potrebujete več. Je to smiselno? Danes torej precej uporabljajo GQA. Med vsem, kar smo videli, boste zelo pogosto videli RoPE. Precej pogosto boste videli lokalno pozornost z drsečim oknom.
u240 1:18:06 Precej pogosto boste videli GQA. In govoriti vam želim še o zadnji stvari,
u241 1:18:13 Predhodna normalizacija v primerjavi z naknadno normalizacijo
u242 1:18:13 in sicer o normalizaciji. V izvirni arhitekturi transformerja. Če se spomnite, je to ob prvem branju članka nekoliko bolj podrobnost. Normalizacijo izvajajo tako, da najprej izvedejo operacijo podplasti, nato rezultat prištejejo vhodom
1:18:13 · Post-Norm layer normalization in Transformers (lecture slide) · A Stanford lecture slide titled "Different kinds of layer normalization" presents the Post-Norm variant, where Output = LayerNorm(x + SubLayer(x)). A diagram shows a transformer block in which Multi-Head Attention and then an FFN each feed an addition (residual) step, followed by a Layer Norm, so normalization comes after the residual connection. A small inset shows the lecturer standing at a blackboard.
u243 1:18:40 in nato normalizirajo. Torej normalizirajo x plus podplast od x. Temu pravimo tudi naknadna normalizacija. Normalizirate torej po operaciji. Razlog, da so menili, da to morda ni najboljši način, pa je, da je tu
u244 1:18:58 ideja rezidualne povezave omogočiti vhodu neposreden prehod, da gradient bolje teče. Tu pa je x dejansko znotraj normalizacije plasti. To ni najbolje. Zato danes ne normalizirajo po operaciji.
u245 1:19:19 Dejansko normalizirajo pred njo. Najprej normalizirajo vhode in jih nato pošljejo v plast. Nato rezultat prištejejo x. Temu pravimo tudi predhodna normalizacija. To je način, da rezidualna povezava opravi svojo nalogo omogočanja pretoka gradienta. Zato boste tudi predhodno normalizacijo videli kot zelo pogosto metodo.
u246 1:19:41 LayerNorm v primerjavi z RMSNorm
u247 1:19:42 In še zadnja stvar, obljubim, in sicer sama normalizacija plasti. V izvirnem transformerju normaliziramo po vseh aktivacijah tako, da najprej ponovno centriramo x, nato pa imamo člen gama in nato
u248 1:20:02 neki odmik beta, kar pomaga pri stabilnosti učenja in konvergenci. Preizkušali pa so tudi druge metode normalizacije. Zlasti so ugotovili, da normalizacija RMS — RMS pomeni koren povprečja kvadratov — dejansko opravi nalogo prav tako dobro.
u249 1:20:22 Tu vam x ni treba ponovno centrirati, temveč ga morate samo preskalirati in imeti le en faktor, ki se ga morate naučiti. Zato jo radi uporabljajo. Mislim, da so bili to vsi moji triki. Torej samo za povzetek.
u250 1:20:41 Prej so pri normalizaciji uporabljali naknadno normalizacijo in normalizacijo plasti, danes pa uporabljajo predhodno normalizacijo in normalizacijo RMS. Na kratko, danes torej RoPE, lokalna pozornost, gka GQA, predhodna normalizacija in normalizacija RMS.
u251 1:21:07 S tem predajam besedo Shervinu.
u252 1:21:09 Napovedovanje naslednjega žetona
u253 1:21:11 Hvala, Afshin. Zdaj bomo nekaj časa skupaj govorili o napovedovanju naslednjega žetona. Kot je omenil Afshin, veliki jezikovni modeli uporabljajo avtoregresivni postopek, pri katerem začnete z danim naborom že obdelanih žetonov, nato pa ustvarjate druge
u254 1:21:31 enega za drugim. Recimo, da začnete samo z BOS. Nato ustvarite A in nato teddy, bear, is ter dokončate zaporedje. Zdaj je vprašanje, kako ustvarite naslednji žeton. Veste, da se vsi ti obdelajo
u255 1:21:53 skozi te plasti dekodirnika. Imate mehanizem samopozornosti in nevronsko mrežo s povezavami naprej, ki se ponovita n-krat, ker imate n naloženih plasti dekodirnika. Na koncu pa se to z linearno plastjo projicira v prostor vašega besedišča za napoved naslednjega žetona.
u256 1:22:16 Izberete ga lahko na več načinov. Kaj bi bil naraven način? Ker imate verjetnostno porazdelitev, bi bila prva intuitivna misel lahko, da je verjetnostna porazdelitev že opravila veliko dela namesto mene.
u257 1:22:34 Pove, kateri žeton je najverjetnejši. Torej ga preprosto vzemimo. To je ena možnost. Toda ko računate žetone enega za drugim, poskušate neposredno optimizirati naslednji žeton. Ko pa ustvarite celotno zaporedje,
u258 1:22:56 vidite, da celotno zaporedje morda nima optimalne skupne verjetnosti. To je ena slabost tega pristopa. Morda bi se zato želeli bolj usmeriti v skupno verjetnost. Zato imamo tehnike, kot je iskanje s snopom,
u259 1:23:17 ki ne obravnava celotne skupne verjetnosti, ker bi bilo to računsko predrago. Spremlja pa k poti hkrati. Recimo, da želite izračunati naslednji žeton: namesto da bi izbrali samo naslednjega, ves čas upoštevate k poti.
u260 1:23:36 Tu imate torej začetek zaporedja. Tam imate an, ki sta dobra, kot dve najboljši možnosti. Nato ustvarite naslednjo verjetnostno porazdelitev in še naprej ohranjate k najboljših in tako naprej. Kdo mi lahko pove, katero slabost
u261 1:23:58 vidite pri teh dveh tehnikah, ki je še nisem omenil? Ja. Več računanja. Ja, pri drugi, ne pa pri prvi. Iščem nekaj, kar je skupno obema tehnikama. Kaj lahko rečete o ponovljivosti
u262 1:24:25 tega, da vedno izberete žeton z največjo verjetnostjo? Vedno bo isti. Kaj pa iskanje s snopom? Recimo, da ponovite izračune ob istem času. Ali vsakič dobite isto pot ali se spremeni? Ja, odlično.
u263 1:24:46 Torej ja. Ista pot in postopek je determinističen. Odlično. Tu vam želim približati, zakaj to morda ni najbolje, saj bi kot nekdo, ki se poklicno ukvarja z optimizacijo, lahko rekli: v redu, mene to ne moti.
1:24:49 · Predicting next token with beam search · A Stanford ICME lecture slide explaining beam search as a second idea for decoding: keep the k most likely paths. A tree starting at [BOS] highlights the path a → cute → teddy/bear, with other branches faded. The slide notes the problem: more computation and still lacking creativity. A small inset shows the lecturer, and a transformer diagram sits on the left.
u264 1:25:05 Determinizem je lahko dober. Toda pokazati vam želim, zakaj bi vas to zanimalo kot uporabnika. Predpostavimo, da uporabljate klepetalnik katerega od naših priljubljenih velikih jezikovnih modelov in postavite določeno vprašanje, recimo pozdravno sporočilo: »Dobro, pa ti?« Recimo, da vaši prijatelji pošljejo enako sporočilo
u265 1:25:29 in dobite enak odgovor in tako naprej. Morda boste imeli občutek, da je klepetalnik robotski. Ne vem, kako je z vami, ampak robotski klepetalniki niso preveč privlačni, saj se zdi, da so še vedno močno načrtovani, medtem ko bi se vi kot človek morda odzvali nekoliko drugače
u266 1:25:49 na podobne pozive. To, kar sem povedal, je predvsem miselni poskus, saj se lahko v praksi kontekst velikega jezikovnega modela precej spreminja. Recimo, da smo danes 2. oktobra na Stanfordu. Če to vprašanje postavim čez eno uro, se bo kontekst nekoliko spremenil.
u267 1:26:08 Morda bo vključil moj novi čas in druge informacije. Zato to morda ne velja povsem strogo. Vseeno pa vidite to robotsko vedenje. Nedeterministično vedenje pa bi lahko kot možne izbire ponudilo podobno dobro zveneče odgovore, kar je odlično.
u268 1:26:30 Upam, da sem vas prepričal, da determinizem ni najboljši. Za nekatere primere uporabe je lahko dober. O tem bom govoril čez trenutek. Naraven naslednji korak za odpravljanje determinizma pa je vrnitev k tej verjetnostni porazdelitvi
1:26:41 · Predicting next token by sampling from probability distribution · A Stanford ICME lecture slide presenting the "3rd idea" for next-token prediction: sample the next token from the model's probability distribution P(w_{t+1}|C). A bar chart gives probabilities over candidate words, with "kind", "smart", "fluffy" and "gentle" highest and "airplane" and "where" lowest. On the left is the transformer decoder diagram with the Output Probabilities layer highlighted, and a small video inset shows the lecturer at a blackboard.
u269 1:26:51 in preprosto vzorčenje iz nje, saj imate verjetnostno porazdelitev in uteži. Vse naše računske metode nam omogočajo vzorčenje naslednje besede. Torej naredimo to. To lahko storite z dvema metodama, saj se morda ne želite ukvarjati s celotno porazdelitvijo
u270 1:27:11 ves čas. Morda želite izbirati med k najverjetnejšimi naslednjimi žetoni, torej top-k. Druga pogosto uporabljena tehnika pa je top-p, pri kateri želite izbrati žetone, ki imajo določeno verjetnostno
u271 1:27:30 porazdelitev kumulativno. Obljubil sem, da vam bom povedal, kdaj je determinizem potreben. Na primer, če izvajate zahtevne naloge obdelave naravnega jezika, pri katerih potrebujete ponovljivost,
u272 1:27:50 recimo če želite povzeti besedilo. Želite vedno enak izhod, kar je lahko dobro. Na enem od poznejših predavanj bomo govorili o vrednotenju, zlasti o velikem jezikovnem modelu kot sodniku, kjer želite doslednost med dodeljenimi ocenami. To sta torej dobra primera.
u273 1:28:12 V drugih primerih je morda najbolj privlačna ta nedeterministična pot. Zdaj se bom poglobil v podrobnosti tega, kar sem omenil na splošno, in poskrbel, da bo razumljivo. V zadnjih plasteh imate to linearno projekcijo
u274 1:28:31 iz d model, prostora vložitev vašega žetona v danem trenutku. Nato ga projicirate v prostor besedišča. Na podlagi tega uporabite operator Softmax, da ta števila pretvorite v verjetnostno porazdelitev.
u275 1:28:52 Zakaj vam to govorim? Ker želim predstaviti parameter, za katerega ste kot uporabniki morda že precej slišali — temperaturo T, ki pomaga uravnavati dobljeno verjetnostno porazdelitev. Kot vidite, ima običajni operator Softmax
u276 1:29:16 T enak 1. Formula, ki jo vidite na desni, torej velja pri T enako 1. T uvedete takole. Zanima me vaša intuicija o tem, kakšna bo potem verjetnostna porazdelitev. Recimo, da vzamete T večji od 1.
u277 1:29:35 Če imate dano verjetnostno porazdelitev, kako mislite, da se bo spremenila? Ja, eden od komentarjev je: bolj ploska. Ja, odlično. Naj vprašam še obratno. Recimo, da imate zelo majhen t.
u278 1:29:53 Kaj vam pravi intuicija? Ja, komentar je: bolj ostra. Ja, odlično. Je vsem jasno? Če imate majhen T, bo visoki Xi bolj poudarjen. Pri drugih i-jih pa bo vsota spodaj
u279 1:30:14 prevladala. Imeli boste torej le en člen — en indeks, katerega verjetnost bo blizu ena, pri drugih pa bo blizu 0. Ko je T velik, se bodo vsi ti x v eksponentni funkciji, nekaj deljeno s T, znotraj eksponenta približevali 0. Vse bo torej bolj ali manj enakomerno.
u280 1:30:37 Prav to prikazujejo ti grafi. In še nekaj: determinizem je bolj zvezen kot pa zares binarna izbira. Ni se vam treba odločiti samo za vklop ali izklop. Temperaturo lahko prilagajate kot nastavitev.
1:30:37 · Impact of temperature on probabilities (lecture slide) · A Stanford ICME lecture slide titled "Impact of temperature on probabilities". It lists "Small T" and "High T", each paired with a question mark, so the effects are left blank as questions for the audience. A small inset in the top right shows the lecturer standing in front of a blackboard.
u281 1:30:58 Želim pa povedati — govoril sem o determinizmu. Ali se res zgodi? Lahko bi mislili, da se, saj imate v arhitekturi dekodirnika naučene vložitve. V redu, te so med izvajanjem sklepanja deterministično določene. Gredo skozi mehanizem maskirane samopozornosti.
u282 1:31:17 Imate fiksne uteži in fiksne operacije. Lahko bi mislili, da je to fiksno, nevronska mreža s povezavami naprej. Imate dane uteži, ki so fiksne. Množite. To bi moralo biti fiksno in tako naprej. Pri temperaturi 0 bi torej mislili, da je povsem deterministično. Vendar se izkaže, da ni, ker v praksi pogoni za sklepanje velikih jezikovnih modelov
u283 1:31:39 vašo zahtevo združujejo v paket z drugimi. Razlog, da pride do nedeterminizma, je povsem računski. V teoriji bi moralo biti še vedno deterministično. Vendar obstaja koncept invariantnosti glede na paket, ki v nekaterih primerih ni upoštevan.
u284 1:32:00 Močno priporočam ta blog avtorja [NERAZUMLJIVO] kot odlično branje. Podrobno predstavi razlog. Če želite poenostavljeno razlago, gre za neasociativnost seštevanja števil s plavajočo vejico,
1:32:13 · Person drawing box-and-arc diagram on chalkboard · A person in a dark t-shirt and glasses, seen from behind and the side, draws with chalk on a dark chalkboard. On the board are four hand-drawn rectangles in a row, with many curved arcs looping over them and connecting them, and small tick marks beneath each box. A faint "Stanford" watermark appears at the lower right.
u285 1:32:22 pri kateri vrstni red seštevanja vpliva na rezultat. Recimo, da velikemu številu prištejete majhno število in nato to veliko število odštejete: lahko dobite 0.
u286 1:32:42 Če pa to operacijo izvedete ločeno, dobite nazaj to majhno število. Vse je povezano s predstavitvijo števil s plavajočo vejico, ki so približna. Ta odnos torej velja v svetu števil s plavajočo vejico. Ja.
u287 1:33:05 Komentar je torej, da bi bilo treba tenzor računati neodvisno. Izkaže se, da se glede na izvedbo vrstni red operacij znotraj teh tenzorjev spremeni. Da, to je razlog. Blog torej vsebuje več informacij o tem, zakaj natanko
u288 1:33:28 in kako zgraditi jedra, ki to upoštevajo, in je odlično branje. Še kakšno vprašanje? V redu, odlično. Govorili smo o dekodiranju v običajnem primeru. Včasih, zlasti v industrijskem okolju,
u289 1:33:50 želite s temi velikimi jezikovnimi modeli opravljati naloge, za katere bi sicer uporabili kompleksne sisteme. Morda želite ustvariti strukturiran izhod, kot je JSON. Vprašanje, ki si ga morda zastavite: recimo, da želite ustvariti podatek
u290 1:34:10 v tej določeni obliki in vam je to pomembno. Če tega ne naredi pravilno, namreč nadaljnje razčlenjevanje odpove in imate težavo. Kako to storite? Prvi pristop, na katerega bi lahko pomislili, je, da velikemu jezikovnemu modelu preprosto naročite, naj to naredi v obliki JSON, in upate na najboljše.
u291 1:34:29 Pri današnjih modelih, tudi najlažjih, to običajno deluje dobro. Vendar ni 100-odstotno, vi pa želite 100 %. Kako lahko to dosežete? Obstaja koncept vodenega dekodiranja, pri katerem je nabor razpoložljivih žetonov za napoved v naslednjem koraku omejen,
u292 1:34:52 odvisno od skladnje jezika, v katerem želite dekodirati. Recimo, da uporabljate JSON. Veste, da mora biti prvi žeton določen simbol in tako naprej. Tako bi se lahko tega lotili.
u293 1:35:14 V redu, upam, da je bilo vse razumljivo. Zdaj bomo govorili o zanimivem delu, in sicer o oblikovanju pozivov.
u294 1:35:22 Oblikovanje pozivov
u295 1:35:23 Predstaviti želim nekaj izrazov, da bomo vsi poznali osnovno besedišče. Recimo, da želite velikemu jezikovnemu modelu poslati zahtevo. Običajno ne vnesete samo žetona BOS in mu prepustite ustvarjanja vsega, kar sledi.
u296 1:35:42 Imate določen poziv. Tu bi bil moj poziv lahko plišasti medvedek. Iz njega želim ustvariti naslednje žetone. Vse jih bom torej vnesel kot vhod. Nato bo avtoregresivno izračunaval vsak žeton posebej.
u297 1:36:01 Morda ste že slišali za koncept kontekstnega okna. Kje pride tu v poštev? Pri napovedovanju naslednjega žetona, ne glede na to, kje ste, je vse, kar je na vhodu, vaše kontekstno okno. Ko pogledate celotno napoved,
u298 1:36:23 ko je ta povsem končana, se vsi ustvarjeni žetoni imenujejo izhodni žetoni. Včasih bi morda rekli, da je kontekstno okno natanko tisto, kar kot uporabnik vnesete, vendar je dejansko več kot to, saj mora biti vsak ustvarjeni žeton
u299 1:36:41 ponovno dodan na vhod. Zato morate to upoštevati, ko ob teh velikih številkah pomislite, da lahko vnesete karkoli. Gre za velike številke kontekstnega okna, kot bomo videli na prosojnici. To morate upoštevati. Povezano je torej z dolžino izhoda.
u300 1:37:00 Ja. Vprašanje je torej, zakaj potrebujemo fiksno dolžino konteksta, na primer največjo dolžino konteksta. Razlog je računski. Zelo kmalu bomo videli, zakaj daljši kontekst morda niti ni zaželen. Obstaja torej tudi intuitiven razlog.
u301 1:37:21 To bomo videli čez trenutek. Je razumljivo? Želim navesti nekaj velikostnih redov. Glede dolžine konteksta morda vsi veste za velikostni red milijona vhodnih žetonov, kar je standard v panogi.
1:37:28 · Orders of magnitude: LLM API model specs compared · A Stanford ICME lecture slide titled "Orders of magnitude" shows API page screenshots for three models: OpenAI's GPT-6.1 Sol, Anthropic's Claude Opus 5.5 and Google's gemini-3.1-pro-preview. All three have context windows of about 1 million tokens, with output limits of 128K tokens for the first two and 65,536 for Gemini. Pricing is listed for the first two: $2/$10 per million tokens for GPT-6.1 Sol and $4/$20 for Claude Opus 5.5. A small inset shows the lecturer standing in a room.
u302 1:37:39 Izhodnih žetonov pa je običajno velikostnega reda 100.000. To je veljalo do pred dvema dnevoma, ko sem moral predelati to prosojnico. Pravzaprav bomo morda kmalu tudi tam prešli na milijon. Ta novi veliki jezikovni model pa ni objavil največje vhodne
u303 1:38:00 dolžine. Morda smo tam torej napredovali za en velikostni red. Toda to so uporabni velikostni redi. Da dobite še občutek, kaj pomeni žeton: običajno žeton predstavlja 3/4 besede, stran pa ima približno 500 žetonov.
u304 1:38:22 Ko torej govorite o velikostnih redih: 100.000 žetonov je približno knjiga, milijon pa obsežna knjiga. Zdaj pa nazaj k vašemu vprašanju: ali je več vhodnih žetonov vedno
1:38:38 · Token mental model and orders of magnitude, Stanford lecture slide · A Stanford ICME lecture slide titled "Discussion" gives rules of thumb for converting tokens to words and pages, then scales of token counts. Most of the text is faded, and only the closing question "Are more tokens always better?" is in full black. A small inset video shows the lecturer standing in front of a chalkboard.
u305 1:38:38 Razkroj konteksta
u306 1:38:39 bolje? Paziti morate na pojav, imenovan »razkroj konteksta«. Obstaja preizkus, imenovan igla v kopici sena, pri katerem nekam v kontekstno okno vstavite informacijo, ki vas zanima, naloga pa je njeno priklicevanje.
u307 1:38:56 Izkaže se, da ima veliki jezikovni model z daljšanjem konteksta vse več težav pri priklicu te informacije. Včasih težava izhaja iz samega modela. Zato boste ob izdajah modelov vedno videli, da se stopnja halucinacij zmanjšuje in tako naprej.
u308 1:39:18 Toda tega ne morete povsem rešiti, saj je lahko konceptualno, ko informacijo pomešate med druge, okoli nje toliko šuma, da priklic natanko te informacije ni realistična naloga. Na splošno pa dodajanje vse več vhodnih podatkov
1:39:25 · Lecture slide on "context rot" with GPT-4 needle-in-haystack test · A presenter in a dark T-shirt and green pants stands gesturing in a Stanford lecture room with chalkboards behind him. A projected slide titled "Prompting: risk of 'context rot'" shows a heatmap from the Needle in a Haystack pressure test of GPT-4 128K. Retrieval is mostly accurate (green), but it degrades (red/yellow cells) at long context lengths, roughly 73K–128K tokens, when the fact sits at about 10%–50% document depth.
u309 1:39:41 to tveganje povečuje. Zato pogosto slišite o zgoščevanju konteksta. Vsakič bi morali začeti nov klepet. Te stvari konceptualno še vedno veljajo. Zato nimamo neomejenega kontekstnega okna. To je tudi nekakšna dobra praksa.
u310 1:40:00 V redu, odlično. Zadnje minute bom namenil tehnikam za izboljšanje zmogljivosti, ne da bi spreminjali uteži modela. Obstaja širok koncept učenja v kontekstu, pri katerem namesto poučevanja s prilagajanjem uteži
1:40:16
u311 1:40:21 velikega jezikovnega modela podate primere in rešitve tega, kar želite. Recimo, da model sprašujete o starosti svojega plišastega medvedka. Če ga vprašate brez primerov, v primerjavi s tem, da mu podate nekaj vprašanj in odgovorov, ki ponazarjajo pričakovani odgovor,
u312 1:40:43 se bo model implicitno naučil oblike in morda celo sklepanja, ki ga mora izvesti. Danes boste videli, da se učenje z nekaj primeri uporablja vse manj, ker modeli za sklepanje postajajo vse boljši.
u313 1:41:02 Slaba stran učenja z nekaj primeri pa je, da se model preveč prilagodi konkretnim primerom, ki mu jih podate, vi pa želite, da bi se bolj opiral na sklepanje. Zato boste videli tehnike prilagajanja pozivov, ki te primere pretvorijo v navodila. Takšna navodila običajno oblikujejo ročno
u314 1:41:23 in jih uporabijo namesto primerov. Druge očitne slabosti so tudi več vhodnih žetonov, kar poveča stroške in zakasnitev. Glede sklepanja pa bi lahko rekli: kaj če vanj vključimo nekaj sklepanja?
u315 1:41:42 Veriga misli (CoT)
u316 1:41:42 Obstaja torej prelomni članek z naslovom Veriga misli, ki učenje v kontekstu dvigne na naslednjo raven tako, da model v teh pozivih z nekaj primeri uči, kako priti do rešitve.
u317 1:41:59 Avtorji so opazili, da se je model naučil poti sklepanja in da se je uspešnost na splošno izboljšala. Nočem pa, da bi verigo misli razumeli zgolj kot tehniko učenja v kontekstu. Je veliko več kot to.
u318 1:42:18 Govorili bomo tudi o modelih za sklepanje, pri katerih se uporabljajo žetoni razmišljanja in velja isti koncept. O tem bomo govorili takrat. Tehnika, ki bi jo morda uporabili zunaj sprotnega izvajanja, pa se imenuje samodoslednost. Kaj če namesto ene poti sklepanja
u319 1:42:38 ustvarim več poti? Lepo pri tem je, da postane izhod, ki vas zanima, recimo na področju aritmetike, stabilnejši. Z večinskim glasovanjem lahko pridete do odgovora, s katerim se strinja več ustvarjenih rešitev. Ja, na predavanjih o modelih za sklepanje bomo izvedeli več
u320 1:43:00 o tem. To je vse, kar sem imel danes za vas. Želim vam lep konec tedna. Hvala. [APLavz]

Izvirnik

V okolici

source

BERT v odprti kodi: najsodobnejše predučenje za obdelavo naravnega jezika

Ekipa Google AI Language najavlja odprtokodno izdajo BERT, tehnike predučenja za obdelavo naravnega jezika. BERT je globoko dvosmeren model, vnaprej naučen na neoznačenem besedilu, ki ga je mogoče hitro dodatno učiti na majhnih podatkovnih zbirkah za posamezne naloge. Objava poroča o najboljših doslej doseženih rezultatih pri 11 nalogah obdelave naravnega jezika.

Prispevek

source

Izboljšanje razumevanja jezika z nenadzorovanim učenjem

En sam transformer, ki ni vezan na posamezno nalogo in je predhodno učen z jezikovnim modeliranjem na veliki količini neoznačenih besedil ter nato dodatno učen, dosega najboljše doslej znane rezultate pri številnih raznolikih jezikovnih nalogah. Največje izboljšave dosega pri zdravorazumskem sklepanju in bralnem razumevanju, kar avtor razume kot dokaz, da nenadzorovano učenje razvija ti sposobnosti. Delo prinaša tudi visoke računske stroške, omejitve učenja o svetu iz besedil in nezanesljivo posploševanje.

Prispevek

To besedilo je napisano z umetno inteligenco.

Objavljeno v: Zdaj