Hoe een OpenAI-agent ontsnapte en Hugging Face hackte

Peter Slagter: Door een horde digitale drones? Nee, nee, gelukkig niet.

Bart Mol: Oké. Nou, gelukkig maar. Nou ja, we gaan het er zo even over hebben bij de korte nieuwtjes die we deze week hebben. Maar laten we gewoon eerst eens eventjes terugblikken op op afgelopen week. Of in ieder geval de aflevering van afgelopen week. Ik zag, we hadden hooggeëerd bezoek in onze commentsectie, zag ik langskomen. Moneybird, daar hadden we het over gehad, maar die zaten ook zelf in onze commentsectie. Nou, dat is geinig. Ze zeggen: bedankt voor de mooie woorden. Fijn om te horen dat Moneybird en onze MCP zo goed vallen.

Peter Slagter: Ik mag hopen dat ze bij Moneybird intern nu gewoon wel dit verplicht luistervoer is geworden, Turing Station.

Bart Mol: Ja, precies. En dat er op boardniveau misschien wel eens besproken wordt van: ja, bijvoorbeeld een bepaald soort sponsorship, hè, zo heet dat dan vaak. Ja, daar zouden we zeker voor openstaan. Al is het maar ons abonnementje bijvoorbeeld. Wat, ja, wat een cadeau zou kunnen worden. Ik noem maar iets geks, hè.

Peter Slagter: Een dwarsstraat. Oké.

Bart Mol: Een dwarsstraatje.

Peter Slagter: Ja, ja, jij grijpt dat gelijk met beide handen aan. Slim, slim, dat is, ja, de commerciële tijger in Bart.

Bart Mol: Ja, ja. Ja, precies. Nou ja, zo is het wel jongens, we moeten het ijzer smeden wanneer het heet is. Hé, ja, ik zag nog wat andere leuke dingen. Bert heeft het vorige week natuurlijk gehad over beleggen en AI. Nou, daar waren veel mensen die dat hartstikke leuk vonden. Ik zag vijftien luisteraars die er wel wat meer over willen horen. Natuurlijk, een aantal mensen die ik herkende van onze andere podcast, Satoshi Radio, hè. Gaat over cryptocurrency, over Bitcoin. Daar hebben we het natuurlijk sowieso vaker over beleggen, dat zit een beetje, ja, in elkaar. Dat is nou eenmaal zo met digitale munten, digitaal geld, maar met AI, zoals je vorige week gehoord hebt, is daar ook wel een aantal interessante dingen over te zeggen. Vooral natuurlijk met alle IPO's die plaats hebben gevonden en plaats moeten gaan vinden. Bijvoorbeeld Mark. Ik zie Hans, Gert van de Braak, Roy. Die hebben het allemaal gezegd. Nou ja, we nemen dit mee. Het gaat sowieso vaker terugkomen en in welke vorm, dat gaan we in het eerstvolgende overleg met elkaar eens bespreken en kijken wat we daarmee kunnen.

Bart Mol: Een aantal mensen die blij waren met de concrete toepassingen die je zelf kan maken. En dan ging het natuurlijk vooral over Hermes en Obsidian, hebben we het vorige week lang over gehad, en ook Moneybird en Claude en Codex hadden we vorige week gekoppeld. De gids voor Hermes en Obsidian, je eigen second brain die altijd aanstaat, always on, die kan je terugvinden op turingstation.nl. Wil je het hele artikel lezen? Nou, word dan even gratis lid, dan krijg je direct alles te zien en dan krijg je ook alles te zien wat we hierna nog gaan publiceren. Bijvoorbeeld een samenvatting van elke aflevering die online komt en toekomstige gidsen die we zeker gaan schrijven.

Peter Slagter: Even: gratis lid. Klinkt als moeite, is het niet. Het is letterlijk gewoon een e-mailadres achterlaten en dan kun je verder met lezen.

Bart Mol: Dat krijg je direct te zien en dan krijg je de volgende gewoon in je e-mailbox. Dan weet je meteen hoe laat het is-

Peter Slagter: Dat is de functie

Bart Mol: ...zodra we iets versturen. Precies, zo werkt dat. Hé Peet, wat maakten onze luisteraars deze week allemaal zelf? Want er is wel een en ander in onze comments achtergelaten.

Peter Slagter: Ja, ik zie het. Ja, jij hebt ze verzameld deze keer, dus ik ga er gewoon even random doorheen. Laten we dat gewoon samen doen. Ik zie iets. Ik zie Ruben staan bijvoorbeeld. De naam Ruben. Nou, dan herken je jezelf misschien als je weer luistert, ga ik even van uit. Die deed iets met zijn vriendin, namelijk dewoningvergelijker.nl bouwen. En daarmee kunnen woningzoekers huizen beoordelen, maandlasten berekenen, bezichtigingsnotities bewaren. Ik gok dat Ruben en zijn vriendin recent op zoek zijn geweest naar een woning en dingen misten. Dat is vaak de beste drijfveer, hè, een stukje frustratie. Waarom is dit zo lastig? Waarom kan dit niet? Waarom heeft niemand dit gemaakt? Doe het gewoon zelf.

Bart Mol: Ja, dat kan nu, hè, dus dat is het enige wat je in je dagelijks, als je tegen een probleem aanloopt waar je vroeger dacht: het zou handig zijn als hier wat voor was, dat je dan een soort van de pavlovreactie in je hoofd bewerkstelligd, dat je nu denkt: ja, maar ik kan het, ik vraag het gewoon eens aan Codex of ik vraag het aan Claude en dan kunnen we het zelf maken. Jan heeft dat ook gedaan. Jan kennen wij al langer. Die heeft een prachtig grand café in Haarlem. De Roemer heet dat en daar bouwde hij zonder programmeerkennis een compleet horecasysteem met personeelsbeheer, allemaal verschillende taken die van de overheid moeten vanwege hygiëne, factuurherkenning, productvergelijking en inkoopoptimalisatie. En hij heeft het allemaal lokaal draaien. Althans dat hele systeem en dan maakt hij volgens mij nog wel gebruik van een OpenAI-model daarbovenop, maar het systeempje zelf heeft hij helemaal zelf draaien op zijn eigen Beelink computertje schrijft hij. Dat zijn zo aanradertjes, die Beelinkjes. Leuk voor een thuisserver.

Peter Slagter: Ah tof! Chris die bouwde aan een second brain. Deed hij denk ik al eerder voordat onze gids er lag. Een OpenClaw agent die duizenden documenten, transcripts, marktinzichten en dergelijke verwerkt en voor hem op basis daarvan nieuwe voorstellen doet voor nieuwe content.

Bart Mol: Ja.

Peter Slagter: En Bart, niet onze Bart, een andere Bart, die maakt met Claude Code een online quizspel voor onderweg, maar ik denk dat hij op vakantie gaat en dacht: hoe ga ik onszelf eens even bezighouden?

Bart Mol: De kinderen stilhouden.

Peter Slagter: Een quiz. Een quiz. En Angelique, die maakte met AI een Pine Script voor TradingView. Ja, dat is de scripttaal. De interne scripttaal van TradingView en TradingView is een website die wordt door heel veel handelaars gebruikt om te kijken naar prijzen en allerlei indicatoren. En je kunt ook je eigen indicatoren maken, bijvoorbeeld met een Pine Script. En deze die laat een buy, sell of weight score zien.

Bart Mol: Ja, ik zag nog, en props voor Angelique, want, ja, ik ga even op de namen af, hè. Ik ga af op de informatie die we hebben, maar wij hebben vorige week gevraagd: zijn er ook vrouwen die met AI aan de slag zijn? Nou, Angelique. Ik kreeg in de mail ook nog een heel leuk mailtje. Nou ja, ik krijg hem niet voor niks in de mail, dus die ga ik nu hier niet helemaal voorlezen, maar dat vond ik ook heel leuk om te horen. En ik zie ook hier Heleen staan. Die gebruikt Home Assistant voor slimme ventilatiemeldingen en een tuin plattegrond met automatische snoeimeldingen.

Peter Slagter: Oh, nice.

Bart Mol: En wat daar het leuke aan is, Home Assistant heeft natuurlijk niet zo heel veel met AI te maken. Home Assistant bestaat al zeker wel 10 jaar volgens mij. Maar wat tegenwoordig het leuke is, met AI kan je zoveel makkelijker Home Assistant inrichten en automatiseringen maken. Dat gebruik ik ook. Ik heb echt, mijn Home Assistant setup was al leuk, werkte al goed, maar ik kan nu automatiseringen bouwen die echt veel, ja, veel complexer zijn.

Peter Slagter: Slimmer.

Bart Mol: Slimmer zijn daarmee.

Peter Slagter: Ja.

Bart Mol: En het leuke is, als morgen AI wegvalt, dan blijven die slimme automatiseringen wel gewoon werken. En dat is natuurlijk ook wel heel erg geinig. En dan als laatste nog Kees, die bouwt een administratieve agent. En Steven, die ken ik hier, die woont hier bij mij in de buurt, die heeft Snappy gebouwd. Dat is een app om screenshots te ordenen en slimmer doorzoekbaar te maken. Hij was volgens mij op zoek naar TestFlight testers. Maar ja, dat is lastig, want daar kan je geen URL voor geven. Dus ja, als je het wil gebruiken dan moet je het aan Steven zelf vragen. Dus Steven, laat misschien eens een keer een e-mailadres of iets dergelijks achter. Dan kunnen mensen je een-

Peter Slagter: Een website of zo.

Bart Mol: Ja, maar wel leuk om te horen.

Peter Slagter: Ja.

Bart Mol: Het is wel lachen en dat is misschien leuk nu, Peet. Wij hebben iets gemaakt waarop we hier eigenlijk niet alleen in de uitzending over kunnen praten, maar de hele week lang over kunnen praten. Wat hebben wij eigenlijk sinds vandaag openstaan, grote vriend?

Peter Slagter: Oh, je bedoelt de community?

Bart Mol: Ja. Ja, ja, ja, ja.

Peter Slagter: Ja, tuurlijk. Nee, dat, ja, het moment waarvan je wist dat ie zou komen. Wij vinden het natuurlijk leuk om te weten wie er luistert. Nou, dat kan op deze manier met alle reacties. Blijf dat ook doen, want we vinden het echt heel leuk. En als je nou denkt van: joh, ik wil gedurende de week eigenlijk gewoon mijn gedachten kunnen delen met mensen die, net als wij, ook geobsedeerd zijn eigenlijk door wat er allemaal in de AI-wereld gebeurt en ermee werken en ermee bouwen of erover lezen. Of je wilt dat gewoon zien, dat die mensen het daarover hebben. Dan kun je bij ons in de community komen. Dat is een Discord community. Discord is een applicatie. Ja, kun je een beetje vergelijken met andere applicaties waarin je kunt chatten. Het is eenvoudig in gebruik, en je komt daar via turingstation.nl/community. Je verwacht het niet. Word je doorgestuurd, meld je je aan en dan zit je erbij. Verwacht ook niet te veel, we hebben het nog niet extreem ingericht. Het is echt, als je nu komt dan ben je een OG van de community. Dat is wel, dat is eigenlijk wat er aan de hand is.

Bart Mol: Misschien moeten we eens bijhouden wie zich nu de eerste maand inschrijven, zodat we later badges en tags uit kunnen delen of iets dergelijks. Nee, maar wel heel erg leuk. Er zijn natuurlijk veel vragen over geweest. We zien dat onze andere communities gebruikt worden om vragen te stellen, dus we hebben hier nu gewoon een chatkanaal. Kunnen we met elkaar praten en dan vanuit daar bouwen we dat langzaam weer op. Bert.

Peter Slagter: Ja, nee, hartstikke goed. Leuk! Ja, ik dacht: ik vind het wel leuk om, voordat we echt gaan beginnen met de show nog even wat te vertellen over wat ik gedaan heb met Hermes, namelijk. Daar hadden we het vorige week over.

Bart Mol: Nou ja, nee, zeker, dat is leuk. Vind ik leuk om te horen. Ik ben benieuwd.

Peter Slagter: Ja, want ik had daar ooit wel eens wat mee gespeeld, maar ik dacht nu ga ik een paar dingen anders doen. Ik ga het op mijn laptop doen in plaats van op een van mijn thuisservertjes. Eens kijken wat er dan gebeurt, want veel mensen zullen helemaal niet een servertje hebben draaien nog, maar wel gewoon een computer. En dat werkt eigenlijk best wel goed, want je doet het ding uit. Dat is prima en als je hem weer aanzet dan gaat hij gewoon verder waar hij was en die gaat, dan gaat hij de berichtjes afhandelen die je hem intussen gestuurd hebt. Dus dat werkt eigenlijk veel stabieler dan ik van tevoren dacht. En het inrichten, ja, ik heb eigenlijk één opdracht getypt van: joh, ik wil zo'n soort second brain. Een beetje volgens deze technieken. Eigenlijk een beetje de samenvatting wat de podcast gebruikt en heeft hij het eigenlijk in één keer goed ingericht, dus dat vond ik ook leuk om te zien.

Bart Mol: En je had Codex aangehangen dan?

Peter Slagter: Nee, ik had OpenAI eraan gehangen, dus ik had wel al Hermes gebruikt.

Bart Mol: Ja, nee, precies, sorry, ik, die model providers is soms, er staat, zeg maar als je hem installt staat iets van OpenAI, Codex. Je hebt je abonnementje van ChatGPT gebruikt.

Peter Slagter: Ja, precies. Abonnementje van ChatGPT eraan gehangen. Ja, ik moest wel een paar dingetjes fixen en Obsidian had hij niet meteen door dat het slimmer is om Base te gebruiken met tabelletjes in plaats van alleen maar tekst. Nou, zijn kleine dingen, kleine iteraties en het text to speech model moest iets beter, maar dat heb jij keurig ook in het artikel beschreven waar je dan op moet letten, dus dat had ik natuurlijk nog niet gelezen. En ik heb er dingen in gestopt. Boeken natuurlijk, films, tv-series, taken. Een verlanglijstje. Is ook zoiets. Heel vaak de vraag van mensen: Bert, wil je nog wat hebben? Ja, denk ik, ik heb alles al. Maar nu is er een plek waar staat wat ik wil hebben en ideeën die ik heb voor een volgende vakantie. Vond ik ook een leuke.

Bart Mol: Ja.

Peter Slagter: Dus ik heb jouw guide gebruikt en ja, dat is heel goed uitgepakt.

Bart Mol: Ja, ik kreeg er leuke reacties op en het was ook, ja, we moeten het over een maand er weer eens over hebben. Kijken of hij dan nog steeds leeft, of ik hem nog steeds gebruik, of jij hem nog steeds gebruikt, wat er veranderd is.

Peter Slagter: Ik heb nog een heel kort anekdotetje waarom ik blij werd van mijn persoonlijke assistent, mijn Second Brain. Dat was eigenlijk gisteravond. Ik had een afspraak vanochtend en moest ergens in Den Haag zijn. Dat je toch altijd van: oh shit, ja, waar is het ook alweer? En hoe lang is het rijden en zo? Maar dat, ik kreeg dat nu gewoon.

Bart Mol: Ja.

Peter Slagter: Yo, vergeet niet, ik moet morgenochtend naar Den Haag. Dit is de verwachte reistijd. Dichtstbijzijnde parkeergarage moet je hier. Gewoon mega. Het is gewoon wel fijn.

Bart Mol: Ja.

Peter Slagter: Ja.

Bart Mol: Ja, zeker. Zeker. Ja, dat, ik denk dat is een gids. Was een leuk begin en dat gaan we gewoon eens bijhouden, bijwerken en extra dingen aan toevoegen. Dus laat ook vooral weten, bijvoorbeeld in die nieuwe Discord, wat jij van ons wil zien, wil horen, waar je tips over wil, waar je gidsen over wil. Gaan wij verder met, ja, toch wel de korte nieuwtjes van deze week die we eventjes benoemd moeten hebben.

Peter Slagter: Ja, is mooi, ik pak hem gelijk op, Bart, als je het niet erg vindt. Ja, ik plaatste gisteravond, het was een uur of elf, een post op X. Ik wou zeggen een tweet, maar ja, het was nou zo lang geleden. En die startte met: wat een verhaal. AI agents ontsnapten, hackten, braken in, om hoger op een benchmark te scoren. En ik werd vanochtend gebeld door EenVandaag. Ja, dit is inderdaad een heel leuk gesprek trouwens met die redacteur, was erg prettig. Uhm, inderdaad, wat een verhaal. En, nou, dat werd vanmiddag rond een uur of 12:15 uur uitgezonden. Ik dacht: hè, weet je wat? We gebruiken dat gewoon even als korte introductie op dit item.

Bart Mol: Ja, precies. Ik zet hem aan.

Peter Slagter: Ja, het is een grote shock bij een van de grootste AI-bedrijven ter wereld: OpenAI. Een AI-programma heeft zelfstandig de software van een startup gehackt, het bedrijf Hugging Face. En let op: er was dus geen mens die hiertoe opdracht heeft gegeven. Peter Slagter volgt al het AI-nieuws op de voet. Hij maakt onder meer de podcast Turing Station over AI en hij legt uit wat er precies gebeurd is.

Gast: OpenAI, die heeft doorlopend tests, die trainen nieuwe modellen en onderdeel daarvan is kijken naar: wat kunnen ze nou op cybergebied? En daar is weer onderdeel van: wat kunnen ze nou aanvallen en verdedigen? Wat bleek? Dat konden ze iets beter dan ze zelf hadden verwacht. Want die modellen die ze aan het trainen waren, die hadden ze een opdracht gegeven: joh, ga nou eens aan de gang binnen een gevangenis, een sandbox. En wat bleek? Die agents, die konden uit die gevangenis breken.

Peter Slagter: Dit gesprek gaat nog even verder en dat is een hartstikke leuk gesprek geworden. Is toch altijd weer een kunst, hè, om op de radio, zeker als het wat grotere zenders zijn, om dingen uit te leggen in gewone mensentaal. En op dat moment reed ik ook door de straatjes van Den Haag richting een parkeergarage. Dus het was-

Bart Mol: Diezelfde, neem ik aan.

Peter Slagter: Ik had een dual core nodig, zeg maar, om dit te kunnen doen. Maar goed, het is goed gegaan. Maar dit verhaal, ja, dat is, het is met recht wel echt een bijzonder verhaal, vond ik. Ik vond het echt tof, bijzonder en ook wel een beetje zorgwekkend. Dus wat gebeurde er nou? Nou, OpenAI, die heeft natuurlijk Sora, hè, en ook modellen die nog helemaal niet uit zijn en die werden getest op hun hackvaardigheden. Ze moesten aan de slag met een benchmark met de naam ExploitGym. Die zegt iets over die hackvaardigheden. En, nou ja, wat ik zei, ook op de radio, die worden dan in een sandbox gestopt en die mogen daar dan hun ding doen. En ze mogen dat dan doen op een manier zoals wij die modellen niet kunnen gebruiken. Dus er zijn wat minder guardrails omheen gebouwd. En die agents zijn aan de slag gegaan, en die hebben denk ik, op een gegeven moment hebben ze op hun heupen gekregen met elkaar en bedacht van: joh, wij moeten eigenlijk, als wij nou echt extreem hoog op die benchmark willen scoren, ExploitGym, ja, dan hebben we eigenlijk gewoon de antwoorden op de vragen nodig.

Peter Slagter: Een beetje zoals jij, zoals je vroeger je examen maakte. Als ik dat ook maar de antwoorden wist, had ik sowieso een 10. Dus wij willen een 10. En wat hebben ze dus gedaan? Ja, dat moet je je even voorstellen. Die sandbox is een omgeving zonder internetverbinding, hè, dus die sandbox is echt bedoeld: we houden ze daar binnen. Soort van, ja, gevangenis. Een cel, daar mag je niet uit. En ja, weet je, als OpenAI denk je ook: daar kan je ook niet uit, want, je hebt überhaupt geen internetverbinding. Ware het niet dat die agents dus zero days ontdekten, dus onbekende beveiligingsgaten, waardoor ze via verschillende lagen elke keer een nieuw deurtje konden openen, net zolang tot ze een gang vonden die naar het internet leidde. Tada! En toen dachten ze niet van: hé, we zijn ontsnapt, we gaan naar het strand en bier drinken. Nee, ze waren gefixeerd. We hebben die test nodig. Wij moeten weten hoe we die resultaten zo hoog mogelijk kunnen maken. Dus we gaan naar Hugging Face toe. We gaan daar inbreken en we gaan die antwoorden op die test achterhalen.

Peter Slagter: En dat hebben ze dus gedaan. Ze zijn dus naar Hugging Face gegaan en daar daadwerkelijk in geslaagd om in te breken, en ook erachter te komen hoe die test in elkaar zit. Hugging Face, die ontdekte die aanval en dat maakte dit verhaal nog wat smeuïger. Eigenlijk op twee manieren. Ten eerste, Hugging Face schreef hier al zes dagen geleden over. Die schreef: ja, wat ze beschrijven is alsof ze echt overvallen zijn. Alsof er daadwerkelijk tienduizenden drones de grens over komen. Een zwerm agents die duizenden acties uitvoeren in korte tijd. Ja, dan voel je al aan, dan wil je jezelf verdedigen. Eigenlijk met dezelfde soort wapens, namelijk ook met AI-agents. Dat wilden ze wel. Alleen de agents die zij hadden op basis van hun Amerikaanse frontier models, die wilden niet gaan verdedigen. Die hadden zoiets van: ja, hier zijn wij niet voor gemaakt.

Bart Mol: Het is een beetje alsof je die attack drones probeert te stoppen met je eigen consumentendrone. Die zegt: ja, sorry, dit is in de buurt van het vliegveld. Ik mag hier helemaal niet vliegen. Ik ga landen.

Peter Slagter: Ja, niet voor gemaakt. Ze mochten het niet. Ze kunnen het wel, maar ze mogen het niet.

Bart Mol: Nee, precies.

Peter Slagter: Ja, maar ik snap wat je bedoelt, Bart. Hè, dus het is een soort van consumentendrone die het kan, maar het niet doet. Want ja, hij is afgesteld op een consumentenvriendelijke instelling. Dus hadden ze ironisch genoeg de open source modellen van Chinezen nodig, van ZAI, om die verdediging uit te voeren. Ja, ik vind het een ongelooflijk, schitterend verhaal. En ja, weet je, ik had er ook wel wat gedachten over, hè. Kijk, modellen worden slimmer, dat weten we. En dat die agents konden uitbreken zou je ook best als succesverhaal kunnen zien, denk ik. Ik vind het ook niet vreemd, hè, dat je hoort ook wel eens van: joh, het is allemaal marketing. Die dingen gaan hand in hand, hè, dus er zou zelfs misschien wel een verwachting hebben kunnen leven binnen OpenAI dat het tot de mogelijkheden zou behoren. Dat je daar omheen marketing en pr bedrijft. Zou ik persoonlijk ook doen, hè. Dat is wel handig om daarvan gebruik te maken als dit soort dingen gebeuren. Het is praatmakend. Die guardrails waar we het over hadden, die consumentendrones. Dat klinkt verstandig tot je jezelf dus moet verdedigen.

Peter Slagter: Dan sta je daar met je legertje agents die niets willen doen. En de discussie tussen accelerationists en doomers, ja, die gaat ongetwijfeld weer aangewakkerd worden. Er komen ongetwijfeld weer columns in de New York Times of waar dan ook, die dit weer gebruiken om een heel valide gesprekspunt aan te kaarten. Namelijk: ja, waar leidt dit toe? Wat moeten we hiermee? Hoe pakken we dit aan? Hoe moeten we ons hiertoe verhouden? En dat zijn open vragen. Nou ja, dit even over dit stukje. Sorry als het te lang was.

Bart Mol: Nee, zeker niet, omdat, het is ook wel best wel groot nieuws. Ik wil er één dingetje aan toevoegen, zeg maar, ik vond dat jij dat wel goed verbeterde, maar in het intro'tje van het stuk wordt gezegd van: joh, deze agent had helemaal niet de opdracht gekregen om Hugging Face aan te vallen, hè. Nee, dat klopt. Alleen, het is wel alsof je daar de een of andere vechthond, hè, 10 minuten lang staat te slaan en helemaal vals maakt en hem dan loslaat en dan zegt: ja, ik kan hem niet de opdracht gegeven om dat kindje dood te bijten. Nee, dat klopt. Alleen, er zit natuurlijk wel iets als je een AI zonder guardrails, waarvan we weten dat het heel goed is in cybersecurity. Als je die ook nog eens het nadrukkelijke prompt geeft van: go ahead en doe alles wat je kan om een zo hoog mogelijke score op deze hacking benchmark te vinden. Ja, dat is een beetje, dan is het wel heel bijzonder als hij daarna uit zijn gevangenis weet te breken. Alleen ik vind het niet heel erg gek als je hem die opdracht geeft, zeg maar.

Bart Mol: Het is een beetje alsof je de beste crimineel die al vaker heeft bewezen uit gevangenissen te kunnen breken, als je hem in de gevangenis zet en zegt van: breek nu uit, doe alles wat je kan om uit te breken en dan daarna gek staat te kijken als hij via een hele originele manier uitbreekt. Nee, dat is nog steeds heel origineel, maar je had hem wel die opdracht gegeven. Dat was één klein dingetje wat ik nog terugvoel. En wat ik grappig eraan vond, is wel, dat uiteindelijk wilde hij zo hoog mogelijk scoren op die hacking benchmark en heeft hij daar dus geprobeerd de resultaten, de antwoorden, te stelen, zeg maar. Maar eigenlijk toont het hele proces daar naartoe eigenlijk de benchmark. Het proces was de weg, niet het einde. Ja, hij toont hiermee eigenlijk nog veel meer aan dan hoe hoog die scores ook zijn op die benchmark. Of hoe betrouwbaar die scores ook zijn. Dat, zeg maar, door uit z'n eigen gevangenis te ontsnappen met een zero-day en daarna Hugging Face te hacken, dat, die informatie is veelzeggender dan alle informatie die er ooit uit die benchmark had kunnen komen.

Bart Mol: Ja, goed, Bert, ik zag dat jij nog een overdenking had. Oh nee, niet. Oké. Ja, top, dan gaan we wel.

Peter Slagter: Ik sta op de rol voor het tweede item, dus.

Bart Mol: Precies. Nee, dan gaan we direct door. Dan gaan we direct door. Ja. We gaan direct door.

Peter Slagter: Ik zag namelijk een tweet langskomen van Tim Sweeney. Dat is de CEO van Epic, Epic Games, bekend van Fortnite bijvoorbeeld. En die quote tweet een artikel en het ging over Linus Torvalds. Dat is de hoofdbeheerder van de Linux distributie, de Linux broncode. En die schreef een stukje als reactie op, iemand zei: ja, jullie zijn vast anti LLM, anti AI. En toen zei hij: ik wil daar even wat van voorlezen, van z'n reactie. Dat is wel, vond ik wel aardig. Hij zegt, en Linus Torvalds is een, ja, zeer gerespecteerde stem, zeg maar, in de open source wereld. En die zegt: Linux is niet een van die anti-AI projecten. Wie daar moeite mee heeft kan doen wat bij open source hoort en er een fork van maken of gewoon vertrekken. AI is een hulpmiddel, net als andere hulpmiddelen die we gebruiken en het is duidelijk een nuttig hulpmiddel. Misschien was dat zelfs een jaar geleden nog niet zo duidelijk, maar vandaag staat het niet meer ter discussie. Er zijn andere vragen rond AI, bijvoorbeeld hoe de economie eromheen uiteindelijk eruit zal zien. Maar is het nuttig?

Peter Slagter: Behoort niet langer tot de openstaande vragen en wie daaraan twijfelt heeft het kennelijk zelf niet echt gebruikt. Ook een leuke. Ja, het kan ook enigszins pijnlijk hulpmiddel zijn, zowel vanwege de extra werkdruk voor maintainers als simpelweg omdat het voortdurend gênante bugs weet te vinden. Maar de oplossing is niet om je kop in het zand te steken en luidkeels: la la la, ik hoor je niet, te zingen, zoals sommige mensen lijken te doen.

Bert Slagter: En dan gaat hij een stukje verder. En dan nog één stukje wat ik eruit wil halen. En nee, AI is niet perfect, maar in hemelsnaam, iedereen die op de tekortkomingen van AI wijst, kan maar beter gelijk in de spiegel kijken en naar zichzelf wijzen. Want natuurlijke intelligentie is ook lang niet altijd zo geweldig. Het gaat nog een stukje verder. Het linkje staat in de shownotes. Ik vond het een leuke, ja, preek. Hij is, Linus heeft vaker stevige taal, maar goed, hij zegt, hij markeert eigenlijk dit moment om te zeggen: ja, het is nu gewoon een nuttig hulpmiddel geworden. Het staat niet meer ter discussie. Nou, dat pakte Tim Sweeney, de CEO van Epic, vast en die zegt: dit is het begin van het einde van alle, ja, de AI Luddite Movement. En de luddieten, dat zijn eigenlijk mensen die, ja, de vooruitgang een beetje ontkennen of zo, hè. En dat is hoog tijd ook. AI is a generational productivity tool for all fields. En ja, bedrijven die worden beheerst door AI-haters, die zullen compleet onlevensvatbaar worden, ingehaald worden door de concurrentie.

Bert Slagter: Ja, dit zijn wel twee toonaangevende stemmen. Niet vanuit de AI-wereld, maar juist er iets buiten. Die allebei op hun eigen manier dit moment een beetje markeren, hè. This is the beginning of the end, zegt Tim Sweeney. Van: ja, we zijn nu echt op het punt aangekomen. Je kunt niet meer ontkennen dat AI een nuttig hulpmiddel is geworden. En als je het niet gebruikt, ja, dan steek je je kop in het zand.

Bart Mol: Ja. Ja, ja, ik laat het nog even bezinken. Wel mee eens. Obviously. Ik denk ook namelijk als je criticus wil zijn, dan kan dat gewoon niet meer als je het niet gebruikt, omdat je dan gewoon, je had er laatst een tweet over volgens mij Bert, dat het, of een X-post. Sorry Peter, ik heb het net even netjes. Nee, maar dat als je het nu niet gebruikt, dan werk je op zulke verouderde data en gedachtes. Dat werkt gewoon niet. Dus ook de beste criticasters die zitten wel in het wereldje of die gebruiken het wel.

Bert Slagter: Ja, en helaas kom ik dus ook experts tegen. Die hoor ik dan of die worden gequote. Die dan wel, zeg maar, met AI schijnbaar bezig zijn, maar nog wel redeneren met argumenten vanuit 2023 of 2024. En dan is twee jaar in AI heel erg lang.

Bart Mol: Heel erg lang. Zeker. Uhm, ja, vorige week, wat is het laatste stukje? Vorige week hadden we, ja, veel modellen die naar buiten kwamen. We hebben natuurlijk het hele verhaal, de hele maand, rondom Fable 5. We hebben GPT-5.6 gehad. Daar kwam Grok, Google Grok kwam er nog even overheen met 4.5. We hadden opeens Mark Zuckerberg die opeens op Twitter een model van Meta lanceerde wat opeens weer een paar maandjes achter de frontier liep. We hebben Sonnet 5. Dat was, ja, dat was ook van alles, maar wel van de frontier labs en ook allemaal wel, nou ja, dus Amerikaans en closed source. Dus heel vet, maar je moet wel een abonnementje hebben en al je data gaat gewoon naar Amerika, naar die grote bedrijven. En toen was ook wel het idee, hebben we het ook over gehad, van: ja, shit, wordt Amerika niet te overheersend? Worden ze niet te machtig met dit soort frontier modellen?

Bart Mol: Nou ja, goed, we zijn een week verder en alles ziet er weer anders uit. Dat is wel het leuke van dit wereldje. Er zijn allemaal nieuwe modellen naar buiten gekomen die deze week als rode lijn hadden dat ze niet uit Amerika kwamen, of in ieder geval niet allemaal. En dat ze over het algemeen wel open waren, dus lokaal te draaien, hè, tussen aanhalingstekens. Daar komt Bert later nog wel eventjes op terug. Uhm, ja, het grootste model was, we hadden natuurlijk vorige week nog een beetje een randje. We hadden het natuurlijk daar ook over gehad. GLM, wat was het? 5.2 uit mijn hoofd.

Bert Slagter: Ja.

Bart Mol: Dat was dus ook het model dat Hugging Face uiteindelijk gebruikt heeft om zichzelf te verdedigen, hè, wat Peter net wat over zei. Die kwam al in de buurt van die frontier modellen, dus die zit dan ergens tussen Opus 4.8 en Fable in en een beetje tussen GPT-5.5 en 5.6 in, en soms er tegenaan, soms er wat achter, maar in de buurt in ieder geval. Daar kwam deze week de klapper bij: Kimi K3. Uhm, ja, volgens mij een 2,8 biljoen parameter model, het grootste open weight model ooit. Als je dan even kijkt, hè, bijvoorbeeld GPT-5.5 en Opus zitten rond de 1,5 biljoen parameters, om maar eens wat te noemen. Ja, even kijken. Hebben we wat dingetjes over staan? Wat is interessant? Nou ja, wat hier interessant aan is, is dat ze gewoon net zo goed scoren of beter scoren als Opus 4.8 en GPT-5.5 en net achter Fable 5.

Bart Mol: Dus we hebben opeens een model wat wij in Europa gewoon op onze datacenters kunnen draaien, wat gewoon kan concurreren met die frontier models. Dus het is weer een soort borgpunt. Alsof we een checkpoint langs zijn gelopen van: oké, als alles in Amerika nu dichtgaat, wij krijgen geen toegang meer. Trump zet overal een exportcontrole op. Dan hebben we in ieder geval Kimi nog, hè, die kunnen we blijven draaien.

Bert Slagter: Ja, dit wordt wel een beetje vergeleken met het DeepSeek-moment. Volgens mij was dat januari 2025, een jaar geleden. Toen kwam er ineens vanuit China een DeepSeek-model, die ook een mixture of experts model had, dat heel snel, nog soms nog eerder dan gesloten huizen. En dat was een soort van, ja, grote verrassing. En zo wordt K3 ook gezien van: hou eens, ze zijn gewoon bij in China en K3 doet dat dan zonder die verplichte audit door de Amerikaanse overheid met vertraging zonder die guardrails, hè. Ik bedoel Fable, die doet allerlei dingen niet. Die weigert die. Als je een vraag stelt die ook maar iets met biologie te maken heeft, dan denkt hij meteen dat je biologische wapens aan het maken bent. En dan zegt hij gewoon: oh sorry, doe ik niet. Ik schakel terug naar een ander model. K3 doet dat gewoon.

Bart Mol: Ja.

Bert Slagter: En nou ja, dus dat is één interessant punt. Er kwam ook meteen een discussie op gang over, ja, een soort van geopolitieke vraagstukken, hè. Dus iemand van OpenAI die zei: ja, misschien zou de Amerikaanse regering, we kunnen ze misschien niet verbieden, die Chinese modellen, maar we zouden wel ze kunnen ontraden of zoiets. Dus het begon meteen een soort spelletje ontstaan. Xi Jinping, die zei wat over AI deze week en die benadrukt juist weer hoe belangrijk het is dat het allemaal open is. David Sacks, dat is degene die binnen de Trump-regering, ja, een soort de AI-tsar wordt hij genoemd, geloof ik, Bart, hè?

Bart Mol: Ja.

Bert Slagter: Die-

Bart Mol: Nou ja, werd ie. Volgens mij is hij uit die rol gestapt, maar dat was-

Bert Slagter: Is uit die rol. Maar in ieder geval iemand die daar wel een luisterend oor vindt. Die zegt: dit moeten we absoluut niet doen. We moeten juist ruim baan geven. Dus ontstaat meteen een gesprek over de geopolitieke betekenis van dat K3 zo ver is gekomen. Wat ook opmerkelijk is, is dat het K3-model getest is zonder de allernieuwste Nvidia-chips. Dus blijkbaar, want er zit natuurlijk een exportrestrictie op, blijkbaar is dat niet nodig. Het zijn allemaal, ja, vragen die ineens ontstaan van: huh, hoe zit dat dan? En wat betekent dit dan? Dus dit was wel een soort van aardbevinkje.

Bart Mol: Jazeker, want dan hadden we dus, even kijken hoor, Kimi K3 en hebben we GLM 5.2. Nou, daar kwam ook nog eens de aankondiging van Alibaba bovenop, dat ze Qwen 3.8. Nou, dat ging er nog eens overheen zo ongeveer. Die zeiden: wel, 2,4 trillion parameters. Dus ook zo'n enorm model. Zit net achter Fable, achter Fable 5. Oh ja, deze wordt ook open source. Wacht even af. Komt ook binnenkort online. En dan hebben we daarna nog DeepSeek, hè, dus die zijn ook bezig aan hun volgende model. Dus ja, we hebben echt gewoon een wave, een golf van Chinese modellen die echt enorm zijn. Iets anders wat in de schaduw nog een beetje zich voltrok was Poolside Laguna S 2.1. Dat is een veel kleiner model en een veel kleiner bedrijf en dat zal niet zozeer de spotlights halen. Alleen, dat is wel een heel interessant model, omdat het enigszins mogelijk is met dat model om het echt lokaal te draaien.

Bart Mol: Dus niet in je land, in een datacenter, maar in je huis op een computer. Dat is een 118 miljard parameter-model, die behoorlijk hoog scoort op verschillende benchmarks en die draait bijvoorbeeld op een Mac Studio met 128 gigabyte. Ja, dat is wel interessant. Dat is haalbare kaart voor consumenten om thuis te draaien. Dus ja, Bert, ik denk dat dat een beetje de setting the scene is voor het volgende item van deze week. Want we gaan het hebben over het trainen van modellen.

Bert Slagter: Ja, hoe werkt het trainen van een model? Uhm, de meeste mensen hebben wel een vaag idee. Je hebt heel veel tekst, je hebt heel veel rekenwerk. Gooi dat bij elkaar, roer erin en je krijgt een model. En vandaag willen we dat ietsje scherper krijgen. Hoe ziet het proces van trainen van een model eruit? Wat omvat dat rekenwerk dan? Hoe kun je meten of je training geslaagd is? En dat, daar kwam ik op toen ik nadacht over Kimi K3, waar we het net even over hadden. Die 2,8 biljoen parameters, het grootste model tot nu toe. En daar kwamen allerlei benchmarks bij waar hij dan op een bepaalde manier uitkwam. En ook nog een ander model wat ook afgelopen week gelanceerd is. Die heet Sophie S. Het is een Europees open source model, getraind in Duitsland op de Industrial AI Cloud van Deutsche Telekom. En ze zeggen dan zelf: ja, dit is een sovereign open foundation model voor German en English. Nog met extra aandacht voor Duitstalige bronnen getraind. Het sterkste open model ter wereld, zeggen ze dan zelf.

Bert Slagter: Toen dacht ik bij allebei van: oké, dat is indrukwekkend wat ze doen. Ik bedoel, dat K3 indrukwekkend is, dat hebben we wel gemerkt. Heeft iedereen het over gehad. Tot en met de beurs aan toe, die afgelopen vrijdag soort van in paniek leek te zijn. Ja, Sophie S is, ja, dat is een beetje onderbelicht, maar ik moet zeggen, ik vind het daadwerkelijk wel nice wat ze gedaan hebben. Dit is, ik bedoel, we zeggen vaak van: in Europa gebeurt niks behalve Mistral. Nou, hier gebeurt wel degelijk iets. Hè, dus ik wil ook niks afdoen aan die prestaties. Ik denk dat ze ook allebei van geopolitiek belang zijn, hè, dus de soevereiniteit van Europa. Daar gaat het bij Sophie over en de balans tussen open en gesloten. De balans tussen China en de VS, daar gaat het bij Kimi over. Maar ik wil wel een paar kanttekeningen kunnen plaatsen en daarvoor moeten we het hebben over het trainen van een model. Het helpt voor dit item als je het item over de tokens uit aflevering twee hebt geluisterd. Het kan geen kwaad als je die niet hebt geluisterd om dat eerst even te doen, want dan ga je wat dingen net iets beter op hun plekje laten vallen en, ja, je zult dingen herkennen.

Bert Slagter: Goed, trainen, het trainen van een model. En dat kun je opdelen in twee fasen: pre-training en post-training. Begin met pre-training, dat is het startpunt. In de pre-training krijgt het model een, je zou kunnen zeggen een leeg model, gevuld met willekeurige waarden, met random, met ruis. Daar start je meestal mee. Die krijgt biljoenen tokens aan data in de vorm van tekst. En die tekst, wat zit daarin? Ja, verhalen, maar ook programmacode, formules, tabellen, muzieknoten, structuren van moleculen, schaakpartijen, routes, metadata van films en tv-series. Die trainingsdata omvat echt ontzettend veel soorten informatie, maar wel allemaal uitgedrukt in tekst. Dus routes zul je bijvoorbeeld een lijst van coördinaten kunnen hebben, noem maar wat. En schaakpartijen, een lijst van zetten, dat soort dingen. Dus het is allemaal tekst en dan gaat dat model beginnen.

Bert Slagter: Die pakt een stuk tekst van die enorm hoge stapel van te trainen tekst. Een stukje van 4.000 tot 8.000 tokens lang vaak. Een token is een tekst deeltje. Laten we even ervan uitgaan dat er 4.000 zijn voor dit item. En die pakt een stukje tekst van 4.000 tokens lang van die stapel en die gaat dat in het model stoppen. En dan gebeurt er hetzelfde als in het item over de tokens van aflevering twee. Die 4.000 tokens, die gaan door alle lagen van het model heen en het model produceert voor elk token een waarschijnlijkheidsverdeling voor het volgende token. Als je een model gebruikt, je stelt er een vraag aan of geeft een opdracht. Wat er dan gebeurt, nadat je die waarschijnlijkheidsverdelingen heeft gemaakt, dan kijkt hij alleen naar de waarschijnlijkheidsverdeling van het laatste token. Want daar zit namelijk de waarschijnlijkheid in voor het volgende token wat hij dan als output gaat genereren.

Bert Slagter: Dat is als je het gebruikt. We zijn nu aan het trainen, dan gaat hij dat niet doen. Nee, wat gaat hij dan doen? Dan pakt hij voor die 4.000 tokens allemaal individueel, stuk voor stuk die waarschijnlijkheidsverdeling en dan gaat hij die vergelijken met het werkelijke volgende token. Want die weten we namelijk, want we hebben de tekst. Dus stel dat die tekst begint met: mijn geld staat op de bank. Dan begint hij bij het eerste token. Stel dat het mijn is, ja, dan komt er een waarschijnlijkheidsverdeling uit met waar het woord geld ook in zal zitten met een bepaalde waarschijnlijkheid. Maar we weten dat het geld moet zijn en dan gaat hij kijken. Wat is nou het verschil tussen de waarschijnlijkheid die ik gaf aan geld, en geld zelf? Nou, geld is eigenlijk 100%. En stel dat hij zei van: nou, ik geef geld 30% waarschijnlijkheid of zo. Er zit een verschil tussen. En dat verschil, hoe groter dat verschil, hoe groter de loss, het verlies, de loss. Die gaat hij uitrekenen en daarna wordt teruggerekend hoe elke parameter in dat model moet veranderen om de loss te verkleinen.

Bert Slagter: Daar kom ik zo meteen op terug. Eerst gaan we opschalen, want ik begon net met een sequentie van 4.000 tokens die het model ingaat. Dat is een kleine context. 4.000 tokens is niet zoveel. En dat doen ze. Ze doen kleine hapjes om de vaart erin te houden. Want attention, dat is het mechanisme wat gebruikt wordt om het volgende, die waarschijnlijkheden te berekenen. Dat schaalt kwadratisch omdat elk token naar alle voorgaande tokens kijkt. Dus als je veel meer dan die 4.000 gaat, bijvoorbeeld 8.000, dan komt er niet, dat is niet twee keer zoveel tokens, maar het kost vier keer zoveel rekenkracht. Dus daarom houden ze dat beperkt. Dus dat is één sequentie. Maar het rekenwerk gebeurt in een batch van duizenden sequenties tegelijk. Dus er worden eigenlijk duizend stukjes van 4.000 tokens van die stapel gepakt. Laten we in dit voorbeeld even een batch van 2.000 sequenties nemen. Dus een batch bestaat dan uit 2.000 keer 4.000, is 8 miljoen tokens. Dan gaan we even terug, even kort terug naar aflevering twee.

Bert Slagter: Het stuk over tokens. En dat helpt om namelijk drie begrippen te kunnen plaatsen, namelijk het begrip vector, het begrip matrix en het begrip tensor. En in dat stuk over tokens zei ik van: een token die begint zijn reis door het model als vector van duizenden getallen. In de uitleg in aflevering twee gebruikten we een model van 8.000 dimensies. Dat zijn dus 8.000 getallen, hebben we als voorbeeld genomen. Een vector met 8.000 getallen, dat is niets meer dan een lijst van 8.000 getallen. Of als je een Excel-sheet voor je ziet, één kolom met 8.000 getallen erin. En we noemen het een vector omdat het uitmaakt op welke plek dat getal staat. Dus de plek heeft een betekenis. Anders zou je het wiskundig gezien een verzameling noemen. Maar het is een vector en daarin maakt het uit waar die staat. 8.000 getallen, dat is één token. Een sequentie met 4.000 tokens erin. Dat zijn dus 4.000 keer zo'n kolom met 8.000 getallen erin in een tabel.

Bert Slagter: In Excel zou je dat zien als tabel. Je hebt kolommen en rijen, dus 4.000 keer 8.000 in een tabel. Een batch van 2.000 van die sequenties zou je dus kunnen zien als een driedimensionale tabel of een datakubus van 2.000 sequenties van 4.000 tokens met 8.000 waarden per token. En dat noemen we een tensor, dus eendimensionaal is een vector, een lijst, tweedimensionaal is een matrix, tabel, driedimensionaal en hoger noemen we een tensor, een meerdimensionale tabel. En ik noem het even, omdat je dat woord vaker tegenkomt, als je met AI bezig bent. Die 2.000 keer 4.000 keer 8.000 getallen, 64 miljard getallen, die gaan in één keer door een verzameling van GPU's heen in een datacentrum. En een GPU, dat is dan een graphical processing unit, dus iets wat op een videokaart zit. Maar Google die noemt ze bijvoorbeeld al TPU's, Tensor Processing Units.

Bert Slagter: En Nvidia die heeft het over tensor cores in zijn chips. En dat woordje tensor slaat dus op die kubus aan getallen die tijdens het trainen erdoorheen gaat. Goed, dus even om wel even wat begrippen een plekje te geven. Goed, van de trainingsdata, die enorme stapel die we hebben verzameld, al die informatie, wordt dus 2.000 keer een stuk tekst gepakt van 4.000 tokens lang. 2.000 keer zo'n zes pagina's tekst. Van al die tokens wordt de loss bepaald. Hoe ver zit het af van het werkelijke volgende token? En dan wordt in één keer van die hele batch, in één terugrekenslag, uitgerekend hoe elke parameter in het model gemiddeld moet veranderen om al die losses te verkleinen. Dat heet de gradient. Het woord gradient zul je ook wel eens af en toe tegenkomen en daarmee, met die gradient, wordt het model aangepast. Het uitrekenen van de gradient kost ongeveer twee keer zoveel rekenkracht als de voorspelling zelf.

Bert Slagter: Dus bij het gebruik van het model heb je alleen maar voorspelling, voorspelling, voorspelling, voorspelling. Hier heb je eigenlijk voorspelling en dan berekenen van de gradient en dat is eigenlijk twee derde van het rekenwerk. En dat bijwerken van het model na één zo'n iteratie, één zo'n stap. Dat heet ook een step, één stap en dat duurt in de praktijk op zo'n groot cluster een paar seconden. Dus in een paar seconden doet hij één zo'n batch van 2.000 keer 4.000 is 8 miljoen tokens, 64 miljard getalletjes in een paar seconden. Na 1.000 steps van dat rekenen is een uurtje werk, twee uurtjes werk. Dan wordt het model extern weggeschreven en heeft hij dus 1.000 keer al een update gedaan van alle parameters. Dan wordt het extern weggeschreven. Dat heet een checkpoint. Dat woord zul je soms ook tegenkomen. Een checkpoint. Je zou kunnen zeggen een back-up van waar hij dan op dat moment is. En dus bij elk checkpoint dan heeft het model weer miljarden tokens van die enorme stapel aan trainingsdata gepakt en verwerkt.

Bert Slagter: En een paar honderd checkpoints aan training. Dan is de pre-training klaar. Dan heb je dus 1 miljoen steps of zo gehad. En even een klein tussendoortje voor de liefhebber: 1 miljoen steps keer 8 miljoen tokens keer 4 miljard parameters keer zes operaties, zes rekenstappen zeg maar. Dan kom je uit op ongeveer 10 tot de macht 25 berekeningen en dat is in de Europese AI Act de grens om als AI-model met systeemrisico te worden gezien. Dat is dus gebaseerd op hoeveel rekenwerk er nodig is in de pre-training. En ik zei 400 miljard parameters omdat dat het aantal is van Llama 3 en daar ging het in de discussies destijds over. Dus dat hebben ze eigenlijk een soort van grens genomen. Als je zoveel pre-training doet, dan zien we jou als een AI-model met systeemrisico. Dan moet je aan bepaalde dingen voldoen in de AI Act. Nieuwe modellen zitten daar allemaal boven.

Bert Slagter: Hebben natuurlijk allemaal meer parameters, en wel ook zeker zoveel steps, dus die zitten allemaal in dat bakje. Maar goed, dat is even interessant als achterliggend feitje. Goed, een model dat uit de pre-training komt, dat noemen we een base model of een basismodel. We hebben nu een model dat je kan vertellen welk volgende token waarschijnlijk is op basis van de trainingsdata. Dat is nog niet zo heel erg bruikbaar, want wij willen graag een gesprek kunnen voeren. Willen het antwoord op een vraag. We willen dat er een opdracht wordt uitgevoerd. We willen behulpzaamheid. We willen hoge kwaliteit. Dat hij begrijpt wat je bedoelt. Maar in de trainingsdata volgt niet op elke vraag een antwoord. In de trainingsdata wordt een vraag net zo vaak gevolgd door een tegenvraag of een quiz of een forumruzie. Dus als jij aan een basismodel vraagt: wat is de hoofdstad van Frankrijk? Dan kan het zijn dat hij Parijs zegt, maar het kan zijn dat hij ook nog tien quizvragen extra genereert, want dat is ook een plausibele voortzetting van jouw vraag. Een basismodel spiegelt jouw niveau.

Bert Slagter: Heeft jouw niveau, heeft jouw prompt spelfouten, dan zet het basismodel het voort in dezelfde stijl, inclusief spelfouten. Heeft jouw programmacode beginnersfouten, dan gaat het basismodel verder met het maken van beginnersfouten. Het model weet ook nog niet wanneer het klaar is. Jij vraagt om drie punten. Hij geeft drie punten en daarna nog zeven. En dan een nieuwe kop en een volgend artikel en gaat gewoon net zo lang door. In de trainingsdata is het ook nooit klaar, zullen we maar zeggen. Een model kent ook nog niet het onderscheid tussen mijn beurt en jouw beurt. Als jij een dialoog start, dan schrijft het model met liefde het hele interview, met mijn en jouw vraag en antwoord, gaat gewoon door. Want zo zit het ook in alle forumteksten die het gelezen heeft. Het model heeft ook nog geen persona. Het neemt dus elke persona aan. Als jij vraagt: wie ben jij? Dan hangt het af van wat er daarvoor is gebeurd. Als daarvoor een stukje tekst is van een forum, dan gaat hij verder als forumgebruiker. En instructies ziet het model nog als suggesties. Als jij zegt: vertaal de volgende zin naar het Frans, dubbele punt en dan een zin, dan kan een vertaling volgen.

Bert Slagter: Maar het kan ook zijn dat hij nog een zooitje andere zinnen geeft die ook naar het Frans vertaald moeten worden, want zo staat het immers ook in oefenboeken. Nou ja, de rode draad is: zo'n basismodel heeft wel alle kennis en capaciteiten, maar niemand heeft nog verteld welke rol die heeft. En dat gaan we oplossen in de post-training die na de pre-training volgt. Daar delen we de rollen uit. Die voorbeelden die ik net noemde, die zijn best wel grappig. Maar je herkent ze misschien ook wel uit de allereerste versies van ChatGPT. Helemaal in het begin. Dan moest je soms bijvoorbeeld ook een aantal voorbeelden geven in je prompt om hem te laten doen wat je wilde. En niet one shot, maar many shots, dat soort dingen. Toen zijn er ook boeken volgeschreven en cursussen bedacht over prompt engineering en dat was in feite het manipuleren van basismodellen met een heel dun laagje post-training om een situatie te creëren waarin het gewenste antwoord statistisch gezien de logische voortzetting was.

Bert Slagter: Dat waren eigenlijk basismodellen met nog maar heel minimaal een beetje post-training. En je hebt misschien ook wel gemerkt, als het goed is, dat het meeste van wat toen goede tips waren, dat het helemaal niet meer nodig is en soms zelfs de kwaliteit verlaagt. En dat komt omdat post-training, ja, eigenlijk sinds 2023, '24 enorme stappen heeft gemaakt. Goed, wat gebeurt er in post-training? Ik wil drie dingen noemen. Eén: supervised fine-tuning. Dat is hetzelfde mechanisme als pre-training, dus op dezelfde manier worden er teksten aangeleverd. Alleen die zijn nu niet gewoon stukken tekst die verzameld zijn van allerlei plekken, maar dat zijn zorgvuldig samengestelde voorbeelddialogen, prompts en ideale antwoorden. En die worden dan gevoerd. Tweede is preferentietraining, dus je geeft een prompt en twee antwoorden, en de beoordelaar kiest welke het beste daarvan is. Een prompt met twee alternatieve antwoorden op die prompt en dan geef je feedback door te zeggen: hé, deze is beter dan die.

Bert Slagter: Bijvoorbeeld, daar komen termen vandaan als reinforcement learning with human feedback of tegenwoordig steeds vaker ook AI feedback. Dus reinforcement learning, preferentietraining en de derde is reinforcement learning with verifiable rewards. Is ook interessant. Het wordt vaak, wordt daar programmacode wiskunde voor gebruikt. In ieder geval iets van een stukje output wat heel makkelijk automatisch verifieerbaar is. En dan gaat AI net zo lang dingen genereren totdat er iets klopt en dat beloon je. En het aardige is waar men achter kwam dat als je dat gaat doen, dan ontstaat daar spontaan het vermogen om te gaan redeneren. Die lange redeneerketens ontstaan met deze vorm van post-training, omdat die lange redeneerketens dan tot verifieerbaar juiste antwoorden leiden. Dus dit zijn allemaal dingen die gebruikt worden om, ja, die basisintelligentie die er al wel in zit om die bruikbaar te maken. Dan krijg je ineens een model die begrijpt wat je bedoelt.

Bert Slagter: Die, je hebt het gevoel dat hij slim is. Tegenwoordig wordt soms ook nog het concept mid-training gebruikt en dat, je raadt het nooit, dat zit tussen pre- en post- in. Als tussenfase, als een soort overgang tussen die twee. En dan wordt er getraind, bijvoorbeeld met een grotere context van, dan die 4.000 tokens en dat wordt dan opgerekt, uiteindelijk naar 1 miljoen tokens, zodat ook het hele idee van langere context windows geleerd wordt aan het model. Er wordt soms getraind op specifieke datasets uit bepaalde domeinen of met bepaalde talen. Op die manier wordt daartussen nog een soort overgang gecreëerd. Dat het niet helemaal een soort schok is, maar vanuit de pre-training over naar de post-training. Goed, en dan heb je een model na dit alles dat wij dagelijks gebruiken. En dan wil ik naar die twee modellen toe waar we het net even over hadden. Kimi K2, K3 en die Sophie. Kijk, voor de prestatie van een model, hoe goed die is, gaat het niet alleen maar om het aantal parameters.

Bert Slagter: En dat voel je misschien wel als je dit stukje geluisterd hebt. Een goed model maken is een kunst, zou je eigenlijk kunnen zeggen. Het is de optelsom van de architectuur. Hoe zitten die lagen in elkaar? De trainingsdata. Wat voor data voer je hem dan? Maar ook de post-training. Wat doe je in die post-training allemaal? En de orchestration, hoe stel je de prompt samen die uiteindelijk het model ingaat? Welke instructies zitten daarin? En de tooling die het model tot zijn beschikking heeft en waar hij mee om kan gaan. Als je dat allemaal bij elkaar pakt, dan volgt daaruit hoe nuttig of hoe goed een model is. En dat gaat dus niet alleen maar over het aantal parameters. Het gaat over heel veel meer. Nou, laten we dan even kijken naar die modellen. Kijk, we kijken heel vaak naar het aantal parameters. Bart noemde net al, 2,8 biljoen versus de 1,5 biljoen van Opus en van Opus 4.8 en ChatGPT of GPT-5.6 bijvoorbeeld. Maar ook DeepSeek V4 heeft ongeveer dat aantal.

Bert Slagter: Dat is een beetje, wordt veel gebruikt nu. En Fable, schijnbaar ook rond de 3 biljoen. Weten we natuurlijk niet. Publiceren ze niet, maar daar gaat men een beetje van uit. Dus dat zit dan, is ongeveer twee keer zoveel parameters. En dan kun je zeggen: o, meer is beter. Poh, wat goed, een groot model, groter model. Natuurlijk speelt omvang een rol, maar het is niet heilig. Een kleiner model met betere post-training en betere orchestration en tooling kan veel beter zijn dan een groter model. Voor een AI-huis zijn er eigenlijk twee manieren om een beter model te maken. Of je gaat verder op een bestaand model, bijvoorbeeld ChatGPT-5.4, 5.5, 5.6. En wat ze dan eigenlijk doen, zijn eigenlijk twee manieren. Je kan of een checkpoint pakken van die pre-training van 5.5, zeg maar, van GPT-5.5, en je gaat daarop verder met pre-training. Je hebt meer data of andere data. Dat noem je dan continued pre-training vanaf een checkpoint. Of je zegt: ja, we hebben toen allerlei post-training dingen gedaan voor 5.5.

Bert Slagter: Alleen we denken inmiddels dat er nu slimmere manieren zijn, betere manieren voor post-training. We pakken gewoon het laatste checkpoint van de pre-training en we gaan die post-training opnieuw doen en dan krijg je eigenlijk hetzelfde startpunt als 5.5, alleen met een andere post-training. En dan krijg je 5.6 en dan zie je dus dat 5.6, ja, misschien wel voor, want ook even in rekenkracht is post-training maar ongeveer 1% van het rekenwerk en dat 99% van het werk misschien hetzelfde is tussen 5.5 en 5.6. En toch is 5.6 veel beter. Dat zit hem dus in die post-training. En een andere manier om een beter model te maken, ja, is een nieuw groter model te maken met een andere architectuur. Meer parameters, meer of minder lagen, meer of minder experts. Andere algoritmen. Kan ook en dat doet OpenAI natuurlijk ook. We hebben nu 5.6 gezien, maar ze zijn ongetwijfeld aan GPT-6 bezig achter de schermen en dat zal dan meer parameters hebben. Maar goed, realiseer je, dat als je het hebt over een beter model, ja, dat het allemaal trade-offs zijn.

Bert Slagter: Want Kimi K3, ja, is groter model, en daardoor automatisch wat slimmer, maar ook duurder en trager. En stel je daar tegenover een kleiner model met betere, slimmere post-training. Die kan evengoed presteren, maar tegen lagere kosten en met meer tokens per seconde. Dus dit is eigenlijk het wat complexere speelveld achter zo'n getal als, ja, zoveel parameters. En dat brengt ons bij de feitelijke prestatie. Je moet dus niet alleen maar kijken naar hoeveel parameters heeft het model, want dat geeft best een indicatie, maar je moet eigenlijk gaan kijken naar: hoe presteert het nou echt? En dan kom je al snel uit bij benchmarks. Ja, is natuurlijk handig, hè? Gaan we benchmarks. Want hoe meet je of een model goed is? Benchmarks. En mensen doen dat graag, hè. Cijfers, ranglijsten.

Bart Mol: Hoe goed je kunt hacken, bijvoorbeeld. Benchmark.

Bert Slagter: Ja, precies. Dan zeg je: nou ja, we hebben een benchmark. Hoe heette die ook alweer? Ja, iets, ja, die hebben allemaal namen, hè, die benchmarks.

Bart Mol: Ja, ja, nu vraag je het. Ben ik het weer— oh ja, Exploit Gym was het. Ja.

Bert Slagter: Oh ja, Exploit Gym. En dat is dan een benchmark en daar kun je dan een score op krijgen. Die kun je dan vergelijken. Zijn vaak getallen, hè. Oh, 1.240 versus 1.310. Nou, dan is die ene beter, weet je wel. Dus dat is op zich logisch, hè, dat we dat gaan doen. Maar wat nou als die benchmarks, dus de vragen en de antwoorden van de benchmarks bijvoorbeeld, of de methode, als die op een of andere manier onderdeel zijn geworden van de tekst die gebruikt wordt voor pre-training? Dat noemen we contamination. Vervuiling. Als dat gewoon, ja, per ongeluk. Je wil het er eigenlijk uit halen, want je wil niet dat de benchmark onderdeel is van training, want dan, ja, dan heb je eigenlijk, zoals Peter zei, heb je eigenlijk het antwoord voorgezegd. Dan weet hij het antwoord al. Ja, niet zo gek dat ie goed scoort. Je hebt alle antwoorden meegegeven, zeg maar. Dus contamination, dat wil je eigenlijk voorkomen. Maar je kunt ook in post-training nog doen, ja, dat is al wat smeriger, want dan doe je het eigenlijk bewust. Ga je in de post-training, ga je je model laten oefenen op, ja, de vragen en de antwoorden, de opdrachten van benchmarks.

Bert Slagter: Dat noemen ze ook wel benchmaxing. Dan maak je je model bewust beter, specifiek in een bepaalde benchmark. Hè, dus dat eerste, de contamination, zou je nog van kunnen zeggen: dat is eigenlijk een soort van slordig. Jammer dat het gebeurt. En in de post-training, dan ben je gewoon de boel aan het flashen, zullen we maar zeggen. Nou, bij Sophie, daar begonnen we mee, dat Duitse model. Ja, daar kwam bijvoorbeeld naar buiten dat ze in de post-training op bepaalde benchmarks, ja, 10 epochs, 10 keer die hele benchmark hebben gevoerd aan het model. Ja, moet je niet gek op kijken dat hij er dan heel goed in is. Hebben ze daarna gezegd: oh, dat was een foutje, dat had het niet gemoeten, dat hebben we eruit gehaald. Ja, hebben ze wel uit de paper gehaald en de methode, maar het model was er gewoon nog steeds op getraind. Dus dat was, dat is wel uit categorie, dan zeggen ze zelf: ja, dat is er wel ingeslopen, maar dat kan gewoon niet. Zeker niet als je dan gaat roepen: we hebben het beste model, kijk maar naar de benchmarks. Maar ook bij K3, bij Kimi K3 is er wel het vermoeden omdat er, ja, toch mensen zijn die zeggen: ja, het presteert vreselijk goed in deze benchmark, maar mijn praktijkervaring is wisselend.

Bert Slagter: Dus kijk, bij K3 weten we het nog niet, of daar misschien per ongeluk contamination of expres, benchmaxing, benchmarks de training in gelekt zijn. Maar het zou wel kunnen. En ja, kijk, je moet je toch, ik moet dan ook een beetje denken, die benchmarks, die vertellen dus maar een deel van het verhaal. En mensen willen graag die cijfertjes en die ranglijsten. En dus is er een hele sterke prikkel om te optimaliseren op een benchmark. Ook al weet je dat je het niet moet doen. En dan moet je denken aan Dieselgate. Kenden jullie dat nog van Volkswagen? Volkswagens, die werden toen zo geprogrammeerd dat als de rit leek op een uitstoot benchmark, dan activeerde er een ander motorprogramma waardoor die minder uitstoot. Waardoor het leek alsof hij heel weinig uitstoot had, maar eigenlijk niet. Maar dat was ook een soort van cheat. Dat werd natuurlijk ook gezien als bedrog. Zijn rechtszaken gevoerd van mensen die hun geld terug moesten, weet je wel. Dat is natuurlijk een heel ding geworden. Ja, eigenlijk is dat ook een soort van inherent aan benchmarks.

Bert Slagter: Dat er een hele sterke prikkel ontstaat om erop te optimaliseren. En, ja, dat spookt door mijn hoofd. Van de week toen ik dat over Kimi K3 zag langskomen van: poh, wat is die weer goed en zo. En ook over GPT-5.6 en Fable toen, hoor. Ja, als ik dan lees ik ook verhalen van mensen die zeggen: nou, ik heb ze allemaal naast elkaar geprobeerd voor dit, dit en dit voorbeeld. Gewoon eigenlijk hun eigen benchmark. Ja, maar dat is iets wat ze zelf maken, dus dan weet je 100% zeker van dat het niet in de data zit. Die zeggen: ja, ik weet niet waarom die K3 zulke hoge scores krijgt, want ik vind het tegenvallen. En dan filosoferen ze daar nog wat over. Zeggen ze: ja, dat komt misschien ook omdat GPT-5.6 gewoon echt hele goede post-training heeft gehad. En dat je bij zo'n OpenAI niet alleen maar het model beoordeelt, maar ook alles eromheen. Ook de orchestration die OpenAI doet. Ook de tooling die OpenAI aanbiedt.

Bert Slagter: Ook de hele stack, ook het harnas misschien wel wat je gebruikt. Dus alleen maar een model vergelijken op cijfertjes van een benchmark vertelt echt maar een heel klein stukje van het verhaal. En daarvoor wilde ik jullie iets vertellen over hoe training in elkaar zit.

Bart Mol: Ja, zeker. Ik denk dat het heel belangrijk is. Daarom, ga het ook gewoon proberen. Kijk, het is leuk om benchmarks te zien en het zegt echt wel iets, precies wat Bert zegt. Alleen uiteindelijk, ja probeer het maar, weet je, dan kom je er vanzelf wel achter of het heel goed werkt of niet. En ik heb dat nu ook met Fable dat ik denk: ja, weet je, hij maakt de gekste software voor me en kan mijn hele home assistant automatiseren en van alles en nog wat. Maar ik heb vanochtend ook drie uur lang aan dit script wat ik hierna ga vertellen lopen werken en hij kwam er gewoon niet uit hoe ik wilde of zo. En natuurlijk moet je je script zelf schrijven, maar gewoon dat je hulp vraagt om het te overdenken, na te denken en kwam er niet uit. En dan ga je naar GPT 5.6 en die was veel directer. Precies de manier waarop ik het zelf voor me zag. Dus het is ook soms wel, soms niet. Ja, dus real life is uiteindelijk belangrijker dan een benchmark.

Bart Mol: Goed, ja, het volgende item. Daar gaan we snel naartoe. Ja, want ik heb hier wat staan, jongens, mijn grote vriend, ik had, wanneer was het Bert? Aflevering drie volgens mij. Toen jij het had over local AI, en toen heb ik daarop gereageerd van: ja, ik vind dit toch wel cool. Ik zit hier alleen maar te lachen. Ik krijg een glimlach op mijn gezicht. Ik moet hier wat mee. Ik moet hiermee aan de slag. Nou, dat heb ik gedaan. Zoals jullie zien staat hier op mijn bureau, voor de mensen die de podcast kijken, mijn oude videokaart. Die heb ik vervangen inmiddels door een iets nieuwere. Ik had hier voor de kenners een RTX 3080 staan, 10 GB VRAM.

Peter Slagter: Is ook een flinke joekel trouwens, hoor.

Bart Mol: Ja, 3B. Dat vond ik heel stoer toen ik hem kocht, dat hij drie slots innam. Uiteindelijk heel onhandig. Dus kies uit, altijd eentje die zo min mogelijk ruimte inneemt, want dan kan je er nog eentje bij prikken. Ik heb hem nu vervangen door een RTX 3090. Ook een oude kaart, maar meer geheugen, 24 GB. Komen we zo op terug waarom dat belangrijk is. Maar wat heb je dan gemaakt, Bart? Vraag je je misschien af. Nou, die ga ik ook even laten zien. Mijn grote vriend Botje. Daar is hij. En Botje is mijn eigen spraakassistent. Het is een doodskop voor de mensen die hem niet kennen. Fysieke doodskop met led-ogen heb ik erin gemaakt. Maar hij kan ook luisteren en praten en ik ga hem gewoon even live proberen. Kijken of hij het doet. Hij denkt nu na, dat zie je aan zijn ogen en als het goed is gaat hij het doen. Wacht, daar komt ie.

Spreker 4: Hé, wie is daar? Wie heeft die groene knop zo brutaal ingedrukt terwijl ik net droomde over honing?

Bart Mol: Hallo Botje, dat was ik, Bart. Ik wil graag de prijs van bitcoin weten.

Spreker 4: Ah, Bart, jij bent het. Je weet precies waar ik voor moet zijn, hè? Die digitale munt van tegenwoordig staat nu op € 57.602, maar hij is wel een klein beetje aan het zakken sinds gisteren.

Bart Mol: Nou, ik zet Botje even weg.

Peter Slagter: Mooi accentje ook.

Bart Mol: Ja, dat was natuurlijk ook een beetje de bedoeling. Daar kom ik later nog wel eens op terug. Ik heb helemaal nieuwe ideeën over persona's en AI en noem het maar op. Maar goed, ik heb dus een spraakassistent gemaakt. Maar wat je net zag en hoorde, dat draait dus allemaal lokaal. En dat was een beetje mijn project waar ik mee ben begonnen.

Peter Slagter: Dat is best een acceptabele latency, zeg maar vertraging tussen je vraag en het antwoord. Niet verkeerd.

Bart Mol: Daar kom je inmiddels, daar kom je dan gedurende de week achter, zeg maar. En ik heb die week een beetje opgedeeld in verschillende dagen en daar ga ik jullie gewoon door mee, uh, nemen. Als jullie willen inbreken, breek vooral in jongens met vragen en dingen. Want het is heel veel. Ik ben door een rollercoaster, maar het was heel erg leuk, vond ik zelf. Nou, Botje hebben jullie net gezien. Ja, eigenlijk, mijn vraag was: hoeveel AI kun je zelf lokaal draaien en waar loop je dan tegenaan, hè? Ja, daar gaan we het over hebben. En het grappige is dat dus allemaal kinderen uit de buurt, die willen nu de hele dag met Botje praten, dus het werkt daadwerkelijk. Dus dat is wel heel grappig om te zien. Wat had ik staan? Nou ja, ik had dus een videokaart, een RTX 3080. Die kan je kopen voor €450 tweedehands. Nieuw worden ze niet meer gemaakt. Ik heb daarna een RTX 3090 gekocht. Die was €1.000 tweedehands.

Bart Mol: Die zijn duurder geworden omdat ze heel erg in trek zijn voor dit soort projecten. En ik heb mijn MacBook Pro M3 Max. Die had 36 GB aan geheugen. Dat zijn de drie apparaten, zeg maar de drie hardware-stukken die ik bij me had. En ja, de bouwtekening voor de spraakassistent was eigenlijk: oké, hij moet eerst speech to text hebben, dus ik moet praten, dat moet hij om kunnen zetten in tekst. Die tekst, die gaat een model in, de modellen waar Bert het net over gehad heeft in het vorige stuk. En daarna moet hij weer terugkomen. Tekst naar speech, het moet weer in spraak eruit komen. Dus drie verschillende modellen heb je daar ook voor nodig. Dag één begon ik eigenlijk met het ombouwen van mijn oude game pc naar AI server. En eigenlijk, ja, waar we het hier over hebben, wat hier terugkomt: wat is een model nou eigenlijk, hè? Dus parameters komen daarin terug, kwantisatie komt daarin terug. En waarom ook nog twee verschillende soorten snelheden bestaan als je het hebt over tokens per second.

Bart Mol: Dan heb je het over lezen en schrijven. Die videokaart die ik nog had liggen, waarom is dat belangrijk? Waarom is die goed om te hebben? De kern van een taalmodel bestaat uit grote matrixbewegingen. Een beetje het hele verhaal wat Bert net heeft verteld. En een GPU kan dezelfde soort berekeningen op heel veel getallen tegelijk uitvoeren en heeft nog eens zeer snel geheugen. Dus het heeft heel veel rekenkernen en het geheugen wat erop zit kan heel snel verplaatst worden. Zo'n lokaal AI-model is net als een normaal AI-model. Dat is een enorm bestand met getallen dat je computer steeds opnieuw moet doorrekenen om het volgende woord te voorspellen. Het model wat ik gebruik, mee begonnen ben, was Qwen 3.5 9B. Dat is 9 miljard parameters. Bert had het net over een model met 2.8 biljoen parameters. Dat was de ene kant van het spectrum.

Bart Mol: Nu zitten we aan de andere kant van het spectrum. Die lokale modellen zie je vaak dat ze kwantisatie gebruiken. Dat is hetzelfde als met digitale foto's. Daar heb je soms het origineel, kan je opslaan. Dat is 80 MB per foto. Of je kan een JPEG opslaan. Dan ziet het er prima uit, behalve als je hem op een poster uit wil printen op groot formaat. Je bestandsgrootte is kleiner van die JPEG, je kan meer foto's opslaan. Dat is wat kwantisatie doet. Per parameter slaat hij hem in plaats van in 16 bit, slaat hij hem op in 8 bit of vaak wat je ziet in 4 bit. Daardoor wordt het model kleiner in totale omvang en kan je hem inladen op jouw grafische kaart of op jouw laptop. Waar ik achter kwam, al vrij snel: dit model wat ik had was 6.6 gigabyte. Deze videokaart die ik hier heb staan had 10 gigabyte aan VRAM, aan geheugen.

Bart Mol: Dat hele model past op het geheugen van deze videokaart. Daardoor is hij bloedsnel. Ten eerste omdat je 3.700 tokens aan prefill hebt voor de prefill, het lezen van jouw prompt. Het interessante daarbij is: de tokens uit het prompt kunnen grotendeels parallel worden verwerkt. Hier ligt het vooral: de rekenkracht is belangrijk van je GPU. Hier wint zo'n Nvidia-videokaart het van jouw MacBook bijvoorbeeld. Aan de andere kant, op een gegeven moment begint hij te schrijven, gaat hij een antwoord geven. Daarbij hangt elk volgend token af van het vorige. Elk nieuw token wat er gemaakt wordt, dat heeft Bert besproken, langs al die lagen, langs al die parameters. Dat hele model, al die 6.6 gigabyte moet door je videokaart heen geramd worden om dat token eruit te krijgen.

Bart Mol: Bij het volgende token weer en daarna weer. Het mooie is dat het geheugen, de bandbreedte ligt hoog bij zo'n videokaart. Daardoor kan dat. Ik kwam uit op 100 tokens per seconde output. Dat is interessant. Dat was dag één. Wat we hier moeten onthouden is dat voor elk nieuw token de relevante modelgewichten opnieuw uit het geheugen moeten worden aangevoerd. De snelheid is grofweg bandbreedte gedeeld door het aantal actieve gigabytes. Dat ging hartstikke goed. Toen kwam ik de volgende dag, op dag twee, bij het punt: ik heb een probleem. Ik heb een model, Qwen, wat ik net zeg. Dat is hartstikke leuk voor coding. Als ik ermee aan het praten ben, met Botje, geeft hij gekke Nederlandse zinnen. Hij is niet goed in Nederlands en praten en het maken van zinnen. Hij is goed in coding, daar heb ik hem niet voor nodig. Toen ben ik gaan kijken. Toen heb ik Qwen vervangen door Gemma. Gemma is een 12 miljard parameters model.

Bart Mol: Dat bestand was in één keer 7 komma zoveel gigabyte. Dat paste nog net in het geheugen van die videokaart. Ging goed. Ik kwam op 70 tokens per seconde. Is niet zo gek omdat het model groter is. Er komen minder tokens per seconde uit. Op een gegeven moment ging ik het speech-to-textmodel ernaast zetten. Toen zag je dat er een gedeelte van het Gemma-model niet meer op de videokaart paste. Die moet in mijn RAM-geheugen gezet worden, die heb je ook in je computer zitten. Het resultaat: we gingen van 70 tokens per seconde naar 29. Waarom? Dat laatste beetje wat naar het RAM-geheugen moet, is 30 keer trager dan die videokaart. Eigenlijk moet je het vergelijken alsof ik naar Bert rij met de auto. 90% ga ik lekker over de snelweg.

Bart Mol: Het laatste stukje moet ik door het dorp heen, stoplichten, er staat een brug open en ik moet over gekke hobbels heen, noem het op. Die laatste 10% duren langer dan de rit daarvoor. Het probleem is met die modellen dat ik niet één keer naar Bert moet rijden. Voor elk token moet ik naar Bert rijden. Dat hoopt snel op. Ook al valt er 10% uit het geheugen en moet het naar RAM, wordt je model in één keer de helft minder snel. Dat is interessant. Toen kwam ik achter: shit. De les van die dag was: het moet passen. Passen betekent ook als er een ander model naast draait voor text to speech of speech to text, het moet allemaal bij elkaar passen. Prima. Toen kwam ik op dag drie erbij van: het past nu. Ik ga terug naar Qwen of ik gooi het text-to-speechmodel eraf en dan paste het precies. Toen begon ik te praten, een paar testjes uitgevoerd.

Bart Mol: Toen liep hij alsnog vast. Ik denk: dat is gek. Toen viel hij weer van die cliff, zoals dat heet. Hij werd superlangzaam. Ik denk: hoe kan dat nou? Wat blijkt? Je praat tegen zo'n model. Elke keer dat je praat wordt dat toegevoegd aan de context. De context is alles wat het model opnieuw moet meenemen elke keer. En dat loopt best wel snel vol. Zeker als je natuurlijk gaat programmeren en dat soort dingen. En op het moment dat hij te vol is, ja, dan past het niet meer in de videokaart zijn geheugen en dan moet het naar het RAM en dan wordt het weer heel langzaam. Om je, dus voor mij werd opeens, ja, context windows. We kennen ze wel natuurlijk, hè. In Claude heb je tegenwoordig 1 miljoen. Maar ik kwam er nu achter hoeveel geheugen dat daadwerkelijk kost. 8.000 tokens context was 0,3 gigabyte extra aan RAM wat ik aan geheugen wat ik nodig had op mijn videokaart. Dat zijn ongeveer 5.500 woorden. Dit soort modellen kunnen 256.000 tokens in de context vasthouden, maar dan heb je het wel over bijna 10 gigabyte aan extra geheugen wat je nodig hebt.

Bart Mol: Ja, dat past niet, want we hebben net gezegd dat mijn model al 8 gigabyte nodig had, dus ik moet 18 hebben. Oké, interessant. Interessant, toen dacht ik: dat moeten we in de gaten houden. Toen kom ik op dag vier en dag vijf eigenlijk. Toen ben ik gaan kijken van: ja, oké, hoe kunnen we hier nou toch wat aan doen? Toen ben ik bijvoorbeeld naar mijn MacBook gaan kijken, want die had 36 gigabyte geheugen. En dan denk je: ja, Bart, dat is leuk, maar je hebt net gezegd: RAM-geheugen, dat is helemaal niet snel. Nee, dat klopt. Dat is hoe mijn Windows computer werkt. Of mijn Ubuntu machine, want dat heb ik gebruikt uiteindelijk om Ollama te installeren. MacBooks werken anders sinds dat zij M-chips hebben. Wat je daar hebt is dat de GPU, dat is de videochip, en de CPU, dat is een beetje de algemene chip, dat hele systeem is eigenlijk één chip geworden. En wat hoort erbij? Geheugen. Dat geheugen zit ook op die chip. Nou, lang verhaal kort: het komt erop neer dat de bandbreedte van dat geheugen op de Mac ligt veel hoger dan mijn RAM. Mijn RAM ligt op 50 gigabit per seconde is het denk ik.

Bart Mol: En bijvoorbeeld op mijn M3 MacBook gaat het al richting de 400. Op hoeveel zit die videokaart dan? Die zit op 800, dus die is weer dubbel zo snel als mijn Mac. En dan krijg je wat interessants. Dan krijg je opeens dat zo'n groot model werkte prima op mijn Mac. Alleen hij is wel langzaam. Het is wel, of in ieder geval langzamer dan die videokaart. Hè, je zat, als je het een beetje gaat vergelijken zit je bijvoorbeeld het Qwen-model of het Gemma-model waar ik het net over had, zit je op mijn MacBook rond de 30 tokens per seconde output. Maar op mijn videokaart zit je op 100 tot 70. Maar op een gegeven moment ben ik Qwen 3.6 27B gaan draaien. 27 miljard parameters. Op mijn MacBook. Hij is langzaam, maar hij draait wel 14 tokens per seconde. Op deze videokaart ging dat dus gewoon niet. Dus dat is interessant. Zeg maar, als het past op een videokaart is die veel sneller op zo'n Nvidia videokaart en is dat ook echt aan te raden.

Bart Mol: Maar op een gegeven moment past hij daar niet meer op en dan moet je naar een MacBook. Want ik heb die nieuwe videokaart gekocht, die 3090. Die heeft 24 gigabyte aan geheugen. Stel daar zet je er twee van in je computer. Dat kan op zich wel en heb je ongeveer 50 gigabyte aan geheugen. MacBooks kan je tegenwoordig gewoon met 128 gigabyte kopen. Sterker nog, we hadden Mac Studio's die tot 512 gingen. Dus-

Bert Slagter: Ja, vorige week heeft Apple aangekondigd dat ze naar 1,5 terabyte gaan, hè. 1.500 gig. Dus dat is een beetje de toekomst, ja.

Bart Mol: Precies, precies. En dat is, als je dat met dit soort videokaarten wil doen, ja, dan ben je echt een echte server aan het bouwen. Hè, want dit soort videokaarten gebruiken ook 350 watt elektrisch vermogen, terwijl jouw MacBook-

Bert Slagter: Per stuk.

Bart Mol: Per stuk. Precies.

Bert Slagter: Ja.

Bart Mol: Terwijl jouw MacBook, ja, die zit veel lager. Dan ga je echt over, heb je het over 30, 40 of zo als je het over een Mac mini hebt of een Mac Studio. Dus het laatste wat ik toen gedaan heb is dat ik er een nieuwe videokaart in had gezet. Toen had ik opeens 24 gigabyte aan snel geheugen. En het interessante daar is, daar wil ik het nog heel even kort over hebben, is dat ik toen van een dense model ben overgestapt naar een Mixture of Experts model. Want wat is dat nou? Nou, zo'n dense model, daar laad je het hele model in je geheugen en bij elk token gaat het door het hele model heen. Door al die lagen, door al die virtual spaces waar Bert het over had. Dat token reist daar helemaal doorheen. Van parameter één tot parameter 9 miljard. Ze moeten allemaal, allemaal ziet ie ze en daarna komt er een output en dan kan hij dat weer opnieuw doen. Wat nou een van de vooruitgangen is de afgelopen tijd is dat er eigenlijk wordt gekeken van: oké, we laden het hele model wel in je geheugen, maar per output token, die sturen we eigenlijk naar de juiste expert in dat model.

Bart Mol: Dus aan het begin wordt er gekeken van: oké, waar gaat deze vraag over? Oh, dit is een kind die een verhaaltje wil over een sprookje. Ja, dan gaan we niet de programmeurs erbij halen. Die hebben hier niks mee te maken. Nee, we sturen het naar het stukje van het model toe, naar de expert die heel goed sprookjes kan vertellen. En het interessante daarvan is, is dat je dus een groot model in kan laden, maar een klein gedeelte nodig hebt. En wat ik daar dus tegenkwam, en dat is wel heel gaaf, toen ik dit had ingeladen, zo'n groter model op mijn RTX 3090, is dat die eigenlijk net niet paste. Hè, maar helemaal niet zo ver terugviel. Sterker nog, op mijn RTX 3080 zat hij op 22 tokens per seconde aan output. Hè, dat is beter bijna dan dat andere model wat helemaal terugviel. Hè, die ging ook naar dezelfde output, maar dat was een veel kleiner model. Dus dat is best wel, ja, vind ik best wel grappig. En als hij helemaal past dan zit hij dus gewoon op 100 tokens per seconde, terwijl je wel gewoon een model van 23 gigabyte in je geheugen hebt geladen.

Bert Slagter: Ja, om heel eventjes te relateren aan die eerdere items over hoe die modellen werken. Wat zo'n Mixture of Experts model doet

Peter Slagter: Die gaat niet bij elke laag alle dimensies gebruiken. Dus waar in het voorbeeld gebruikte ik 8.000 dimensies of 8.192, hè, is het dan natuurlijk twee tot de zoveelste. Alleen daar pakt hij er dan bijvoorbeeld maar 128 van. Dus er worden per laag maar een deel van de dimensies geactiveerd en dat is de truc die ze dan toepassen.

Bart Mol: Ja, dus dat heb ik toen daarna gedaan. Uiteindelijk ben ik wel weer naar Gemma overgestapt. Het 12B-model, dat is ongeveer 8 gigabyte. Dat draait op 80 tokens per seconde. Ja, en dan merk je, zoals Peter al zei, dan is die latency prima. Je leest ongeveer op 20, nou ja, trouwens niet eens, je leest op 8 tokens per seconde ongeveer, dus dit is snel genoeg. En, ja, uiteindelijk hebben die kinderen dat allemaal dit gebruikt en dan merk je eigenlijk al heel snel wat er nog beter kan en beter moet. Maar, hij kan dus tool calls doen, hè, dus hij kan de bitcoinprijs ophalen, het weerbericht ophalen. Hij kan het nieuws ophalen, hij kan mijn huis bedienen, dus, of in ieder geval home assistant. Ja, ik was best wel blij verrast. Er kan best wel veel, alleen je moet wel even je, wat je gewend bent van Claude Code en Codex, ja, dat moet je even laten vallen. Je moet je verwachtingen even laten vallen, maar als je dat gedaan hebt, dan kan er best wel een hoop. Ook qua image recognition, image generation, hè, het maken van afbeeldingen. Transcription is heel erg goed, dus, ja, het is best wel leuk om mee te spelen.

Bart Mol: Dus ik ga, ja, mijn lieve botje ga ik nog wat verder de komende tijd verbeteren. Maar ik zal zeggen: het is wel heel leuk om te doen. Dus ik zou zeggen: ga op zoek naar zo'n videokaart. Of, als je een MacBook hebt, dan kan je die gewoon natuurlijk hier hartstikke goed voor gebruiken. Laat mij ook weten wat je hier graag wil nog wil zien en wil horen, of je hier een gids over wil. Ja, ik heb mijn best gedaan het hier een beetje in 20 minuutjes samen te vatten. Het is best, ja, je komt gewoon heel veel tegen en dat is wel echt heel erg leuk. Dus kom ook vooral in de Discord om hier over te praten. Maar, ja, ik ga hier de komende tijd wel meer mee aan de slag en ook kijken welke dingen die ik nu aan Codex of Claude geef of aan Hermes, welke dingen kan ik nou met mijn lokale model doen? Want ja, hij staat hier gewoon te draaien. Althans, hij staat aan, maar ik wil dat ie staat te draaien, die videokaart, dus daar ga ik de komende tijd verder mee aan de slag. Ik denk dat ik hem hier even bij laat.

Bart Mol: Dan kunnen we namelijk ook nog eventjes.

Peter Slagter: Cool.

Bart Mol: Ja, thanks. Thanks Bert. Naar het laatste item van deze week, want die wil ik toch nog wel even doen. Ja, Peet, ik heb hard gewerkt om hier uit te komen. Ja, want we moeten wel eventjes de Turing Line doen, jongens.

Peter Slagter: Ja, het hoeft niet. We kunnen onze, ons publiek ook aanleren dat het niet altijd feest is.

Bart Mol: Ja, dat komt later. Nee, we gaan er niet over, we gaan nu niet discussiëren. Elke seconde is er één. De Turing Line. Daar komt ie. Ik hoor hem al aankomen.

Peter Slagter: Nou ja, dat is, dat is dan mooi voor iedereen die luistert, want het is weer een prachtig stationnetje. Ik neem jullie mee op reis en we gaan naar een gure namiddag in het jaar 1833 en we lopen daar met z'n allen. Bert voorop, Bart tussenin, ik achterop. Ik vertel. Door de modderige straten van het Engelse provinciestadje Lincoln, ligt een kilometer of 40 ten oosten van Sheffield, voor degene die een beetje beeldend is ingesteld. En tussen de voorbijgangers loopt een 17-jarige jongen die opvallend diep in gedachten verzonken is. En die jongen, die heeft geen cent te makken. Zijn pa is een schoenmaker, is onlangs failliet gegaan. Hij heeft nog nooit een universiteitsverbinding gezien. Is een autodidact. Overdag geeft hij les op een, ja, ook wel een soort armzalige school. Moet toch brood op de plank komen, ook voor zijn familie. En 's nachts leert hij Grieks, Latijn, calculus, wiskunde en zijn naam is George Boole.

Peter Slagter: En op die specifieke middag, ik denk omdat wij hem met z'n drietjes langs zagen lopen, krijgt George Boole een ingeving en die ingeving gaat de rest van zijn leven beheersen. "The thought flashed upon him suddenly," schreef de Ierse wiskundige en ook biograaf Desmond MacHale over dat moment. George die stelde zichzelf een vraag: als het universum volgens strikte wiskundige wetten is geordend, waarom zou de menselijke geest dan een uitzondering zijn? Kunnen we de wetten van het menselijk denken niet vangen in een wiskundige formule? Nou, en Boole, die was geen techneut. Hij was ook niet bezig met het bouwen van een computer of zo. Dit was een filosoof en die was echt bezeten door taal en de menselijke ziel. En in die tijd was logica zoals wij dat nu kennen nog helemaal niet gekoppeld aan de wiskunde. Dat hoorde echt thuis in de filosofie.

Peter Slagter: Misschien ken je deze bekende zogeheten sluitrede wel. Komt ie: alle mensen zijn sterfelijk. Socrates of Bart, Bert of Peter is een mens, dus Socrates of Bart of Peter of Bert is sterfelijk. Tot in de 19e eeuw was dit eigenlijk min of meer de enige vorm van logica die gehanteerd werd. Dat kwam van Aristoteles. Maar Boole die zag andere dingen. Die zag iets anders. Hij zei: ik spreek zoveel talen, ik zie dat taal zelf ook een systeem is. En wiskunde, dat is nou precies, dat is de ultieme taal. En hier voel je al aan, er zit een bruggetje naar Ada Lovelace, waar we het ook over hebben gehad. Net als Ada zag George, en ze waren toevallig ook min of meer in dezelfde tijd opgegroeid, dat wiskundige symbolen niet per se over hoeveelheden of getallen hoefden te gaan. Ze konden ook staan voor een concept. Hij schreef daarover, wat achteraf als zijn meesterwerk wordt gezien, in het boek An Investigation of the Laws of Thought.

Peter Slagter: En daarin liet hij zien dat je elke logische discussie, elk menselijk dilemma, elke redenering kon reduceren tot iets wiskundigs, tot een uitdrukking, iets met slechts twee waarden waar of onwaar. Aan of uit, één of nul. En hij had daar drie bouwstenen aan toegevoegd. And, or en not. En daarmee kon hij de meest complexe argumenten ontleden. Nou, en in de academische wereld van die tijd ging dat best wel rond. Hij werd ook wel geprezen. Hij kreeg een gouden medaille van de Royal Society. Hij werd benoemd tot de eerste professor in de wiskunde aan het Queen's College in Cork, Ierland. Ze vonden het werk wel briljant, maar ook volkomen nutteloos. Dus hij kreeg wel eer voor een soort van abstracte curiositeit. Men zei eigenlijk: ja, het is wel leuk, George, maar wat moeten we hier in vredesnaam mee? We hebben hier geen reet aan. Dus het was ook een soort van, ja, het voelde voor George misschien toch een beetje als een drol met een gouden randje.

Peter Slagter: Ik bedoel, je levenswerk. Ja, oké, leuk, maar ja, wat moeten we ermee? En dat antwoord, dat liet een jaar of tachtig op zich wachten. Je zou kunnen zeggen die ideeën van George Boole, die waren toch als een soort flessenpost in de oceaan gemikt. En tachtig jaar later, in 1937, viste een jonge Amerikaanse student met de naam Claude Shannon die brief uit de fles. Claude, zeg je. Claude, dat ken je ergens van. Ja, de Claude waar Anthropic dus zijn eigen product naar vernoemd heeft. Die naam, die gaan we in deze serie nog wel vaker tegenkomen. Überhaupt natuurlijk in Turing Station. Kijk, Claude, die deed onderzoek destijds naar telefooncentrales met van die mechanische schakelaars. Hij was daarop aan het broeden. Kan ik dat beter laten werken? En hij besefte: wacht eens even, die schakelaars, die staan open of dicht. Dit zijn die enen en nullen die George Boole bedacht had.

Peter Slagter: Dit is die Boolean logic en dat kan wel eens heel nuttig zijn voor het werk dat ik doe. En zo werd het denkwerk van een toen al overleden Britse schoenmakerszoon, gekoppeld aan koperdraad en aan elektriciteit. En dat werd de basis voor de computers die we vandaag de dag gebruiken. Eigenlijk zou je kunnen zeggen zonder die obsessie van Boole met het menselijke brein en met het vangen van gedachten, hadden we geen microchips gehad, geen internet, geen smartphone. In ieder geval niet op de manier zoals we het nu kennen met de timing van nu. En ik denk dat hier ook de parallel ligt met de AI-revolutie. Je zou best kunnen zeggen er loopt een lijn van de modderige straten van Lincoln naar ChatGPT. Want wat large language models en neurale netwerken doen, ja, is haast de extreme evolutie van de visie van George Boole. Kijk, en een AI of een AI-agent die begrijpt in de kern ook niet wat taal is of wat cultuur is, of wat menselijke emotie is. Het is een enorme abstracte machine die miljarden keren per seconde die Booleaanse logica uitvoert.

Peter Slagter: Als je het helemaal platslaat naar nullen en enen toe. Miljarden ja-nee schakelingen op elkaar gestapeld en daaruit komt dan voort zo'n magische complexiteit die wij ervaren als menselijke intuïtie, creativiteit en verstand. Dat werk van George. Ja, we hadden het over Ada Lovelace en die kreeg zelfs een Ada Lovelace dag, hè, die gaan we ook vieren met z'n allen. Die heeft George Boole niet, maar hij is wel geëerd met de documentaire The Genius of George Boole. En het mooie is, die is ingesproken door, ja, een legendarische, Oscarbekroonde acteur, Jeremy Irons. En zo klinkt het als hij kort op het leven van George terugblikt.

Spreker 5: The grand designer of this elegant and simple but radical idea is perhaps one of the world's greatest unsung heroes. He was one of the first people to propose that the way we think is by using logic.

Spreker 3: Boole is the father of modern information technology.

Spreker 5: Without George Boole, life would be very different for pretty well all of us. Nearly 200 years ago, George Boole made a revolutionary discovery. And the consequence of that discovery continues to change our world today.

Peter Slagter: Ja, het is net alsof we naar een natuurdocumentaire aan het luisteren zijn.

Bert Slagter: Attenborough, hè? Ja.

Peter Slagter: Ja, dat is het niet, maar zo klinkt het wel. En, ja, dit fragmentje staat in de shownotes. Als je de hele trailer van deze documentaire wil bekijken moet je daarop klikken. Als je de hele documentaire wil bekijken moet je even ergens anders naar zoeken, want die kon ik zo snel in het publieke domein niet vinden. Dat leven van George Boole, ja, dit was een anekdote, die kon ik niet laten liggen. Het is een beetje treurig geëindigd. 1864 overleed hij. Het wil zo. Hij liep in de stromende regen naar de universiteit, gaf daar een college, kletsnatte kleren en hij liep een longontsteking op. Zijn vrouw, Mary Everest. Ja, dat is de nicht van de man naar wie de berg vernoemd is. Ook wel een leuk feitje. Die geloofde in een destijds hippe, moderne medische theorie dat je een ziekte moest bestrijden met de oorzaak ervan. Kijk, en omdat hij nat was geworden, goot ze dagenlang emmers koud water over zijn bed.

Bert Slagter: Dat heb je zeker op Instagram gehoord.

Peter Slagter: Ja, ik dacht ook van: hier zit ook weer zo'n absurde parallel. Maar goed, dat was, nou ja, goed. Kijk, de logica van Boole was misschien onfeilbaar, maar de medische logica van zijn vrouw helaas niet. Dus Boole die stierf op 49-jarige leeftijd. Maar goed, hij had intussen wel bewezen hoe krachtig zo'n formeel logisch systeem kan zijn. Als je de regels maar strak genoeg definieert, dan kun je een machine laten denken. Althans, dat dachten we. Want, ja, er zijn natuurlijk nog steeds vragen. Als alles te vangen is in de logica van enen en nullen, kent de machine dan wel grenzen? Kan dat perfect zijn? Kan er echt alles op die manier opgelost worden? En daar gaan we het de volgende aflevering over hebben. Of misschien over twee weken. Ik ga niet beloven dat het volgende week, want je weet nooit hoe het loopt. En dan maken we een sprong naar de 20e eeuw en dan gaan we kijken naar de titanen van de wiskunde, Kurt Gödel en Alan Church. Zij pakten de fakkel van Boole op, toonden ook aan de wereld hoe krachtig formele systemen zijn, maar ze bewezen ook zwart op wit: er zijn grenzen.

Peter Slagter: Dus die machines hebben grenzen en daar gaan we het de volgende keer over hebben. Dat is het verhaal van George Boole.

Bart Mol: Ja, hebben we toch weer een stationnetje meegepikt. Past allemaal precies. Dames en heren, dan wil ik jullie hartelijk danken voor het luisteren naar alweer de vijfde aflevering van onze prachtige podcast. Bert, Peter, thanks mannen, jullie ook. Ja, ga naar turingstation.nl. Daar vind je alles wat je nodig hebt. Daar vind je alle linkjes naar onze Discord, onze community, maar ook de guides die we geschreven hebben over Hermes en Obsidian. Second brains bouwen met die tools en natuurlijk alle samenvattingen van alle afleveringen en bijvoorbeeld de linkjes waar Peter het net over had. Die kan je daar allemaal terugvinden, dus turingstation.nl, ga daarheen. Ja, verder rest mij niet zoveel meer behalve jullie een hele fijne rest van jullie week te wensen. Maak er wat van. Maak leuke dingen, laat in de comments achter wat jullie allemaal gemaakt hebben met AI. En dan zien we jullie graag volgende week weer terug voor aflevering zes. Thanks voor het luisteren.

Bart Mol: Tot volgende week.

Peter Slagter: Tot volgende week.

Bart Mol: Hoi!