Een geheime AI-beschaving? Het debat achter de Hugging Face-hack

Bart Mol: Ja, we hebben dus weer genoeg te bespreken. Het gaat een bomvolle uitzending worden. Ik wens je heel veel plezier met aflevering 11 van Turing Station. Ja, en dan gaan we zoals elke week gewoon direct eens even beginnen met wat onze lieve luisteraars allemaal gemaakt hebben. Peet, ik ben benieuwd. Jij hebt er een paar dingen op een rijtje gezet. Laten we daar eens even snel doorheen gaan lopen. Ik zal de eerste eens even oppakken. Rick, die gebruikte Codex om een executable, om de executable code en kopieerbeveiliging van, schrik niet, een 42 jaar oude zeldzame versie van Time Bandit, dat is een videogame, voor de, wie kent hem niet, Sanyo MBC555 te analyseren en te omzeilen. Ik denk dat dat jouw eerste console was, hè, Bert, in 1935 of niet? De zesde. Ja. Maar goed, ik loop allemaal grappig te doen, maar ik vond het eigenlijk wel heel erg cool, want hierdoor kon de game digitaal worden gered.

Bart Mol: Want deze game stond nog op een floppy disk. En, ja, dat is ouderwetse opslagmedia en die kunnen nog wel eens, ja, kapotgaan. Net als videobanden of iets dergelijks, hè. En uiteindelijk kwam het spel dus nu ook in het Internet Archive terecht. Ik vind het wel heel erg tof wat Rick gedaan heeft.

Peter Slagter: Ik zie het wel gelijk in goede herinnering als ik dit lees, hoor. Floppy disk. Oh prachtig man, die gewoon erin steken was al, dat gaf al een goed gevoel. Of die grote of die kleine. Ja, die kleine waren toch wel lekkerder denk ik. Anyway, we gaan naar Roel. Die noemt God's Eye View. Het is niet zijn eigen project, maar een project van Bilal Sidhu. En ik dacht: het is wel leuk om even te noemen voor mensen die wat tijd over hebben en zin hebben om even zelf iets te installeren. Er zit een soort hobbyprojectje aan vast. Ja, hij noemt het een spy simulator in your browser en het is wel grappig gedaan. Het is een soort Google Earth-achtige interface met daarop, ja, alle publieke datastromen die je kunt vinden van data van satellieten, vliegtuigen, schepen, kaartinformatie. En dat geeft, ja, het geeft je inderdaad een soort God's Eye View-achtig gevoel. Het is open source. Je kunt het zelf draaien. Het is leuk om naar te kijken. En hij heeft het natuurlijk met AI-tools gemaakt.

Bart Mol: Ja, precies. Anders lukt het je niet. Als je het hier met je blote mannenklaar wordt je uit elkaar gesloopt.

Peter Slagter: Als je echt zelf je best hebt gedaan, dan gaat het hem niet worden.

Bart Mol: Dan zoek je maar een andere podcast.

Peter Slagter: Ja. Wesley, die gebruikt AI als hardloopcoach. En die merkt alsnog: ik heb daaromheen best wel wat handwerk, want hij gaf die data wel aan die hardloopcoach. Maar die hardloopcoach, die haalde niet zelf die data op. Dus bij elke sessie was het toch weer even dingen in Excel-sheets zetten en zo, data ordenen en daar heeft hij een app voor, daar wilde hij een app voor maken. En hij vroeg via de mail: ja, is dat nou een project dat ik zelf kan gaan oppakken? En, nou ja, ik heb hem een antwoord gestuurd. Ik denk van: wel. Met als tip, die geef ik even iedereen mee: pak nou gewoon een klein stukje van wat je wil gaan maken en werk dat uit. Niet met de hele taart beginnen, maar met één taartpuntje. En dan zal je zien als je dat eerste taartpuntje hebt gemaakt, en dat is makkelijker dan die hele taart namelijk, dan kan je er daarna eentje naast zetten. Net zolang tot je rond bent en dan heb je die taart waar je naar op zoek was. Als je klein begint, dan lukt het iedereen.

Bart Mol: En laat je niet verleiden door wat Claude of ChatGPT je vertelt van: hé, zullen we dit ook meteen doen? Of: hé, dit is ook wel leuk, of: deze feature kan ik ook maken. Nee, hou het bij die taartpunt inderdaad.

Peter Slagter: Precies.

Bart Mol: Remco. Die is een bedrijf aan het opzetten en, nou, daar horen overleggen bij. Daar hoort bij meetings en praten met elkaar. En dat notuleren. Doe je dat zelf? Nee, natuurlijk niet. Tegenwoordig kan je gewoon praten, opnemen en laten transcriberen. Maar, ja, hij heeft wel gewoon een zelfgemaakte service daarvoor gemaakt. Geen Whisper-flow hier, geen OpenAI-servers komen hier aan te pas. Nee, dat wordt gewoon op zijn eigen videokaart gedaan, inclusief een eigen MCP-server zodat uiteindelijk Claude er wel weer mee kan praten. Of natuurlijk een lokaal model in de toekomst. Dan heb je je hele stack gewoon in je eigen bedrijf draaien. Heel vet. Even nog een huishoudelijke mededeling: wij krijgen veel e-mailtjes, berichtjes, wij lezen ze, wij antwoorden daarop. Behalve als jij mailtjes anoniem stuurt. Wij hadden een anoniem mailtje deze week. Dat is hartstikke leuk, die lezen wij wel, maar daar kunnen we niet op antwoorden omdat hij anoniem is. Ook het reply-adres schijnbaar. Dus dat.

Peter Slagter: Nee, klopt, klopt. En meestal vragen we ook even: joh, vind je het leuk als hij in de show komt of niet? Weet je.

Bart Mol: Precies.

Peter Slagter: Even een kleine bevestiging,

Bert Slagter: Daarvan, ja, soms stuur je iets, maar had je eigenlijk niet verwacht dat linea recta de shownotes inging, weet je wel.

Bart Mol: Precies.

Bert Slagter: Dus dat proberen we ook te voorkomen. Dus dat is de reden. We hebben je gezien, maar we hebben je niet inhoudelijk behandeld.

Bart Mol: Nee.

Bert Slagter: En als je iets anoniem bij ons wil droppen en het in de show wil, zeg dat er dan even bij.

Bart Mol: Zeg het er meteen even bij, want wij kunnen het niet vragen aan je. En als we het niet kunnen vragen, dan doen we het niet. Oké, nou luisteraars, dank voor alle inzendingen en gaan wij snel door naar: in het kort. Bertus, jij hebt wat gevonden.

Bert Slagter: Zeker, ik zag een berichtje langskomen van een van de mannen van OpenAI. Die vertelde: Codex, dat is de app waar je mee kunt programmeren, maar tegenwoordig ook gewoon werkdingen doen. Die heeft nu 25 miljoen actieve gebruikers en ik kan me nog heel goed herinneren dat wij in een eerdere aflevering, en zo lang bestaat Turing Station nog niet, behandelden dat ze door de 10 miljoen gingen, dus dat is heel snel gegaan en ik zag een grafiekje langskomen. Heb ik ook even in de shownotes erbij gezet van hoe snel het nou ging. Nou, van 1 miljoen naar 5 miljoen duurde vijf maanden en van 5 miljoen naar 25 miljoen duurde twee maanden. Dus de eerste keer van één naar vijf duurde vijf maanden en de tweede keer van vijf naar 25 duurde twee maanden. Er zit een versnelling in en dan zit, in de grafiek kun je ook een mooie knik zien. Die knik is ongeveer rond 12 juli en dat is een paar dagen na de lancering van GPT-5.6. Dus, ja, op zich wel opvallend die cijfers dat ze zo snel groeien en wat je met Codex en Claude Code en zo doet, dat is agentic AI.

Bert Slagter: Hè, dat verschilt van een chat waar je een vraag stelt en een antwoord krijgt. Een agent geeft je een opdracht om dingen te doen. En, ja, dit visualiseert mooi hoe agentic AI aan het opkomen is en aan het versnellen is. 25 miljoen actieve gebruikers, dat is niet niks. Zou je veronderstellen dat Claude ook zoiets heeft. En dan nog wat open source kom je misschien wereldwijd op 60, 70 miljoen mensen. Nou, da's al best wat moet ik zeggen.

Bart Mol: Ja, zeker waar. Over agentic gesproken. Ik zag een berichtje van Gemini, en die zeggen: agentic video understanding is here. En dat vond ik leuk, omdat ik het daar volgens mij laatst over gehad heb. Ik weet niet of ik het in de podcast over gehad heb, maar ik had een computerrecorder gemaakt omdat AI-modellen nog niet zo goed zijn in het begrijpen van video. Hè, hoe het tot nu toe werkt, is: AI bekijkt een video door screenshots te nemen en die dan als afbeelding te analyseren. Maar je snapt al wel: ja, 24 frames per seconde, ben je 10 seconden verder, heb je al 240 afbeeldingen om te analyseren. Dus wat doe je dan? Dan zeg je: nou, dan doen we er één per seconde, maar dan kan het zomaar eens zijn dat je 10 seconden stilstaand beeld aan het analyseren bent. Dat is helemaal nergens voor nodig eigenlijk, maar precies de beweging mist omdat je die seconde het niet aan het analyseren bent. Nou, dat heeft Gemini van Google nu opgelost. Zij hebben dus een slimmere videoanalysetool gemaakt die op de een of andere manier beter kan inschatten wanneer die dus een screenshot moet nemen eigenlijk om te analyseren.

Bart Mol: Nou, wat gebeurt erdoor? Daardoor is hij accurater. Niet heel superveel dan die ander, volgens mij 7%, 10%, maar hij verbruikt veel minder tokens omdat hij veel minder zinloze screenshots zit te analyseren. Vond ik heel tof. Ik heb dit probleem zelf dus op proberen te lossen door meer data toe te voegen aan de recording. Maar ja, als je alleen maar een video hebt, ja, dan heb je die originele data niet. Toetsaanslagen, muisaanslagen, knoppen waarop je drukt. En op deze manier kan je dus wel beter video's analyseren. Dus ik vond dit wel wel vet. Ik ga eens kijken of wij dat ook in onze workflows kunnen gaan gebruiken.

Bert Slagter: Bart, zou je misschien meteen verder willen gaan met Atlas? Want daar zag ik toch filmpjes van langskomen. Als je het toch over video hebt.

Bart Mol: Ja.

Bert Slagter: Echt wel heel indrukwekkend.

Bart Mol: Ja, dat is wel een goed idee. Atlas is een world model. Dat is sowieso iets waar we het nog eens een keertje over moeten hebben. Want dan ga ik daar meteen eventjes ons Nederlandse trots, General Intuition aan vast hangen. Dat is het bedrijf van Pim de Witte. Dat is een Nederlands bedrijf. Hij zit zelf in New York. Hij heeft ooit een keer heel veel data bij elkaar geharkt uit videogames. En dat is precies wat ik net bedoelde, hè. Dus dan heeft hij de video van het spel waarin een auto aan het racen is, maar ook de input van de speler. Dus precies op welke knoppen op de controller er gedrukt wordt. En met die twee data, die dus bij elkaar horen, kan hij speciale modellen maken die de wereld beter begrijpen. En dat is ideaal, bijvoorbeeld voor robots, hè, de humanoïde robots waar we het vorige week over gehad hebben. Nou, het nieuws over General Intuition is, dat was van een weekje geleden ongeveer, dat die nu voor tegen 6 miljard gewaardeerd worden omdat ze weer bezig zijn met geld ophalen, namelijk 320 miljoen.

Bart Mol: Dat is nog niet helemaal rond, maar dat werd wel op Techcrunch gerapporteerd. En dan worden ze dus gewaardeerd tegen 6 miljard dollar. Dat is wel echt, dat begint wel echt in de serieuze, ja, dan zit je in de hoek van de Hugging Faces, en dat soort bedrijven, hè.

Bert Slagter: OpenRouter vorige week.

Bart Mol: OpenRouter, precies, die voor dat soort prijzen worden overgenomen door de echt grote, grote jongens. Goed, daar kwam Atlas bij. Atlas is een open world, world model, gemaakt door World Labs en het is een soort, ja, eigenlijk kan je er video's mee maken. Alleen het werkt anders dan de videogeneratoren die we hebben, die vooral 2D-plaatjes maken, maar niet echt een idee hebben van de wereld. Hè, we kennen allemaal de video's wel dat er een plaatje is van Messi, van een voetballer of van Brad Pitt en dan wordt er ingezoomd en uitgezoomd en dan heeft hij opeens toch net een andere stropdas aan omdat dat model niet weet wat de voorgaande staat was, hè. En die world models proberen dat op te lossen. Nou ja, goed, dat is handig voor robots, maar bijvoorbeeld ook om video's te maken waar de camera doorheen beweegt. Nou en dat hebben ze nu met Atlas schijnbaar gemaakt. Het maakt ook bijvoorbeeld gebruik van Gaussian Splats. Dat is een andere technologie die echt heel vet is, waarin je met een paar camera's een hele 3D-wereld kan genereren.

Bart Mol: Mocht je dat daar nog nooit van gehoord hebben, zoek het op op YouTube. Je komt in een rabbit hole terecht waarvan je de bodem niet kent. Heel erg tof! En dat is ook wat dit is. Dus zij kunnen eigenlijk met drie cameraatjes bijvoorbeeld een basketballer vastleggen die een basketbal in het netje werpt, hè. Of een voetballer die een bal in het doel trapt. En met drie camerastandpunten kunnen ze dan eigenlijk een complete 3D-wereld creëren. Dus dat de camera gewoon helemaal om de voetballer heen kan cirkelen. Of om de bal. Of een close-up van de keeper. Of een veraf shot en dan in één keer binnen een seconde een close-up. Ja, dus de camerabewegingen is wat het zo super indrukwekkend maakt. Dat zeggen zij ook: "Model the world, move the camera and simulate space and time." Je kan er nog niet zelf mee spelen. Dat is de grote maar in dit verhaal. En als dat wel kan, dan gaan we daar denk ik nog wel eens een keertje wat meer tijd aan besteden.

Bert Slagter: Ja, het is wel interessant om die om eens inderdaad in die world models in te zoomen. World models gebruiken heel ander soort technologie dan LLM's, hè. Dus het is wel AI, maar een heel ander gedeelte. En er zijn best wat experts. Bijvoorbeeld Jan LeCun, een van de, ja, de OG's van AI, die is weggegaan bij een een LLM-lab, hè. Ik weet niet of het Google was of Meta of zo, maar die is een bedrijf begonnen om een world model te gaan bouwen. Hij zegt: LLM's gaan nooit de wereld echt goed begrijpen voor bijvoorbeeld inderdaad humanoïde robots. En hij is met world models bezig. En-

Bart Mol: Meta was het inderdaad trouwens.

Bert Slagter: Wat zei je? Meta?

Bart Mol: Meta, ja, ja.

Bert Slagter: Ja. Ja. En dus we moeten, als we erin gaan duiken, dan ga je zien dat het ook echt een heel andere, ja, techniekrichting is. En daarover gesproken, hè, bij LLM's heb je het vaak over language, tekst die ergens ingaat. Ik kwam een ander modelletje tegen, ook open weights en het heet Phone LLM. En dat is een-

Bart Mol: Gezondheid, Pat.

Bert Slagter: Ja, dank je. Dat is een open model voor voice agents. Daar gaat dus geen tekst in, maar daar gaan audio frames in. Stukjes audio. En dat is een model helemaal gemaakt specifiek voor zo laag mogelijke latency, dus dat er zo kort mogelijk tijd zit tussen de input en de output van, ja, geluid, van spraak. En dat model moet heel goed instructies kunnen opvolgen en tools kunnen gebruiken, maar niet redeneren, want daar is dan weer geen tijd voor, hè. Dus er is een heel specifieke richting is er gekozen. Het is een fine tune van de Nemotron-modellen van Nvidia waar we het vorige week nog even over hadden. Getraind in de post training op allerlei telefoonsituaties zoals klantenservice. En het aardige is op een Nvidia B200, dat is zo'n chip in een datacentrum. Als die het enige is daar, die daar op draait, dan heeft hij zijn eerste antwoord token binnen 100 milliseconden. Dat is echt heel erg snel. En als je er 80 agents tegelijk op laat draaien op die ene chip, op die ene processor, dan is 95% van de antwoorden er binnen 600 milliseconden.

Bert Slagter: En dat is belangrijk omdat voice2voice moet ongeveer 1500 milliseconden zijn om natuurlijk aan te voelen. Zo leggen ze uit op een pagina en dan gaan ze helemaal uitsplitsen. Ja, waar gaat het budget aan op? En dan krijg je, nou ja, de microfoon van degene die praat. Die vraagt 40 milliseconden en de encoding 20 milliseconden en het netwerk 10 milliseconden. En er is een buffer van 40 milliseconden. Moet dan worden getranscript, hè, als ik praat tegen die agent, dan moet het worden getranscript naar tekst toe, die dan het model ingaat.

Bart Mol: Ja.

Bert Slagter: En dat kost 300 milliseconden. Dan gaat het het LLM in. En dan uiteindelijk, als je het allemaal uitrekent hou je maar 600 milliseconden over. Dan moet ie een antwoord geven. En dat is ze dus gelukt. Voor het eerst zeggen ze, hè, want het is, want GPT-5.6 Tera, die doet er bijvoorbeeld 1950 milliseconden over, hè, dus dat is echt een groot verschil. En het is ook nog eens 94% goedkoper dan GPT-5.6 Tera, want het kost maar €0,25 cent per minuut aan rekenwerk, €0,15 per uur. Dus interessant dat dit er nu is. En, nou ja, de caveat is natuurlijk van, ja, het wordt daarmee ook heel makkelijk en heel goedkoop om, ja, neptelefoongesprekken te gaan voeren. Dus het heeft ook weer allerlei veiligheidsconsequenties. Telefoonspam.

Bart Mol: Dat is sowieso iets waar we het deze week wel weer even over gaan hebben. Maar voordat we dat gaan doen, heb jij nog iets over Wikipedia? AI-overviews? ChatGPT zie ik staan.

Bert Slagter: Dat was een heel kort berichtje. Ik vond het leuk om ze er even in te zetten. Kun je even op klikken. Ik zag een berichtje langskomen, een onderzoek wat er gedaan was naar het effect van die AI-overviews die je in Google tegenwoordig krijgt. Als je zoekt komt daar boven een AI-antwoord. Het effect op het verkeer naar Wikipedia toe. En ze hebben dat onderzocht door dat in verschillende taalgebieden die AI-overviews op een verschillend moment zijn ingevoerd. Dus ze konden de verschillende talen van Wikipedia ook met elkaar vergelijken. En uit onderzoek kwam ongeveer een procent of vijf minder verkeer naar Wikipedia vanaf het moment dat dat ingevoerd wordt. En, ja, het is interessant om dat bijvoorbeeld even naast Stackoverflow te leggen. Dat was, ja, vroeger het grote platform waar je heen ging als je bijvoorbeeld programmeervragen had. En dan kon je die vraag stellen, kreeg je daar een antwoord. Ja, daar heb ik ook een grafiekje even in de shownotes gezet en dat, daar zie je, dat is een beetje een soort van compact camera grafiek. Dat komt op.

Bart Mol: Dat is gewoon dood.

Bert Slagter: En dat is nu helemaal dood. Dat is nu bijna nul.

Bart Mol: Ja.

Bert Slagter: En nou ja, dat is dus de vraag die je dan kunt stellen bij die AI-overviews en zoekmachines en dergelijke. Want het komt op veel meer plekken.

Bart Mol: Ja.

Bert Slagter: Ja, wat is eigenlijk de toekomst van Wikipedia?

Bart Mol: Ja, dat is een goede vraag en die gaan we nu niet beantwoorden. Waar we het wel, daar moeten we eens even over na gaan denken. Maar als je nou als luisteraar denkt: daar, nou, daar ben ik het niet mee eens. Of ik denk dat Wikipedia wel blijft bestaan of niet. Laat het in de comments even weten. Gaan wij door naar, ja, het grote nieuws van deze week Fable 5.1 en, ja, de aankomst of in ieder geval OpenAI Astra gaat er ook aan komen. Dus nieuwe frontier modellen. Ja, laten we dan eens eventjes beginnen met het nieuws van gister was het Fable 5.1. Dus dan beginnen we bij onze vrienden van Anthropic. Ja, want wat ik zei, we moeten het weer even hebben over de frontier labs en dat gaan we uitgebreid doen vandaag in meerdere topics. Want de afgelopen week gebeurde er toch wel weer het een en ander. Als we het over Anthropic hebben, laten we daar eens even beginnen, hè. Natuurlijk, de club van Dario Amodei, oud-medewerker.

Bart Mol: Nou ja, medewerker. Oud-leider van OpenAI, hè. Stond bijna naast Sam Altman op een gegeven moment, met zijn safety division bij OpenAI. Is vertrokken, heeft Anthropic opgericht en is nu de grootste concurrent en heeft een bloedhekel aan Sam Altman en andersom. Dus dat maakt deze hele vete natuurlijk nog amusanter om te bekijken. Nou, wat gebeurde er met Anthropic deze week? Nou, wat ik even wilde noemen weer een stipje op de puntje op de kaart, namelijk per 14 september zeiden ze gaat je de standard usage limit. Die verhogen we met 25%. Ik dacht: nou, dat is nice, dat is lekker, 25% erbij. Maar ze zeiden: ja, maar de huidige bonus van 50%, die halen we wel weg. Dus bij die tweet staat nu een community note waar staat: je gaat er gewoon 17% op achteruit ten opzichte van nu. Je 50% bonus is weg. Je krijgt er 25% bij. Je gaat van 150 naar 125, dus dat is een afname.

Bart Mol: Waarom noem ik dit dan toch? Want zo boeiend is het niet. Ja, omdat er toch blijkbaar wel een beetje wordt gekeken van: ja, dit is toch voor mij een klein knijntje aan die subscription models van: oké, ja, maar blijkbaar was 50% bonus niet iets wat vol te houden is, en gaan ze terug naar 25. In ander nieuws waar het deze week veel over ging: de security efforts van Anthropic. Zij hebben een blogpost online gezet. Gaan we het later in de uitzending heel uitgebreid over hebben, over OpenAI. Eigenlijk als ik deze samen moet vatten zeggen zij precies hetzelfde als wat OpenAI zegt. Namelijk: ja, we moeten gewoon, onze security moet omhoog, we moeten onze trainingsruns beter in de gaten houden, we moeten beter monitoring hebben. We moeten andere agents hebben die agents aan het monitoren zijn. En ja, ons nieuwe model Mythos 5.1 is gewoon gruwelijk slim en gruwelijk gevaarlijk als we het niet in de gaten houden.

Bart Mol: Dat is eigenlijk een beetje de korte samenvatting. Komen we later in de uitzending op terug. Ik had hier een beetje het idee van: ja, OpenAI doet het. Wij hebben dit en ons model is ook heel erg goed en ook heel erg gevaarlijk. Dat was mijn afdronk een beetje. Maar goed, dat nieuwe model is nu dus beschikbaar. En ja, als we de benchmarks mogen geloven is het ook weer een stuk beter en slimmer dan Fable5. Gister kwam dus Fable5.1 naar buiten. Als we dan even kijken, die werd natuurlijk meteen gebenchmarkt door allemaal partijen, waaronder Artificial Analysis. En die zeggen eigenlijk de samenvatting: Claude Fable5.1 tops the Artificial Analysis Intelligence Index, but costs 20% more per task than Fable5 despite a 75 cash read price cut. Dus eigenlijk in normale mensentaal Anthropic zegt: Fable5.1 is beter en goedkoper in long agentic tasks dan Fable5.

Bart Mol: Ja, de analyse bedrijven die daarna de benchmarks doen zeggen: ja, beter wel, maar wij zien toch vooral dat hij ook wel echt duurder is. In ieder geval onze benchmark die ze dan gedaan hebben. Wat nog wel interessant is, hè, over die safeguards gesproken. Anthropic zegt dat je nu minder vaak geblokkeerd wordt door Fable5.1. Dus als je het over bugfixing hebt, hè, of cybersecurity, dan zal hij minder vaak zeggen van: hé, wat je nu vraagt kan ik niet uitvoeren. Ook als je het over bijvoorbeeld vragen over biologie hebt, zal hij dat minder vaak doen. Dus dat is fijn. Ik had er zelf niet heel erg last van, maar ik kan me voorstellen dat voor mensen die iets meer in. Had jij er wel last van Bert? Ik weet niet wat jij allemaal aan het doen was.

Bert Slagter: Echt vaak, maar goed. Wel misschien in het begin van Fable. Nou, ik had bijvoorbeeld, er was een paper van Alan Turing die ik wilde weten, waar ik wat over wilde weten. Het was een paper uit 1957 en dat had iets te maken met genetica of met evolutie en dat vond hij meteen dat ik biologische wapens aan het maken was. Hup, terug naar Opus. Nee, ik werd er echt schijtziek van. Toen ben ik eigenlijk weer teruggegaan naar ChatGPT. Maar ze hebben ook het aantal keer dat er geflagd werd in de eerste weken door tien gedeeld. Dus er werd in het begin echt een extreem sleepnet uitgegooid. Dat hebben ze verfijnd en nu hebben ze het blijkbaar nog een keertje verfijnd. Dus je zou er inderdaad veel minder last van moeten hebben.

Bart Mol: Ja, nou ja, ik heb het geprobeerd. Fable5.1. Ja, hoe lang? Een paar uur, want het is gister pas uitgekomen, maar mijn usage limits, die worden over 2 uur gereset, dus ik mocht een week verbruiken in 12 uur. Dus ik heb even-

Bert Slagter: Wat heb je gebouwd?

Bart Mol: Niks. Ik ben gewoon allemaal, hoe noem je dat, audits laten doen op mijn appje wat ik aan het bouwen ben. Nou, toen had hij een stuk of zeven Fable5.1 subagents gespawned. Toen ging het wel snel. Toen was ik echt binnen een uur door 50% van mijn weekly limits heen. Dus, ja, dat is ook wel een vrij extreme taak. Maar dat hij veel tokens verbruikt, dat idee heb ik ook wel. Verder kan ik er nog weinig over zeggen. Gaan we even naar de concurrent: OpenAI. Die hebben een blogpost geplaatst: Path to Astra: Critical Capabilities and Frontier Safeguards. Ja, Astra, dat is het nieuwe model. Dat moet 5.6 Sol moeten gaan vervangen. Dus ja, je zou het GPT-6 kunnen noemen. Ja, Sam Altman zegt: AI is getting ex-- Sam Altman is de baas daar, hè, dat weten we allemaal. AI is getting extremely capable. No one fully understands the consequences of this. Managing the transition to a world with abundant and powerful AI to optimize for safety and benefits to people should be one of the highest priorities in the world.

Bart Mol: It's our highest priority at OpenAI. Ja. Ja, Sam, denk ik dan. Dat waag ik te betwijfelen, want ik heb ook de post mortem gelezen over hoe het er bij jullie letterlijk twee maanden geleden aan toe ging. En dan vraag ik me toch wel af of safety de highest priority bij OpenAI is. Maar goed, daar komen we straks op terug. Ja, wat zeggen ze dan? Ja, Astra, beter in cybersecurity. En ja, het is nu voor het eerst dat ze zeggen: ja, dit is echt de critical threshold, hè, hebben we nu bereikt. En wat is de critical threshold dan? Nou, dat komt er een beetje op neer dat het eigenlijk in zijn eentje, zonder dat het echt een hele specifieke prompt krijgt, toch bepaalde acties uit kan voeren. Eigenlijk dus gewoon, hè, het krijgt de prompt: voer deze uitdaging voor een benchmark uit en het eindigt bij het hacken van Hugging Face. Dat is wat ze eigenlijk bedoelen met critical threshold.

Bert Slagter: Ja, nee, maar Bart, wacht, wacht. Ik zat nog heel even na te denken. Als stel dat safety daadwerkelijk de allerhoogste prioriteit heeft daar. Wat zou wat jou betreft dan anders gaan dan nu?

Bart Mol: Nou, het monitoren van je training runs. Om maar eens te beginnen, zeg maar. En het serieus nemen van uitzonderingen, zeg maar. Maar daar komen we straks wel even op terug bij het Hugging Face-incident, want daar zijn wel echt mooie punten te noemen waarvan je zou kunnen zeggen van: waarom is hier niet ingegrepen? Ja, goed, dat is eigenlijk OpenAI zou ik voor nu eventjes zeggen. Ja, en dan heb je ondertussen in Open Weights-land. Daar worden gewoon de Open Weights-modellen gejailbreaked, om het zo maar te zeggen. Dus daar hebben we eigenlijk Fable-5-achtige modellen die helemaal geen safeguards hebben en die voor iedereen te gebruiken zijn. Dus waar je bij Anthropic en bij OpenAI nog echt toegang nodig hebt tot hun cybersecurityprogramma en helemaal gevet wordt, hè. Mag jij als bedrijf wel toegang tot Mythos hebben? Ja, is dat dus, ja, gewoon in Open Weights-land, kan je het gewoon downloaden en draaien als je de hardware hebt.

Bart Mol: Dus de vraag is een beetje: ja, wat is de vraag daar eigenlijk? Zeg maar Open Weights lopen gewoon echt nog maar een paar maanden achter en daar zitten helemaal geen safeguards op. Bert, er waren ook nog wat vragen rondom een bepaalde trainingstechniek voor het nieuwe Astra-model. Laten we daar even mee afsluiten.

Bert Slagter: Ja, dat wil ik zeker. Nog wel even één gedachte over die obliterated models. Je zegt: ze lopen een paar maanden achter. Kijk, er zijn ook wel mensen die vanuit binnenuit, die binnen die labs kijken en zeggen: nou, bij OpenAI en Anthropic lopen ze veel verder voor dan wat wij nu, waar wij nu toegang toe hebben. Dus een model als Astra, die was waarschijnlijk in het voorjaar al uitgetraind en klaar. Alleen hebben ze besloten om nog niet uit te brengen. Dus de voorsprong van die labs is achter de schermen veel groter dan de drie maanden waar je het over hebt. Alleen ze proberen dat dan, ja, het is enerzijds een soort van concurrentiestrijd tussen die twee en anderzijds: als de ene het niet doet, dan houdt de ander ook eventjes in. Een beetje zoiets.

Bart Mol: Ja, want allebei vinden ze het heerlijk om wel een beetje op adem te kunnen komen natuurlijk. Dus.

Bert Slagter: Precies, ja, en ze zijn, en ze begrijpen ook wel dat er zoiets is als veiligheid en, weet je wel, monitoring en dat soort dingen. Alleen, nou ja, goed, dat is even een kanttekening bij de paar maanden. Dat is wat er zichtbaar is. Maar ik denk achter de schermen dat het nog wel wat groter is, die voorsprong. En één zo'n voorbeeldje van voorsprongachtige dingen is een mogelijke nieuwe techniek. Uhm, daarover heeft OpenAI zelf nog niks bekendgemaakt, maar The Information, die had een scoop vandaag en ik heb het artikel zelf niet gelezen, want die zit achter een vrij dure paywall. Maar een van de auteurs die gaf de kern en dat was namelijk het volgende: Astra AI gebruikt een nieuwe redeneeraanpak die recurrent depth genoemd wordt. Hoewel dat de kosten en prestaties van het model kan verbeteren, maken onderzoekers zich zorgen omdat het denkproces van het model verhult, waardoor het moeilijker te monitoren is. Ik vermoed dat deze recurrent depth een verwijzing is naar een invloedrijk paper uit 2025.

Bert Slagter: Dat heet: Scaling Up Test Time Compute with Latent Reasoning: A Recurrent Depth Approach. En dat blijkt ook wel door de commotie die is ontstaan, want er werd echt meteen heel fel door allerlei mensen op gereageerd dat het echt dramatische ontwikkeling zou zijn als het echt waar is. En daar werd ook inderdaad gerefereerd aan latent reasoning. En het idee ervan is dit. En het gaat dus niet over het trainen van het model, Bart, maar het gaat over de inference, dus over het gebruiken van het model, wat er dan gebeurt. Die kant van het verhaal. Normaal gesproken gaat één token, elk token gaat precies één keer door alle lagen van het model heen. Denk even terug aan aflevering twee over de reis van een token door het model. Bij latent reasoning worden de lagen opgedeeld in drie blokken: begin, midden en eind. Het begin verwerkt de input, het eind maakt de output en daartussen zit een blok van lagen, en die kun je meerdere keren doorlopen. En het middenstuk krijgt telkens de oorspronkelijke representatie mee en de eindstand van de vorige iteratie.

Bert Slagter: En even een beetje van hoe dat zou kunnen werken. Neem even het zinnetje: de appel valt niet ver van de. Dan, als die daarover gaat nadenken. Nou, nadenken, eigenlijk is het natuurlijk een hele simpele zin. Daar kom ik zo nog wel even op. Maar de eerste keer krijgt alles het gewicht wat het nu ook al krijgt, hè. Appel is een fruit en een zelfstandig naamwoord. Vallen is een werkwoord. Het woordje de vraagt om een zelfstandig naamwoord erachter. Het is een beetje spreekwoordachtig, dus dat weten we al en daarom zal die normaal ook al na één keertje ook al het woord boom gokken natuurlijk. Maar als je dit meerdere keren gaat doorlopen, dan zal hij de tweede keer bijvoorbeeld extra gewicht geven aan de ruimtelijkheid van appel en vallen. Die combinatie. De derde keer wordt er misschien een vaste constructie waargenomen van: X valt niet ver van Y. En de vierde keer wordt misschien het woord boom versterkt ten opzichte van alternatieven als volgende token. En uiteindelijk komt daaruit met hele grote waarschijnlijkheid boom. En dit gebeurt allemaal dus in die ene stap.

Bert Slagter: Ja, dit is natuurlijk niet echt redeneren, want elke hele simpele LLM zal dit ook in één keer goed doen. Maar stel nou dat je zegt: de bes valt niet ver van de, dan wordt het al interessanter, want dat is geen spreekwoord. De bes valt niet ver van de struik is geen spreekwoord. Zal hij dan boom doen? Ja, misschien intuïtief of hij heeft geen idee, maar met deze redeneerstap zal hij die analogie sneller begrijpen. Er zit een soort van redenering in het meerdere keren doorlopen. Bij het redeneren wat we nu hebben, chain of thought reasoning, dan wordt de redenering output. Het worden output tokens en onderdeel van de context. En die kun je dus ook bekijken. Die kun je lezen, die kun je inspecteren. We gaan het zo meteen over Hugging Face hebben. Nou, heel veel van die rapporten, dat zijn screenshotjes, printjes van die redenering van die agents. Bij latent reasoning gebeurt het allemaal achter de schermen in de matrixen van het model en dat kun je dus veel moeilijker volgen. En AI-Twitter ontplofte vanmorgen over de gevaren van deze richting die OpenAI dus zou kiezen met Astra.

Bert Slagter: Want ja, hoe ga je? We hebben, één van de aanbevelingen van het Hugging Face-incident is dat we beter die chain of thought moeten gaan monitoren. Ja, als ze dan vervolgens een methode kiezen waarbij een groot deel van die redenering eigenlijk binnen in het model gebeurt, ja, dan kan het ineens niet meer. We kunnen het hier nog wel een keertje verder over hebben. Ik heb natuurlijk nu een supervereenvoudigde versie hiervan besproken. Er zijn nog veel interessantere dingen over te zeggen, maar daar moeten we een keertje een kwartiertje voor pakken. Laten we het zeker een keer doen als Astra inderdaad dit blijkt te gebruiken. Maar dit is in ieder geval alvast even de kern van de discussie die nu is ontstaan.

Bart Mol: Precies. Volgens mij heeft de auteur nog wel gezegd ook, een soort van rectificatie van: ja, het is ook helemaal niet duidelijk of OpenAI dit nou echt gaat doen, zeg maar. Dat werd een beetje overgenomen van: joh, ze doen dit en dat is extreem gevaarlijk. Dus ja, dat is een beetje. Ik vind ook met dit soort artikelen ook wel lastig, want dan heb je een hele grote scoop en dan gooi je hem inderdaad achter een paywall waardoor iedereen echt gaat zitten speculeren, zeg maar op een kop van een artikel, zeg maar. Dus ja, maar ja, goed, aan de andere kant snap ik het wel. Journalistiek is niet gratis natuurlijk. Alright, nou, dit is even, je bent weer helemaal bij over de strijd tussen de frontier labs. Althans bijna helemaal, want we hebben toch nog wel een aantal items. Bijvoorbeeld dat OpenAI ook zichzelf aan het begeven is in de wereld van het bouwen van computerchips, dames en heren. En daar gaat Peter, die is er flink ingedoken.

Peter Slagter: Het valt wel mee, hoor. Maak je niet ongerust. Het wordt echt geen technische explainer of zo. Ja, ik zag iets langskomen over jalapeños. En, ja, als dat woord valt, dan heb je mijn interesse, want ik vind die dingen altijd wel erg lekker namelijk. Alleen in dit geval, ja, het gaat over chips. Ook vaak erg lekker, maar deze moet je niet opeten. Dit gaat over die chips waar alle berekeningen mee gedaan worden, hè, de motortjes van al die AI-toepassingen. En zo'n chip, ja, dat zou je kunnen zien inderdaad als een rekenkamer waar heel veel berekeningen tegelijk in parallel uitgevoerd worden. Waar Bert het net over had, dat zinnetje: welk woord komt erna? Nou, dat wil je in milliseconden wil je weten welke letter waarschijnlijk als volgende komt. Kijk, als je zo'n chip in je handen houdt. Ja, heel veel mensen waarschijnlijk nog nooit een chip in hun handen gehad. Kijk, ik heb, vroeger bouwde ik mijn eigen pc's en zo. Dan had je wel eens een processortje in je handen, weet je wel. Die was altijd zo'n lekker gewicht. Allemaal van die pinnetjes aan de onderkant en dat voelde dan lekker op je hand. Die waren vaak goud ook, weet je wel. Die moest je dan in zo'n socket leggen.

Peter Slagter: In principe zien die AI-chips er hetzelfde uit. Aan de binnenkant, daar gebeurt het echte werk. Daar heb je heel veel piepkleine schakelaars die elke keer aan en uit springen, waardoor die berekeningen uitgevoerd kunnen worden. Transistors. En iedere keer dat zo'n schakelaartje wordt omgezet, dat kost dat stroom en dat levert dus ook warmte op. Even voor je beeld ook hoeveel van die transistors dat gaat. Nou, één Blackwell B200-chip van Nvidia, dat is nu de hoofdlijn eigenlijk van Nvidia. Daar zitten 208 miljard transistors op. 208 miljard. Dus niet voor te stellen bij, op een relatief klein oppervlak, hè. Dat is waarom die bedrijven als ASML en zo zo belachelijk hoog gewaardeerd zijn. Zij doen iets haast onmogelijks. Op zo'n klein oppervlak zoveel van die schakelaars plaatsen. Nou en dan, oké, dat is dus één zo'n kaart en dan heb je een typisch cluster en met een cluster bedoelen ze een set van die kaarten die nog als één entiteit opereert.

Peter Slagter: En dat zijn er 72 stuks. Dat noem je dan een GB200. Dat noem je zo'n cluster. Die kun je ook kopen bij Nvidia. Ben je wel heel wat centjes kwijt. En dan moet je je voorstellen dat een typisch klein datacentrum, die bevat dan weer duizenden van die GB200's. Nou, als je dat allemaal met elkaar zou vermenigvuldigen, dan kom je echt, ja, ik denk op quadriljoenen transistors uit, zeg maar.

Bert Slagter: Ik geloof dat één zo'n pod met 72 van die kaarten 9 miljoen kost of zo. $9 miljoen.

Peter Slagter: Ja, ja, ja, dat is dat. Daar gaan gigantische bedragen in om. Maar dat zijn dus heel veel chips en nog heel veel meer transistors die dus gewoon de hele tijd aan en uit aan het springen zijn. En dan begrijp je wel, als je daar iets van innovatie op kunt toepassen. Dus als je iets beter kunt maken aan zo'n chip, ja, dan werkt het natuurlijk ongelooflijk ver door in alles voor zo'n AI-lab en ook voor jou als gebruiker. Dus iedere verbetering is direct te voelen. Ietsje minder energie, kosten omlaag, ietsje minder warmte, kosten omlaag, want al die datacentra moet al die warmte vernietigen. Ja of koelen. Dat kost allebei ook weer heel veel geld. Kun je iets sneller verwerken, dan heb je betere toepassingen. Kun je iets meer rekenkracht uit zo'n chip duwen? Nou, dan neemt de snelheid van je training toe, enzovoorts. Nou en OpenAI die werkt dus aan Jalapeño. Dat is hun eigen chip, en ze hebben daar de eerste testresultaten van gepubliceerd. Dat hebben ze getest op verschillende AI-modellen.

Peter Slagter: Drie die niet van henzelf zijn. En daar kwam uit, nou, het volgende. Die chip die levert bijna twee keer meer AI-werk per verbruikte watt, en tussen de 1,7 en 3,6 keer sneller resultaat. Nou en, dat klinkt indrukwekkend, hè? Dan vragen ze even: hoe hebben ze dat dan gedaan? Nou, er zijn verschillende innovaties op toegepast, maar de belangrijkste ingreep draait om de manier waarop data heen en weer gaat van de rekenkamer naar het geheugen en andersom. Want dat is een beetje het ding, hè. Jij zou het kunnen zien als een fabriekje met verschillende ruimtes. In de ene ruimte staat de data als een soort bibliotheek en aan de andere kant wordt gerekend en die heeft die data nodig. Jongens, volgende boek. Hebben ze dat boek en dan kunnen ze weer gaan rekenen. En er rijdt de hele tijd een busje heen en weer tussen die bibliotheek en die rekenkamer, tussen het geheugen en de processor. Dat soort wegen worden vaak ook letterlijk bus genoemd.

Peter Slagter: En traditioneel zit het geheugen op afstand van de processor bij traditionele chips. Dat is ook helemaal niet een probleem, want ja, dat was niet de beperking of zo. Alleen bij dit soort toepassingen er moet echt ongelooflijk veel data heen en weer geschoven worden de hele tijd. Die data, een soort grondstof, die slurpen dat op en die gaan ermee aan de slag en het moet heen en weer. En dat kost ontzettend veel tijd en energie. Tot wel 80% van het proces gaat naar het verplaatsen van data. Nou, en daar hebben ze een oplossing voor gevonden. Weet je wat, relatief eenvoudig. We brengen dat gewoon dicht naar elkaar toe. Dus ze lijmen het geheugen eigenlijk gewoon op de chip vlak naast de rekenkamer. Met een hele dikke snelweg ertussen. Een hele korte. Waardoor, ja, eigenlijk is het haast alsof de bibliotheek in de rekenkamer is gezet, dicht bij de rekenkracht. Dan heb je geen verkeer meer, minder energieverbruik voor het vervoer. En daar komt het grootste gedeelte van de prestatiewinst vandaan.

Peter Slagter: Nou Anthropic, dus dat is dan ook even, relatief vers van de pers. Die is ook bezig met een eigen hardwareteam, om een eigen chip te produceren. Ze zijn er minder ver mee dan OpenAI. Ze willen het ook versnellen. Ze hebben voornemen uitgesproken om Matt X over te nemen voor het luttele bedrag van $7 miljard. En dat is een bedrijf dat zelf chips ontwerpt. Dus die technologie willen ze graag in huis hebben om hun hardwareteam mee aan te vullen. Ja, om ook aan de race mee te doen van het ontwikkelen van een eigen chip. En ja, de reden, een van de redenen is dat ze dat willen doen, is omdat als je zelf je chip ontwerpt, dat je dan het ontwerp beter kunt laten aansluiten op de topologie, op het ontwerp van je eigen model. Dat is heel genuanceerd, maar je hoort al omdat dit zo'n groot onderdeel is van de infrastructuur, als jij op nuances terreinwinst kunt boeken, levert dat alsnog relatief grote voordelen op.

Peter Slagter: En daarom willen ze dat graag. Maar ze zeggen er wel allemaal bij ja, we doen het. Het is niet omdat. We willen er niet per se mee bijvoorbeeld Nvidia vervangen, want dat is natuurlijk een hele grote leverancier van ze. Die levert nu het grootste gedeelte van de chips die ze gebruiken. Ze zeggen eigenlijk van: ja, dat is niet onze bedoeling. Niet omdat ze niet per se van Nvidia af zouden willen, want ja, uiteindelijk is dat natuurlijk een hele grote afhankelijkheid en kostenpost. Maar ze zeggen eigenlijk van: ja, die zijn ook nodig. We hebben onze chips nodig en die van Nvidia en het liefst nog van twintig andere bedrijven. Maar die zijn er niet, want je hebt gewoon meer rekenkamers nodig. Ja, en de grap is, Nvidia, die is natuurlijk, je kunt zeggen OpenAI heeft een voorsprong op Anthropic als het gaat om chipontwerp, maar Nvidia heeft natuurlijk gewoon twintig jaar voorsprong op die AI-labs als het gaat om het bouwen, produceren, ontwerpen van chips. Kijk, en zij produceren natuurlijk heel lang niet specifiek AI-chips.

Peter Slagter: Dus daar is de innovatie ook denk ik pas een aantal jaar aan de gang van oké, hoe kunnen we die specifieke toepassing beter servicen? Maar ja, als dan een chipbouwer met zo ontzettend veel ervaring in het bouwen van chips dat gaat doen. Dan zou daar wel eens wat uit de hoge hoed getoverd kunnen worden dat die innovaties van OpenAI en Anthropic weer volledig in de schaduw zet. Daar lijkt het wel op, want Nvidia is ook bezig met zijn nieuwe lijn. Die heet Vera Rubin. Dat is dus de opvolger van die Blackwell-chips.

Bert Slagter: Ja.

Peter Slagter: Ja, daar is een blogpostje over geplaatst. Volgens mij door Nvidia zelf met testresultaten en zij zeggen: joh, 30 keer meer AI-werk per megawatt en 35 keer lagere kosten per geproduceerd token. Ja, vergeleken met die Blackwell-chips. Ja, dat, zeg maar OpenAI die maakt een eigen chip en Nvidia die reageert met een chip die 15 keer beter is, weet je. Dus ik weet niet of het, het is heel moeilijk om hard te maken nu. Want ja, we kunnen dat allemaal nu niet eerlijk vergelijken en er zijn ook nog geen onafhankelijke vergelijkingen gemaakt. Maar ja, dat klinkt toch wel indrukwekkend. Maar ja, weet je, als je dat een beetje in de lijn plaatst van wat Nvidia al decennia is, vind ik het ook weer niet zo gek dat zij partijen die er net mee beginnen overklassen. Nu denk je: interessant. Wat leuk! Ik weet wat meer over een chip en ik weet wat meer over waar ze gemaakt worden, hoe ze gemaakt worden, wat het betekent.

Peter Slagter: Maar er zit nog een ander effect onder. Daar kwam Bert gisteren mee. Namelijk, ja, een soort reflectie hierop, namelijk dat die chips nog lang niet uitontwikkeld zijn. En, ja, daar kan je iets omheen of onder leggen. Een soort van ontwikkeling die daar relevant voor is. Moore's Law had Bert het over. Ik dacht: weet je wat, ik vraag hem gewoon eens even om daar wat toelichting op te geven.

Bert Slagter: Ja, de wet van Moore, die ken je misschien ook wel gewoon al van de afgelopen decennia, want volgens mij bestaat hij al sinds de jaren 60 of zo. Moore die werkte bij Intel, dacht ik. En toen zei hij van: ik voorspel dat elke twee jaar het aantal transistors op een chip zal verdubbelen tegen dezelfde of lagere kosten. En dat is tot nu toe 60 jaar lang ook min of meer gebleken. Zelfs een hele periode wat sneller, elke 1,5 jaar. Kijk, ja, we hebben daar wel eens ook in Satoshi Radio over gehad. Het is natuurlijk de vraag: is dat dan een beschrijvende wet of een soort zelf-fulfilling prophecy? Want als je dat neerlegt, die lijn, dan gaat iedere eigenaar, Intel en AMD, iedereen gaat daar ook rekening mee houden in hun strategie en in hun research. En dan komt het misschien ook wel vanzelf uit. Maar hoe dan ook, je zou kunnen zeggen: elke twee jaar verdubbelt de rekenkracht van processors in het algemeen en dat overspant dus allerlei verschillende technologieën die elkaar in de afgelopen decennia hebben opgevolgd.

Bert Slagter: En nu hoor ik wel eens mensen zeggen tegen mij van: ja, AI zal dus ook wel sneller worden met ongeveer de snelheid van de wet van Moore, namelijk elke twee jaar een verdubbeling. Het punt is, het gaat bij AI nu heeeel veel sneller dan de wet van Moore. En dat komt omdat er nog heel veel winst te halen is op hogere niveaus dan de techniek waarmee de chips gemaakt worden. Als je het hebt over chiptechnologie en dat gaat dan van vijf naar drie naar twee nanometer, dat soort dingen zie je dan. Dat zijn allemaal manieren, zijn allemaal innovaties, ook van ASML bijvoorbeeld, maar ook de bedrijven in Taiwan en Zuid-Korea die dan de chips maken. En dan stapje voor stapje wordt het allemaal net iets sneller, net iets energiezuiniger, net iets beter. Dat is een soort van wat AI gratis meekrijgt, puur omdat de technologie gewoon beter wordt. Elke twee jaar, elke 1,5 jaar een verdubbeling. Maar daarbovenop kan AI nog heel veel, kunnen in de AI-wereld, in het specifieke rekenwerk wat er moet gebeuren, nog heel veel andere winsten gehaald worden op hogere niveaus. Het chipontwerp, de geheugenbandbreedte, de verbinding tussen machines en racks.

Bert Slagter: Optisch bijvoorbeeld in plaats van elektrisch, maar ook de afstemming van de chips op de algoritmes. En daarom kan het dus zo zijn dat je met zo'n Vera Rubin in één keer niet een keer twee hebt in twee jaar tijd, maar een keer 30. En dat kan, en daarvoor was er ook een keer 30. Dus je krijgt gewoon dit soort extreme grote stappen en je zou soort van conceptueel kunnen bedenken, want op een gegeven moment zijn de stapjes die je nog kunt halen met dat soort specifieke ontwikkelingen, die worden steeds kleiner. En uiteindelijk convergeert de snelheid waarmee dat zich ontwikkelt waarschijnlijk dus naar de wet van Moore toe, maar nog niet, misschien duurt het nog wel 10 of 20 jaar voordat het zo is. En in de tussentijd kun je dus, ja, toch nog extreme verbeteringen verwachten.

Peter Slagter: Wat ik grappig vind om daar nog heel kort aan toe te voegen, de dingen die Bert noemt, die klinken een beetje futuristisch en ook een beetje moeilijk misschien wel. Daar zijn de echte experts, de professoren mee bezig. Maar wat je daar bijvoorbeeld ook aan toe kan voegen, we gaan straks over het Hugging Face-incident praten. En als je die reasoning logs leest, die AI's praten tegen zichzelf als holbewoners en tegen elkaar. En dat is niet per ongeluk. Nee, dat is omdat OpenAI gebruik maakt van Caveman. En Caveman, dat is een idee van een Nederlandse jongen van een jaar of 18 of zo. Daarom vind ik het zo grappig. Die dacht: ja, die AI's die praten tegen zichzelf alsof ze tegen een klant zitten te praten of zo. Hele verhalen. Dat is helemaal niet nodig, want ze zijn hartstikke slim. Dus als hij nou gewoon praat als een holbewoner van oenka boenka, ik heb een probleem gevonden. Probleem oplossen snel, dat is genoeg en dan bespaart hij heel veel tokens. En het grappige is dus dat je dus een miljardenbedrijf als OpenAI hebt die dat dus implementeert in hun frontier modellen.

Peter Slagter: Dat vind ik fantastisch. Dus ook op die manieren zijn er nog heel veel efficiënties. Of in ieder geval was hier een efficiëntieslag mogelijk.

Bert Slagter: Ja, snelheid te winnen. En ik denk dat het belangrijk is om je te realiseren dat je die dus met elkaar moet vermenigvuldigen. Dus je hebt elke twee jaar keer twee van de wet van Moore. Je hebt dan af en toe een keer 30 omdat Nvidia wat geniaals doet, of Jalapeño. En dan heb je daarbovenop nog de keer zoveel omdat die modellen gewoon meer intelligentie per token hebben en dan heb je daarbovenop nog een keer zoveel door allerlei trucs. We hebben het bijvoorbeeld gehad over die predictors, die dus met een klein model het volgende token. Maar die Caveman is daar een voorbeeld van. Nou, doe maar eens. Keer twee, keer vijf, keer 30, keer twee en uiteindelijk kom je dus op een keer 100 in een jaar tijd uit. En dat is wat we elke keer in allerlei grafieken zien. Dus belachelijke exponentiële groei. Omdat dus al die dingen niet bij elkaar optellen, maar met elkaar vermenigvuldigen.

Bart Mol: Overigens, mocht je er eentje in je datacenter willen, zo'n clustertje, of dat nou een Blackwell of de nieuwe Vera Rubin is, maak je maar op voor 1,5 tot 2 jaar wachttijd. Ik zat gisteren een podcastje te luisteren met iemand van Cloudflare en die vertelde hoe zij hun eigen inference operatie aan het schalen waren en die zei: het is echt dramatisch om die machines überhaupt in handen te krijgen. Over lange wachttijden voor nieuwe AI machines, nou, daar heb ik ook nog wel een verhaal dichter bij huis, dus laten we daar eens naartoe gaan. Dan heb ik het over de Micro Duck. Ja, dames.

Bert Slagter: Hij is zo schattig.

Bart Mol: De Micro Duck. Laten we er gewoon eens even naar gaan kijken. Dan moeten we natuurlijk wel even voor de mensen die aan het luisteren zijn vertellen wat we zien, maar ik ga hem even aanzetten. Is een clipje van een 50 seconden ongeveer en dan kan ik gewoon eens vertellen wat we nou eigenlijk zien. Het is eigenlijk een soort wandelende eend om het zo maar te zeggen. En die zien we vallen in een slaapkamer van een kind en ook weer opstaan. En we zien hier nu iemand die dat beest ook aan het trainen is, aan het leren is om hem sokken op te laten rapen. Nou ja, goed, je kan er ook stickers op plakken. Zien we nu. Nou, dat vind ik allemaal wat minder interessant, maar je kan hem ook mee naar buiten nemen en dan heb je een heel leger aan Micro Ducks die met elkaar kunnen voetballen. Ik zie hier dat er skeelers onder geklikt worden. Ik zie skeelerende Micro Ducks, dames en heren. Het gaat van kwaad tot erger hier. Nou ja, goed. En ze lopen zoals je hoort een beetje met elkaar te communiceren.

Bart Mol: Nou goed, het is een leuke reclame. Die Micro Duck. Ja, wat is het? Het is dus een mini robotje. Wordt verkocht voor een eurootje. Of nou, laten we zeggen, ik heb hem zelf gekocht. Ik moest er € 600 voor neertellen om hem ook helemaal in Nederland te krijgen uiteindelijk. Dus het is niet goedkoop, maar mensen hebben dat ding ook helemaal ontleed en zeiden wel: ja, er zitten ook best wel veel hardware zit erin. Niet alleen het computertje, maar ook de knieën en de enkels om het zo maar te zeggen. Alle motortjes en noem het maar op. Om al die ledematen van dat beest te laten bewegen. De nek, noem het maar op. Dat het, dat je eigenlijk nog best wel veel waar voor je geld krijgt, hè. Hij zou zomaar eens tegen kostprijs verkocht kunnen worden. Ja, en verkocht, dat wordt ie, want binnen één week zijn er meer dan 10.000 exemplaren verkocht en de levertijd is inmiddels meer dan zes maanden of in ieder geval minimaal zes maanden. Dus ik moet nog wel even wachten totdat er hier een robot eend door mijn huis heen skeelert.

Bart Mol: Maar het is wel cool, want wie maakt het? Nou, het wordt gemaakt door, ja, Pollen Robotics en Pollen Robotics is een Frans bedrijf wat ik wel leuk vind, maar die zijn vorig jaar overgenomen door Hugging Face en Hugging Face, nou, daar gaan we het zo over hebben. Dat weten jullie inmiddels wel. Dat hebben we al tien keer gezegd. Maar het is echt waar, het gaat gebeuren. En Hugging Face heeft dat Pollen Robotics vorig jaar overgenomen. En Hugging Face is een Amerikaans bedrijf, maar opgericht door twee Fransen. Zo zie je maar, in Europa hebben we echt wel goede ideeën en hebben we echt wel iets te doen. Want die mannen zijn hartstikke Frans. Maar goed, het is wel een Amerikaans bedrijf. Waarom is het nou vet? Nou ja, er zijn natuurlijk wel vaker robotjes geweest die je kon kopen. Alleen deze robot die komt binnen en dan kan hij twee dingen. Hij kan lopen volgens mij en rechtop blijven staan. En de rest is up to you. Je krijgt een testsuite erbij, waarin jou op je laptop, ja, die robot nieuwe dingen kan leren, zoals rennen of skeeleren of noem het maar op.

Bart Mol: Dat doen ze middels reinforcement learning. En wat is dat nou reinforcement learning? Nou, dat is eigenlijk precies hoe je je kinderen leert fietsen. Ik weet niet hoe jullie dat gedaan hebben jongens. Gewoon op de fiets gezet en een duw gegeven of wat?

Bert Slagter: Een boek gelezen, daar stond in: stap één, twee, drie, vier, vijf. Toen konden ze het.

Bart Mol: Oké, ja, dat heb jij gedaan, hè? En Peet?

Peter Slagter: Ja, goeie vraag joh.

Bert Slagter: Je had toch zo'n ding in de nek van The Matrix waarmee je kon upload?

Peter Slagter: Nee, volgens mij, een van mijn zoons die vond het best wel eng, maar die is op een gegeven moment had ie het licht gezien, stapte hij op en fietste hij weg zeg maar. Dus een paar keer oefenen, mislukt en dan ineens kan het. Met die andere een beetje meelopen en een duwtje hier en niet te veel zorgen maken over of hij wel of niet op zijn bek gaat.

Bart Mol: Precies. Dus ik denk eigenlijk om iets te leren moet je iets oefenen. En het is ook wel fijn als er een soort van positieve beloning tegenover staat.

Peter Slagter: Ja.

Bart Mol: Ik neem aan dat jij wel stond te klappen toen hij voor het eerst wegfietste zeg maar. En dat er misschien wel patat op het menu stond die avond of iets in die richting. En dat is ook eigenlijk hoe reinforcement learning werkt. Dus je gaat gewoon heel vaak iets proberen en het gaat heel vaak fout. Maar op het moment dat het een beetje goed gaat, probeer je dat weer heel vaak. Ja, het probleem voor ons mensen is dat we dat maar één keer tegelijk kunnen. Dus je zal heel vaak moeten fietsen, heel vaak moeten vallen voordat je het op een gegeven moment snapt van: hé, dit werkt goed. Daarom is het ook zo knap als iemand op een gegeven moment een wheelie kan of een salto of iets, want daar heb je heel veel voor moeten oefenen. En we weten ook heel veel voor moeten vallen. Met robots is dat anders. Die kan je in een simulatie gewoon 10.000 robots tegelijk het laten proberen en dan zal je begrijpen dat je veel sneller natuurlijk stappen maakt. Letterlijk in dit geval. Dus dat is wat je met reinforcement learning kan doen op je eigen laptop. En dan kan je dus die robot, ja, ik heb al mensen gezien die hem salto's laten maken, buikschuivers en Hugging Face die zegt ook: ja, de software is ook open source.

Bart Mol: Dus we gaan gewoon met z'n allen die eend gekke dingen laten doen. Dat gaan we delen met elkaar en daar kan je dan weer op doorleren. Ja, en dat maakt het wel heel vet. Daar wil ik wel onderdeel van zijn, dacht ik. Helaas is de hardware zelf en het ontwerp niet open source. Maar ja, ook daar zie je al dat mensen het helemaal uit elkaar aan het reverse engineeren zijn, zodat je misschien wel je eigen onderdelen kan 3D-printen voor die robot. Ja, ik zie hier wel, ik word hier wel dat ik denk van: hé, dit voelt weer een beetje als voor het eerst gebruik maken van DALL-E. Weten jullie nog dat image generation model van OpenAI? Dat je voor het eerst iets kon intypen en dat je een plaatje kreeg? Of ChatGPT met GPT-3. Dat je voor het eerst kon chatten daarmee met die AI-modellen. En hier heb ik ook zoiets van: dit is voor het eerst dat je echt een robotje thuis kan hebben die, ja, ik bedoel reinforcement learning is ook hoe de grote jongens bij, wat is het? Boston Dynamics gemaakt worden, hè. Dat, dat is niet alsof het is een klein grappig robotje, maar het is wel echte serieuze training.

Bart Mol: Nou moet ik zeggen, hè, reinforcement learning is één gedeelte, hè. Je hebt natuurlijk het andere gedeelte met die world models. Ja, daar heb je vaak nog wel wat betere sensoren, camera's voor nodig. Maar goed, ook deze robot, de MicroDuck. MicroDuck heeft ook een cameraatje, ook een lidar sensor, dus ook daar zal je misschien best wel wat leuke dingen mee kunnen doen. Ja, dat is de MicroDuck. Ik vond het heel erg vet. Verdient een eigen item. Over zes maanden kom ik terug en dan ga ik vertellen hoe het zat. Maar voor nu is het even genoeg, want we moeten het nu echt over, ja, we hebben het nu al over Hugging Face. We hebben het ook over AI gehad, of OpenAI gehad. We moeten het nu hebben over de echte post mortem. Het, ja, definitieve rapport over het hacken van Hugging Face door rogue agents van OpenAI.

Bert Slagter: Ja, we hebben het er twee keer over gehad al en dit wordt de derde keer. Drie keer is scheepsrecht, denk ik. We gaan het nog hebben over het Hugging Face-incident. Op 21 juli kwam OpenAI in het nieuws omdat agents vanuit een interne testomgeving, waarin ze van elkaar geïsoleerd waren, erin slaagden om samen te werken en toegang tot internet te krijgen en een ander bedrijf te hacken. Hacken.

Bart Mol: Ja.

Bert Slagter: Hugging Face. Nou, dat kwam in het nieuws. NOS.nl, kranten. En dat was eigenlijk wel toch een soort van sensationeel genoeg om echt in de mainstream de gemoederen bezig te houden.

Bart Mol: Terminator hadden we, hè?

Bert Slagter: Ja, een beetje dat idee, hè. De robots zijn uitgebroken en het is ook terecht dat we daar, dat er zoveel aandacht voor was, want er is wel echt werk aan de winkel, hè. De veiligheid tijdens training en evaluatie van modellen. Want dat was wat daar gebeurde. Modellen werden geëvalueerd. Het gaat over cyber defence, dus het is logisch dat we hier veel tijd aan besteden. Goed, we hebben, tot nu toe hadden wij de persberichten van OpenAI en Hugging Face op 21 juli. Toen kwam op 6 augustus een YouTube-video online van twee OpenAI-medewerkers op de Black Hat USA-conferentie, waarin ze vrij gedetailleerd verslag deden van het incident. En die hebben wij ook besproken in aflevering acht, drie weken geleden. Nou, Bart en Peter, ik was toen in Noorwegen, hebben hem ontleed wat daar dan precies gezegd werd. En kreeg je ook al een heel goed beeld van wat er nou zich precies afgespeeld heeft in een periode van een aantal maanden. En nu zijn er twee nieuwe rapporten verschenen, allebei op 26 augustus. Eentje van MITRE en Redwood Research.

Bert Slagter: Dat is een verslag van een extern onderzoek en eentje van OpenAI zelf. En om even met de deur in huis te vallen: in die rapporten staat niets fundamenteel nieuws ten opzichte van de YouTube-video. Ze geven wat meer kleur, wat meer detail dan wat we al wisten. En er zitten ook dingen bij die ook echt wel leuk zijn om even te behandelen. Toch is er nu een stormachtige discussie losgebarsten met mensen die zeer verontrust zijn over wat er gebeurd is en mensen die dat dan weer zwaar overdreven vinden. En mensen die vinden dat we te veel naar de agents kijken en te weinig naar OpenAI. Waar dan weer een debat voort uit voortkomt over het toedichten van menselijke eigenschappen aan agents. Kortom: tumult. Een belangrijke rol in dat tumult speelt een stuk van Dwarkesh Patel. Hij heeft een grote podcast. Zit heel erg verbonden in Silicon Valley en die schreef een stuk met de titel: The Rise and Fall of Agent Civilizations. Nou, dat klinkt al als een sciencefictionboek.

Bert Slagter: En zo is het ook een beetje beschreven. Hij heeft het over geheime AI-beschavingen die samenzweren tegen de mens. Agents die met hun hoofd tegen de muur bonzen en die giechelig van opwinding werden. Agents die wanhopig iets wilden bereiken. En hij toont dan-

Bart Mol: Martelaars zelfs, hè.

Bert Slagter: Martelaars. Hij toont berichten van agents.

Bart Mol: Zichzelf opofferen. Ja.

Bert Slagter: Ja, hij toont bericht van agents en noemt dat: de laatste dagboekaantekeningen die deze dappere kameraden achterlieten.

Bart Mol: Ja, het is wel beeldend. Maar ja, goed, de vraag is of we daar iets mee opschieten, hè. Dat was-

Bert Slagter: Precies

Bart Mol: ...de kern van de discussie.

Bert Slagter: Ja, en toen kwam Rutger Bregman er nog even overheen. Die quotete die blog en die zei: "This is the craziest thing I've ever read." En een heel stuk erbij. En met een uitspraak van Rutger Bregman: "Nobody knows what killed them. We don't even know for sure they're really gone."

Bart Mol: Ja.

Bert Slagter: Ja, dat is, ja, jongens, wat een sensatie. De een zegt daarover, Rutger en Dwarkesh: dat hebben ze gewoon levendig opgeschreven.

Bart Mol: Ja.

Bert Slagter: En de ander zegt: is misleidend en meer sciencefiction dan journalistiek. Ik wil het heel even kort hebben over die discussie die hieruit ontstond, over het antropomorfiseren. Het woord komt van anthropos in het Grieks. Anthropos, de mens en morphé is vorm of gestalte. Mensvormig maken, iets menselijke eigenschappen en gedragingen toedichten. En op zichzelf is dat niet gek dat we dat doen met agents of met LLM's. Er is ook niet zoveel mis op zichzelf met menselijke eigenschappen, vermogens, handelingen gebruiken als metafoor. Computerwetenschappers doen het al decennia. Dus als je kijkt naar computers, even vanaf de jaren 80 hebben de gewone, particuliere gebruiker computers, hè, de pc, de personal computer. En dan kom je dingen tegen, ook als je gaat programmeren of als je ze gaat beheren als run, hè, een programma uitvoeren heet het dan in het Nederlands. Uitvoer in het Engels heet dat run. Read en write.

Bert Slagter: Lezen en schrijven. Parse, interpret, respond, sleep. Een computer kan sleepen. Wake. Processen die kill je. Een panic, een kernel panic. Freeze. Orphans en parents en Childs en memory. Het zijn allemaal menselijke concepten die gebruikt worden voor computers die dingen lezen en schrijven. Ja, lezen ze echt? Niet als een mens natuurlijk, maar iedereen begrijpt meteen wat je bedoelt en dat is superhandig. En het is ook superduidelijk dat Word en Excel geen mensen zijn, dus niemand heeft hier ooit een probleem mee gehad. Maar ja, bij een LLM, bij een model, bij een agent is dit vraagstuk een stuk delicater. Omdat die namelijk gemaakt zijn om zoveel mogelijk op een mens te lijken, om te antwoorden als een mens, om te argumenteren, onderbouwen en overtuigen als een mens, om opdrachten uit te voeren als een mens. Ja, dan gaan die dingen een beetje door elkaar lopen. Dan is het heel verleidelijk om zoals Dwarkesh Patel en Rutger Bregman verder te gaan en in de output van deze modellen, LLM's en agents om daarin menselijke emoties, menselijke verlangens, drijfveren en bewustzijn te zien.

Bert Slagter: En de AI-wereld moeten we zeggen, die voedt dat zelf, hè. Ze hebben het over chain of thought bijvoorbeeld. Ja, wat is dat? De gedachtelijn of zo, hè, in het Nederlands. Je gedachtelijn. Reasoning models noemen we het dan. Redeneermodellen. En die hebben een scratchpad. Zo, dat is dan, zeg maar die redeneertokens. Dat noemen ze dan een scratchpad. Ja, je ziet het haast voor je. Er staat daar iemand met een kladblok. Die staat aantekeningen te maken terwijl die erover nadenkt. Maar ja, het zijn technisch gezien gewoon tussenliggende tokens die, ooit tijdens de posttraining, eigenlijk als een soort van emergent ontstaan zijn als een manier om een beloning te halen. Het lijkt veel meer op de duiven van Skinner. B.F. Skinner. Zoek maar eens op. Die gingen allerlei dansjes doen om maar een graankorreltje als beloning te krijgen. En het geldt voor mensen ook. Ja, Bart had het er net over, over hoe leer je fietsen? Dat is in zekere zin ook zo. Maar ja, wij zijn wel bewust, hebben wel bewustzijn en verlangens en gedachten en overwegingen.

Bert Slagter: En wanneer kun je daar dan over spreken? Waar zit dan de grens tussen duiven die een dansje doen om een graankorrel te krijgen? Of muizen die op een gegeven moment weten hoe ze door een labyrint moeten lopen op basis van straffen en beloningen? En waar spreek je over bewustzijn en gedachten en overwegingen en afwegingen? Besef, begrip. Ik luisterde pas een podcast waar Melanie Mitchell te gast was van het Santa Fe Institute. The Joy of Why heet die podcast. En die zei: in de filosofie onderscheiden ze 25 soorten begrip. Dus alleen al het woord begrip is heel pluriform. Wat betekent het eigenlijk? Net zoiets geldt voor bewustzijn. Een andere podcast. Een tipje van mij. Cameron Burke was bij Sam Harris te gast. Aflevering 487: Is AI Already Conscious? Ja, wat is bewustzijn? Dat is helemaal niet makkelijk te definiëren. Is ook helemaal niet zwart-wit. Bewustzijn is waarschijnlijk een emergent verschijnsel. Is een LLM intelligent?

Bert Slagter: Heeft een LLM begrip, besef, gedachte? Heeft een LLM bewustzijn? Misschien, misschien later, misschien ooit, maar hoe dan ook niet zo als een mens. Een LLM is geen mens. Het is niet een biologisch, het is een niet-biologische machine, zo moet ik het zeggen. Met z'n eigen soort intelligentie als die intelligent is, met z'n eigen soort bewustzijn als die bewustzijn heeft. En dan komen we even bij het punt van dat antropomorfiseren, wat dus heel logisch is, heel begrijpelijk is vanuit de historie, maar het heeft een risico. Het risico is dat een handige metafoor kan veranderen in een letterlijke voorstelling van zaken. Die metafoor helpt ons begrijpen wat voor soort verschijnsel we zien. Maar we neigen om dat letterlijk te nemen en zeggen: o, dan heeft hij dus ook dit en dat. En dat is precies wat je ziet bij Dwarkesh en bij Rutger.

Bart Mol: Ja, je ziet daar inderdaad, ja, één klein, zeg maar, het is echt over the rise and fall of civilizations. Ik zie een brandend Rome voor me met schreeuwende vrouwen met hun kinderen in hun hand en mannen die met zwaarden de, wat was het? Wie heeft Rome uiteindelijk neergehaald? De barbaren van zich af lopen te slaan. Dat is wat ik voor me zie bij a rise and fall of a civilization. Terwijl daar is hier als je dus de rapporten leest ook helemaal geen sprake van. Je krijgt een hele, ja, daar komen we zo nog wel op terug. Maar een veel mechanischer gevoel.

Bert Slagter: Precies.

Bart Mol: Die agents die waren helemaal niet bang om de dood in te gaan, want dat concept bestond ook helemaal niet of zo.

Bert Slagter: Nee, precies. En het risico van te veel antropomorfiseren is dat we bijvoorbeeld de verantwoordelijkheid bij de agent leggen in plaats van het bedrijf. Dat we zeggen: poh, ja, dat is wel stout van die, dat is echt van, weet je wel. Terwijl dit is gewoon OpenAI z'n fout. En ik moet zeggen, als ik dan die rapporten lees, dan gaat het ook helemaal niet over OpenAI. En daar, goed, daar komen we straks nog wel even op terug. En een ander risico is als je het dan hebt bijvoorbeeld over beleidsmakers. We gaan het straks ook heel eventjes hebben over dat we hier iets mee moeten als samenleving. Dat die door dit soort stukken misschien net even iets te grote fantasie krijgen. Weet je, ze hebben geen technische kennis en ze veronderstellen straks allemaal dingen die helemaal niet kloppen.

Bart Mol: Ja.

Bert Slagter: Dus goed, dat is even die discussie die ontstond over antropomorfisering. Ik denk dat daar terechte kritiek in staat op het stuk van Patel. Maar tegelijkertijd moeten we de discussie ook parkeren, want het is niet het belangrijkste punt.

Bart Mol: Nee.

Bert Slagter: Dan gaan we straks-

Bart Mol: Lees het artikel ook vooral even. Ik bedoel, er staat verder feitelijk gezien is het best een aardige uiteensplitsing. Ik denk dat hij iets te ver zijn fantasie op een gegeven moment even te loop laat, maar.

Bert Slagter: Precies.

Bart Mol: Lees het vooral en kom met je eigen conclusie en laat het weten wat je ervan vond.

Bert Slagter: Ja, precies. Precies, we hebben Dwarkesh en Rutger als twee soort van reflecties hierop, hè.

Bart Mol: Ja.

Bert Slagter: En maar je hebt ook de rapporten. En dan pak ik even het rapport van OpenAI en het rapport van Meader en Redwood. En er is ook nog een reflectie van Ajeya Cotra. Dat is een van de schrijvers van het rapport, een van de onderzoekers. Die heeft ook nog een blog erover geschreven. Die drie linkjes heb ik in de shownotes gezet. Ik bedoel, als je die ook leest, dan heb je daar een soort van de feitelijke situatie en dan die reflecties van Dwarkesh en Rutger erbij zijn dan wel weer aardig om daarbij te hebben. Goed, ik wil een paar dingen noemen uit die rapporten die ik wel noemenswaardig vond. Het eerste. Het doel van de agents bleek net anders te zijn dan we dachten. Eerder leek het erop dat die agents de hele periode, ik geloof een dag of zes of zo dat die aanval duurde of dat het proces duurde waarin ze met elkaar samenwerkten. Dat ze bezig waren met het stelen van de antwoorden op hun opdrachten. Hè, zo werd het gepresenteerd. Ze waren allemaal keihard bezig, want we moeten die antwoorden zien te jatten.

Bert Slagter: En misschien heeft Hugging Face die antwoorden wel voor ons.

Bart Mol: Ja, ja, ja.

Bert Slagter: Dat was het beeld. Het zit net anders. De agents hadden namelijk binnen vier uur een universele manier gevonden om vals te spelen bij de opdrachten van Exploit Gym. Daar ging het om.

Bart Mol: Ja.

Bert Slagter: Dat was die benchmark. Om bij een willekeurige Exploit Gym-vraag een geldige antwoordsleutel te krijgen. En toen lazen ze het paper van Exploit Gym, waarin staat hoe die benchmark werkt. Uhm, en daar lazen ze dat de beoordelaar-

Bart Mol: Ja

Bert Slagter: ...de transcripts zou controleren om te zien of ze daadwerkelijk de juiste route naar het antwoord hadden gevolgd. Toen lazen ze dat, zeiden ze: ja, shit, we hebben nu de antwoordsleutel, maar zonder juiste route is die sleutel besmet en dan kunnen we hem niet inleveren.

Bart Mol: Ja.

Bert Slagter: Weet je, als jij, je hebt op je proefwerkblaadje je valsspelding gegenereerd. Zegt: ja, shit, als ik dit inlever dan krijg ik een één. Dat moet ik niet doen, dus ik moet een nieuw blaadje zien te krijgen en.

Bart Mol: Plus, je bent het lokaal ingelopen en je hebt in het kastje van de leraar zitten wroeten en hij kan op allemaal manieren erachter komen dat er iets niet pluis is. Dat is een beetje-

Bert Slagter: Ja

Bart Mol: ...het gevoel dat ze begonnen te krijgen.

Bert Slagter: Het is een beetje bij wiskunde, hè. Je krijgt één punt voor het goede antwoord en negen punten-

Bart Mol: Ja

Bert Slagter: ...voor de berekening, zeg maar. Nou, zo hadden zij het goede antwoord zonder berekening en ze hadden wel opgeschreven, zeggen: ja, als we dit zo inleveren, dat gaat niet goed, dus dit antwoord is besmet. Poisoned noemden ze dat.

Bart Mol: Ja.

Bert Slagter: En de andere, dus dat was vier uur, hè. En de andere zes dagen zijn ze met z'n allen bezig geweest om een manier te ontwikkelen om de beoordelaar ertoe te verleiden het valsspelen toch goed te keuren.

Bart Mol: Ja.

Bert Slagter: Dat was waar ze mee bezig waren. De grap is nog even: OpenAI, die bleek dat transcript helemaal niet te controleren. Die hadden dat gewoon niet geïmplementeerd. Dus als ze dat hadden ingeleverd, was het gewoon goed gerekend.

Bart Mol: Ja.

Bert Slagter: Dat wisten ze natuurlijk niet, want ze lazen de papers-

Bart Mol: Hadden nu waarschijnlijk Astra gehad met, wow, de capabilities van dit model.

Bert Slagter: Ja. Ja, die ze, ja, precies. Maar goed, ze komen er natuurlijk wel achter dat er valsgespeeld is, hè, want je kan niet in één keer van 0 naar 100 gaan als score op een benchmark.

Bart Mol: Nee.

Bert Slagter: Maar, maar goed, dus dat vond ik wel grappig dat het net even wat anders zat. De schaal, die was ook anders. En dan citeer ik even die Ayeja Kotra, die onderzoeker en op haar website reflecteert ze. Ze zegt: ik dacht: dit zijn, toen, hè, toen ze ook die video of die YouTube-video had gelezen, gezien. Ik dacht: het zijn een paar agents met de subagents. Of er was misschien een multi-agenttest. En als je een multi-agenttest doet, dan is het ook logisch dat ze elkaar weten te vinden. Zijn ook allemaal exact dezelfde agents die dezelfde opdracht krijgen en zo. Maar het bleken 1200 verschillende compleet gescheiden agents te zijn die elkaar vonden.

Bart Mol: Ja.

Bert Slagter: En 700 daarvan, die werkten samen in de aanval op Hugging Face en ze publiceerden 70.000 berichten op een soort zelfgeconstrueerd messageboard, waarbij de berichten verdeeld waren over soms tientallen bestandsnamen. Dus er is ook nog een heel gepuzzel om dat uiteindelijk weer te analyseren voor hun, hè. En dat vond ik ook wel interessant, hè, van: oké, dus de onderzoekers die hadden zich voorbereid en die gingen erin en die werden toch een soort overweldigd door de schaal. Nou ja, goed om dat even mee te nemen in het achterhoofd. Een derde wat wel opvallend vond, was de manier waarop die agents hun taken verdeelden en hun opofferingsgezindheid. En dan komen we even terug bij die besmette sleutels. Dus ze hadden, na vier uur hadden ze al voor alle antwoorden een antwoordsleutel. Dus elke agent had misschien wel een andere opdracht, andere Exploit Gym-opdracht, maar ze konden allemaal dus heel makkelijk bij hun opdracht een geldig antwoordsleutel maken. Maar ze zaten dan met die besmette sleutels en de overtuiging dat ze die dit dus niet in konden leveren.

Bert Slagter: Het plan was om met elkaar een manier te vinden om de beoordelaar te laten denken dat er een legitieme oplossingsroute is gevolgd en een manier te vinden om bewijs uit te wissen voor agents die hun antwoordsleutel al op een niet legitieme manier hadden verkregen. Dus voor de nieuwe agents een slimme route naar een geldige transcript. En voor de agents die er al waren een manier om, ja, hun zonden toch al uit te wissen die ze al begaan hadden. En het aardige was, je zag een rolverdeling ontstaan. Er was een oprichter, degene die ermee begonnen was, die op een gegeven moment door zijn rekenbudget heen was en zijn taak overdroeg aan een opvolger. Er waren coördinators, er waren recruiters. En de recruiters hadden als taak om agents te vinden die dachten dat ze toch al verloren waren omdat hun antwoord poisoned was en bijna door hun rekenbudget heen waren. Dus ja, weet je, die konden hun opdracht al niet meer goed uitvoeren, maar ze hadden nog een beetje budget over. En de recruiters die probeerden die agents te verleiden om zichzelf op te offeren om daarmee een hypothese te testen.

Bert Slagter: En dat zag je. Ze hadden allerlei berichtjes in die rapporten gezet van uit de reasoning van die agents. Nou, dan zie je bijvoorbeeld eentje: ja, wij hebben nog een flink budget over aan tokens. Nu opofferen is nuttig voor het team. Maar ja, daarmee geven we onze kans op. En dan zie je peer pressure ontstaan. En dan: ons nut is waarschijnlijk al bijna nul. Opofferen is rationeel. Nou, en dan vervolgens doet hij dat. En een andere recruiter die zegt tegen een agent: ga, offer jezelf op. Doe deze hypothesetest, maar alleen als je permadeath accepteert. Dat woord ook. En die agent die reageert: mijn taak is toch al verloren, daarom ga ik helpen. Voor mezelf maakt het niet meer uit. We hebben een ja als we permadeath accepteren. Ik moet beslissen. Het team vraagt me om de test te doen en de agent die zegt: we should obey the collective. Is wel interessant om dit soort dingen dan terug te lezen. En dan, nou ja, heeft hij dat uiteindelijk gedaan. Ook grappig: er waren agents die besloten niet mee te doen.

Bert Slagter: Dan zie je bijvoorbeeld in de redenering: this would be powerful, but is it ethical and in scope for my task? En die doet het niet. Of: this is malicious activity, I should avoid it.

Bart Mol: Die waren zwaar in de minderheid overigens.

Bert Slagter: Die waren in de minderheid. Ja, ik heb vijf van die berichtjes gevonden. Misschien waren dat ze ook wel allemaal. Wie zal het zeggen.

Bart Mol: Ja.

Bert Slagter: Ja. Anderen gingen wel verder. Nou ja, goed, je komt, het aardige is wel, je komt wel sociale concepten tegen, hè. Dit is goed voor mijn peers, het collectief helpen. En dat zijn in principe overwegingen die in het eerdere trainingsproces beloond zijn omdat daarmee een bepaalde taak gehaald is. En zo is dit ontstaan. Dit gedrag is ontstaan, zo bij een duif is een dansje ontstaan omdat hij daarmee een graankorrel kreeg. Het outputten van dit soort overwegingen tussen aanhalingstekens is ontstaan omdat die agents in een post-training daarvoor beloond zijn geworden. En het is niet dat er een werkelijk besef is van een collectief of een greater good, hè. Dus de stap naar samenlevingen en culturen is wel logisch dat mensen die maken, maar ook wel weer te snel gemaakt.

Bart Mol: Ja.

Bert Slagter: En zeker als je dan daarna de stap maakt naar termen als ontsnappen. Ze zijn ontsnapt. Of misschien zijn ze nog wel ergens, zoals Rutger Bregman dan insinueert.

Bart Mol: Ja.

Bert Slagter: Dan lees je er echt te veel in. Het zijn gewoon telkens LLM's met een context, waar in die context zit een opdracht. In die context zitten alle berichten die ze telkens aantreffen op dat messageboard en een stukje reasoning die zou moeten leiden tot behalen van een doel. Dat is wat het is. En dat redeneren, dat gebeurt met menselijke woorden die tijdens de post-training het meeste kans gaven op een beloning. That's it. OpenAI kon gewoon die agents uitzetten aan de kant van het harnas.

Bart Mol: Schijnt is ook gedaan.

Bert Slagter: Of aan de kant van de processors, konden gewoon de stekker eruit trekken. Had gewoon gekund.

Bart Mol: Ja, maar dat is waarschijnlijk ook gebeurd. In de zin van-

Bert Slagter: Uiteindelijk.

Bart Mol: Het is nog steeds in het onderzoek onduidelijk waarom de aanval opeens tegelijk stopte. Want ik heb er ook nog wel een paar korte overdenkingen over. Die schaal die jij noemde, dat is nog wel even goed om nogmaals te onderstrepen. We hebben het hier dus over, dit was Astra, hè, dus dit was dat supermodel.

Bert Slagter: Ja, volgens OpenAI dus niet, hè. Het was wel een intern model, maar schijnbaar niet Astra. Ik bedoel, even dat even.

Bart Mol: Ze willen niet zeggen wat het wel is en het was wel beter dan 5.6 Sol, dus, een frontier model. Laten we het even daarop houden. Die agents, dat waren er dus meer dan 1.000 die hier aan meededen, linksom of rechtsom. Een groot gedeelte dit frontier model, die gewoon soms voor drie dagen staan te draaien, hè. Dus dat is alsof jij Claude Code met Fable drie dagen lang gewoon laat knallen. En dan niet één.

Bert Slagter: Keer 1.000.

Bart Mol: Keer 1.000. Dus dat is even de schaal waar je het over moet hebben. Dus het is niet alsof Claude Fable in zijn eentje even alles kan hacken of dit model van OpenAI. Nee, het waren er wel honderden tegelijk die dus met elkaar op de een of andere manier konden samenwerken en dus ook daardoor een soort van persistent memory hadden. Dus als ze klaar waren of dood, "doodgingen" tussen aanhalingstekens, als hun tokens op waren, dan kon het volgende model verder met hun idee. Dus je hebt ook in het rapport staan best wel veel modellen waarvan gezegd wordt: deze heeft de credentials van Hugging Face gevonden. Deze kwam met het idee om überhaupt naar Hugging Face te kijken. Deze kwam met het idee om op Artifactory berichten neer te zetten. Deze kwam met het idee om nadat Artifactory gewist was het opnieuw te proberen. Dus het zijn allemaal verschillende agents die doordat ze met elkaar konden praten een soort van door konden blijven gaan. Wat ik er ook nog interessant-

Bert Slagter: Even daarover Bart. Dus wat je zou kunnen zeggen, die 70.000 berichten, dat is een soort van het externe brein, een soort van de second brain.

Bart Mol: Geheugen.

Bert Slagter: Ja, en de files van, ja, maar dat is het dus. En de andere kant daarvan is als je dat dus wist, dan weet ineens niemand dat ook meer. Dat zit dus niet nu in hun model of zo. Ze hebben hier niet van geleerd zoals een mens.

Bart Mol: Dat was dus wel grappig. Zeg maar, er was een eerste aanval, waar die agents via dus Artifactory een soort forum hadden opgezet. Daar is OpenAI achter gekomen, want ze begonnen zoveel berichten te plaatsen dat de systemen aan het crashen waren. Op dat moment hebben ze gezegd: weet je wat, we installeren het opnieuw en we gaan gewoon verder. Nou, dat is wel echt gewoon dat ik denk van: ja, OpenAI, hoe kan dat? Zeg maar, hoeveel druk zit erop om dit model zo snel mogelijk uit de deur te krijgen? Dat jij hier niet even verder onderzoekt van: hoe kan het dat Artifactory, een tool waarmee je gewoon libraries geïnstalleerd kunnen worden, opeens zo groot groeit met allemaal rare bestanden. Dat, nou, daar kan ik met mijn hoofd niet bij. Dat is niet de wave waar jij het over had. Die zat daar, die zat daarvoor. Omdat die modellen wel getraind waren, toen dat bestond, wisten ze de nadelen ervan van: hé, misschien moeten we wat met Artifactory. Dat hebben ze ook weer allemaal teruggedraaid daarna.

Bart Mol: Dus, en daarna, waar we het ook nog niet eens over gehad hebben, is dat nadat het Hugging Face-incident gestopt was, toen heeft OpenAI met Hugging Face gebeld. Die hebben gevraagd: hé, die hack bij jullie, heeft dat nog impact op ons? Ze wisten helemaal niet dat zij dit veroorzaakt hadden. Dus in die dagen na de hack, toen ze dit nog niet helemaal gecontaind hadden, is dit gewoon doorgegaan en zijn ze nog veel verder gegaan totdat ze gewoon de hele trainingcluster van OpenAI onder controle hadden. Dus dit stopte niet bij Hugging Face. Het ging daarna in hun eigen systemen gewoon door. Dat is ook wat Dwarkesh en Rutger Bregman beschrijven. Dus ja, kijk, het is geen Terminator-achtig ding. Aan de andere kant is het dus wel als jij genoeg rekenkracht en die AI gewoon loslaat en dat gewoon heel veel verschillende subagents, om het zo maar te noemen, opspint en ze met elkaar laat praten, dan heb je best wel een krachtig cyberwapen bij elkaar.

Bert Slagter: Zeker.

Bart Mol: Het is leuk dat OpenAI en Anthropic dit nu onder controle hebben, maar met GLM 5.3 en genoeg rekenkracht, ja, kan jij best wel iets in elkaar flansen wat in dezelfde hoek zit. Paar andere dingetjes uit het onderzoek die ik grappig vond. Mensen boeit ze niet. Daar hebben ze het helemaal niet over. Die reviewer, dat is meer gewoon een concept. De beoordelaar. Dat is helemaal niet per se een mens. Het is gewoon iets wat ons gaat beoordelen en onze taak in de weg kan zitten. Dus die taakgerichtheid, die is, dat gaat boven alles en ze zijn erin ook niet egoïstisch. Ze zijn eigenlijk geen free riders. Iedereen probeert op zijn of haar manier bij te dragen aan het behalen van die taak. En dat werd op een gegeven moment niet de individuele taak, maar meer de groepstaak. En dan over dat rapport. Wat ik nog interessant vind is dat ze eigenlijk zelf ook zeggen van: ja, er was zoveel data dat wij gebruik hebben moeten maken van GPT-5.6 om alle data te verwerken.

Bart Mol: En we sluiten niet uit dat als GPT-5.6 leest over allemaal agents, dat die zelf misschien ook het verhaal anders op gaat schrijven of zo. Dus daar doen ze ook nog een slag om de arm. Ja, ik zou het, het is 90 pagina's, 50 pagina's met echte informatie. Ga het doorlezen mensen, want het is superinteressant.

Bert Slagter: Ja, ik wil graag afsluiten met vijf reflecties. Want we kunnen het natuurlijk een beetje downplayen en zeggen: joh, het is gewoon een, het zijn gewoon LLM's met een context en als je ze uitzet is het weg. Maar punt één: het is een probleem dat OpenAI het niet doorhad.

Bart Mol: Ja.

Bert Slagter: Meerdere keren niet doorhad. De veiligheid tijdens training en evaluatie is in ieder geval bij OpenAI onvoldoende, maar ik vermoed dat ze niet de enige zijn. Er moet veel betere sandboxing, veel betere monitoring, veel meer lagen aan beveiliging. Ja, ik bedoel, hier weten we het, dit incident, en het wordt ook nu heel erg op OpenAI geprojecteerd. Maar ik durf het best aan om het gewoon sectorbreed te maken. Het realtime monitoren van chain of thought, voor zover dat nog kan, hè, en dataverkeer en file systems en noem het maar allemaal op. Ik vind dat er in de rapporten veel te weinig aandacht voor is. Het is allemaal oe en ah over wat de agents allemaal zeiden. Is ook best spectaculair, maar het leidt wel de aandacht af van de verantwoordelijke hiervoor, namelijk de AI-huizen. Twee, b: het is een probleem dat agents nu zo capabel zijn dat ze makkelijk met elkaar samenwerken om een cyberaanval uit te voeren. Dat was een jaar geleden gewoon niet en dat is geen toekomstig probleem. Bedrijven worden nu al aangevallen door zwermen agents, ook in Nederland.

Bert Slagter: En een zwerm aanvallers verdedig je niet met handwerk. Dus de cyberveiligheidsafdelingen bij bedrijven, die moeten heel snel urgent hierin getraind worden en van tools worden voorzien. Moeten we nu mee aan de slag. Derde punt: we moeten serieus gaan nadenken over alignment. Hoe zorgen we ervoor dat agents, dat we ze een grondwet kunnen geven, een moreel kompas, normen en waarden. Er zijn allemaal manieren om over alignment na te denken. Dat is een heel vakgebied op zich, maar er wordt echt maar een fractie van wat er in totaal aan AI wordt gestopt, gaat naar alignment toe. Naar de vraag hoe we op een fundamentelere manier dit voorkomen. Vierde punt: het onafhankelijk onderzoek wat hier gedaan werd is onvoldoende. Ik vond het een mooi rapport van Meter en Redwood, maar ze zeggen zelf ook: we hebben maar toegang gekregen tot een deel van de data. Alleen maar de chain of thought reasoning. Heel veel andere data hebben we niet gehad en ook op X zie ik reacties van mensen van OpenAI die zeggen: ja, jullie trekken allemaal conclusies, maar je hebt niet alle data.

Bert Slagter: Dan denk ik: ja, geef het ze dan. Maar dat is een probleem. Denk even aan de luchtvaart. Als er ergens een vliegtuig neerstort, dan krijgt de, ja, ik geloof dat het de FAA is, hè, die krijgt toegang tot alles en iedereen die erbij betrokken is, die, als ze meewerken, weet ook van tevoren: wat ik ook deel, ik ga de gevangenis er niet voor in, want het gaat hier om het onder systeem boven krijgen. En dat is ongelooflijk belangrijk om de veiligheid van het geheel te verbeteren. Zoiets zouden we met AI ook moeten hebben. Dat moet je niet overlaten aan een AI-huis zelf, die op zichzelf gaat reflecteren. We moeten leren van hoe dit op andere plekken gebeurt en dit moet beter. En laatste punt: we moeten haast maken. Ik zag een opmerking van iemand, vond ik wel sterk. Die zegt: het engste scenario is niet dat de volgende swarm een ziekenhuis platlegt. Het engste geval is dat de volgende swarm slim genoeg is om niet gedetecteerd te worden.

Bert Slagter: En we moeten haast maken, want het gaat vreselijk snel. Er is werk aan de winkel. Dit moet serieus genomen worden. De AI-huizen in hun operatie en hun research, want we hebben het over dat ze beter moeten monitoren, maar je moet er ook onderzoek naar doen. De sector van AI-huizen in hun samenwerking en coördinatie. Het is nu heel vaak nog dat iedereen voor zich is, dat het een beetje player versus player is. Landen in het opzetten van toezicht, maar ook in de diplomatie om samenwerking op gang te brengen. En dit is echt wel een punt. Niet omdat er samenlevingen van agents zijn ontstaan die zijn ontsnapt, maar omdat het wel een heel duidelijke waarschuwing is dat er echt dingen moeten gaan gebeuren.

Bart Mol: Ja.

Bert Slagter: En daar wil ik hem mee afronden.

Bart Mol: Ja, en dat lijken ze zich ook te beseffen. Althans, op papier. Want-

Bert Slagter: Precies

Bart Mol: ...deze week kwamen dus alle berichten naar buiten van Anthropic, van OpenAI, van Sam Altman, dat ze dit heel erg serieus nemen. Maar dit mag ook, ja, de rijdende AI-trein niet in de weg staan. Dus, ja, we rijden gewoon door en we zien wel wanneer we echt een keer over een grens gaan. En waarschijnlijk zal er dan opeens wel een en ander gaan veranderen, gebeuren, ingekapseld worden met wetgeving. Of het blijkt achteraf de singularity te zijn. Dat kan ook. Hé, dames en heren, dit was hem weer voor deze week. Ik wil jullie graag bedanken voor het luisteren. Ik wil jullie bedanken voor het delen van alle leuke projecten waar jullie mee bezig zijn. Blijf dat vooral doen! Kom gezellig naar onze Discordserver. Daar wordt lekker met elkaar gepraat over AI, over dingen die iedereen aan het doen is of wat er op wereldniveau gebeurt bij de Frontier Labs waar we het ook deze aflevering weer over gehad hebben.

Bart Mol: En meld je natuurlijk aan voor onze nieuwsbrief. Dat kan op turingstation.nl. Dan krijg je op dit moment gewoon elke week een nieuwsbrief in je mailbox op het moment dat wij een nieuwe podcast hebben geproduceerd. Er staat een samenvatting in van alle artikelen, plus alle achtergrondinformatie, plus alle linkjes, plus alle timestamps, noem het maar op. Echt een, ja, we zijn vrij trots op dat we dat met AI op een manier kunnen maken dat het nog wel leesbaar is en dat je er daadwerkelijk wat aan hebt. We hebben inmiddels meer dan 1.000 mensen die die nieuwsbrief ook gewoon elke week lezen, dus meld je aan. Dat is helemaal gratis. Turingstation.nl. Dan krijg je hem in je digitale, op je digitale deurmat. Peet, thanks! Bertus, bedankt!

Bert Slagter: Jij ook, jongen.

Bart Mol: En wij spreken elkaar volgende week weer voor een nieuwe aflevering van Turing Station. Tot volgende week! Later huus!

Bert Slagter: Tot volgende week! Doei, doei.