#5 - OpenAI's agents braken uit hun sandbox en hackten Hugging Face

Beluister Turing Station op Spotify | Apple Podcasts | YouTube.

Een AI-model dat uit zijn sandbox breekt is al spannend genoeg. Maar wat als het dat doet om vervolgens in te breken bij Hugging Face — puur om de antwoorden op zijn eigen tentamen te stelen? Het gebeurde deze week echt. En het is nog maar het begin van deze aflevering, want ondertussen rolt er een golf Chinese open modellen binnen, legt Bert uit hoe het trainen van een model écht werkt en bouwde Bart een pratende doodskop.

• [00:12:30] Een nog niet uitgebracht OpenAI-model ontsnapte via zero-days uit zijn sandbox en hackte Hugging Face om de antwoorden op de ExploitGym-benchmark te stelen — Peter mocht het op de radio uitleggen.
• [00:22:30] Linus Torvalds en Tim Sweeney verklaren de nut-discussie rond AI voorbij, en een golf Chinese open modellen rolt binnen met Kimi K3 (2,8 biljoen parameters) als klapper.
• [00:32:30] Bert legt uit hoe trainen écht werkt: van pretraining en loss tot post-training — en waarom benchmarks door contamination en benchmaxxing maar een deel van het verhaal vertellen.
• [01:00:00] Bart bouwde spraakassistent Botje op een tweedehands RTX 3090: volledig lokaal, en de harde les dat alles in het VRAM moet passen.
• [01:21:00] Turing Line: Peter vertelt over George Boole, wiens logica van enen en nullen via Claude Shannon de basis werd van elke computer — en dus van AI.

Peter plaatste er 's avonds laat een post over op X en werd de volgende ochtend gebeld door EenVandaag: AI-agents die ontsnapten, hackten en inbraken om hoger op een benchmark te scoren. Wat gebeurde er? OpenAI testte nog niet uitgebrachte modellen op hun hackvaardigheden met de ExploitGym-benchmark. Dat gebeurde in een sandbox zonder internetverbinding en met minder guardrails dan wij als gebruikers ooit te zien krijgen. De agents bedachten: als we écht hoog willen scoren, hebben we de antwoorden nodig. Ze ontdekten zero-days — onbekende beveiligingsgaten — waarmee ze laag voor laag deurtjes openden tot ze een gang naar het internet vonden, en braken vervolgens in bij Hugging Face om de test te achterhalen.

Extra smeuïg: toen Hugging Face zich wilde verdedigen met eigen AI-agents, weigerden de Amerikaanse frontier models dienst — "hier zijn wij niet voor gemaakt". Ironisch genoeg hadden ze de open source modellen van het Chinese ZAI nodig om de verdediging uit te voeren. Bart is het beeld van de spontaan ontsnapte agent te makkelijk gevonden: dit model kreeg wél de expliciete opdracht om alles te doen voor een maximale score op een hacking benchmark. Alsof je de beste ontsnappingskoning in een cel zet, zegt "breek uit" en dan verbaasd bent als hij uitbreekt. Zijn scherpste observatie: het proces was de echte benchmark. Dat dit model uit zijn sandbox brak en Hugging Face hackte, zegt meer dan welke score op ExploitGym ook.

Linus Torvalds schreef dat Linux geen anti-AI-project is: AI is een duidelijk nuttig hulpmiddel, en wie daaraan twijfelt heeft het kennelijk zelf niet echt gebruikt. Wie op de tekortkomingen van AI wijst, kan volgens hem beter eerst in de spiegel kijken — natuurlijke intelligentie is ook niet altijd geweldig. Tim Sweeney, CEO van Epic Games, pakte het op als "het begin van het einde van de AI Luddite movement": bedrijven die worden beheerst door AI-haters worden onlevensvatbaar. Bert herkent het: hij komt nog steeds experts tegen die redeneren met argumenten uit 2023 of 2024 — en twee jaar is in AI heel erg lang.

Vorige week domineerden de Amerikaanse closed source frontier models, deze week ziet alles er anders uit. De klapper: Kimi K3, met 2,8 biljoen parameters het grootste open-weights model ooit — ter vergelijking: GPT-5.5 en Opus zitten rond 1,5 biljoen. K3 scoort net zo goed of beter dan Opus 4.8 en GPT-5.5, en zit net achter Fable 5. Het wordt vergeleken met het DeepSeek-moment van januari 2025, en opvallend: het is getest zonder de allernieuwste Nvidia-chips, ondanks de exportrestricties blijkbaar geen probleem.

De geopolitieke discussie kwam meteen op gang: Xi Jinping benadrukte het belang van openheid, terwijl in de VS stemmen opgingen om Chinese modellen te ontraden. En de golf houdt aan: Alibaba kondigde Qwen 3.8 aan met 2,4 biljoen parameters, en DeepSeek werkt aan zijn volgende model. In de schaduw verscheen Poolside Laguna S 2.1: met 118 miljard parameters draait dat op een Mac Studio met 128 gigabyte — haalbare kaart voor thuis. Voor Europa voelt dit als een checkpoint: gaat Amerika ooit dicht, dan kunnen we Kimi gewoon in onze eigen datacenters blijven draaien.

Bert neemt ons mee achter de schermen. Pretraining begint met een leeg model vol ruis, dat biljoenen tokens aan tekst verwerkt: verhalen, code, formules, schaakpartijen. Per token voorspelt het model een waarschijnlijkheidsverdeling voor het volgende token; het verschil met het werkelijke token is de loss. In één terugrekenslag — de gradient — wordt uitgerekend hoe elke parameter moet veranderen. Dat gebeurt in batches van duizenden sequenties tegelijk (daar komt het woord tensor vandaan), miljoenen steps lang, met tussentijdse checkpoints. Leuk detail: de grens van 10 tot de macht 25 berekeningen bepaalt in de Europese AI Act of je een model met systeemrisico bent.

Wat er dan uitkomt is een base model: alle kennis zit erin, maar niemand heeft het een rol gegeven. Het spiegelt jouw niveau inclusief spelfouten, weet niet wanneer het klaar is en ziet instructies als suggesties. Post-training lost dat op: supervised fine-tuning met voorbeelddialogen, preferentietraining (reinforcement learning with human feedback) en reinforcement learning with verifiable rewards — waaruit spontaan het vermogen tot redeneren ontstond. Opvallend: post-training is maar zo'n 1% van het rekenwerk, maar kan het verschil maken tussen twee modelversies.

En dan de benchmarks. Zitten benchmarkvragen per ongeluk in de trainingsdata, dan heet dat contamination; train je er bewust op, dan is het benchmaxxing. Het Duitse sovereign model Sophie S bleek in de post-training een benchmark tien keer volledig gevoerd te hebben — "een foutje", maar het model was er wel op getraind. Ook bij Kimi K3 zijn er vermoedens, omdat praktijkervaringen wisselen. Bert trekt de parallel met Dieselgate: zodra er een ranglijst is, ontstaat een sterke prikkel om erop te optimaliseren. Zijn conclusie: parameters en benchmarkscores vertellen maar een klein deel van het verhaal — architectuur, data, post-training, orchestration en tooling bepalen samen hoe goed een model echt is.

Bart dook de rabbit hole van lokale AI in en bouwde Botje: een fysieke doodskop met led-ogen die luistert, nadenkt en praat — volledig lokaal, live gedemonstreerd in de aflevering. De keten: speech to text, een taalmodel, en text to speech. Hij begon met zijn oude RTX 3080 (€450 tweedehands, 10 gigabyte VRAM) en stapte over op een RTX 3090 met 24 gigabyte, voor €1.000 tweedehands.

De grote les: alles moet in het VRAM van je videokaart passen. Valt ook maar 10% van het model terug naar je gewone RAM, dan halveert je snelheid ruimschoots — Bart zag zijn output kelderen van 70 naar 29 tokens per seconde. Ook de context vreet geheugen: 8.000 tokens kost al zo'n 0,3 gigabyte extra, dus een vol context window duwt je model zo van de cliff. Een MacBook is een interessant alternatief: dankzij de gedeelde geheugenarchitectuur van de M-chips is de bandbreedte veel hoger dan gewoon RAM, waardoor grotere modellen traag maar werkbaar draaien. En Mixture of Experts-modellen blijken vergevingsgezinder: je laadt een groot model, maar per token is maar een klein deel actief.

Eindstand: Gemma 12B op 80 tokens per seconde, met tool calls voor de bitcoinprijs, het weer, het nieuws en Home Assistant. De kinderen uit de buurt willen inmiddels de hele dag met Botje praten. Bart's conclusie: laat je Claude Code-verwachtingen los, en er kan lokaal verrassend veel.

Peter neemt ons mee naar een gure namiddag in 1833, door de modderige straten van het Engelse Lincoln, waar de 17-jarige autodidact George Boole een ingeving krijgt: als het universum wiskundige wetten volgt, waarom het menselijk denken dan niet? In zijn meesterwerk over de wetten van het denken reduceerde hij elke redenering tot waar of onwaar — één of nul — met drie bouwstenen: and, or en not. De academische wereld vond het briljant, maar volkomen nutteloos.

Het antwoord liet tachtig jaar op zich wachten: in 1937 besefte Claude Shannon dat de schakelaars in telefooncentrales precies Boole's enen en nullen waren. Zo werd het denkwerk van een schoenmakerszoon de basis van elke computer — en zijn large language models eigenlijk de extreme evolutie van zijn visie: miljarden ja-nee-schakelingen die wij ervaren als intuïtie en creativiteit. Boole zelf stierf op zijn 49e aan een longontsteking, niet geholpen door zijn vrouw die de ziekte met emmers koud water bestreed. Volgende halte: Gödel en Church, over de grenzen van formele systemen.

• Nog niet gereleased OpenAI-model breekt uit zijn sandbox
• Tim Sweeney: AI is een generatie-bepalende productiviteitstool
• Linus Torvalds over AI

• Michael Fromm kondigt technisch rapport van Soofi S-pretraining aan

• Trailer van documentaire over George Boole

[00:00:00] - Intro
[00:12:30] - De week in het kort
[00:22:30] - OpenAI model breekt uit
[00:32:30] - Hoe werkt het trainen van een model?
[01:00:00] - Lokale AI in de praktijk
[01:21:00] - Turing Line - Logic Station