Wat is jouw werk nog waard als AI alles in één prompt kan maken?

Bart Mol: Ja, genoeg te vertellen dus deze week. Ik ben benieuwd of we het er allemaal in gaan krijgen. We gaan ons best doen, dames en heren. Welkom bij aflevering vijftien van Turing Station. Veel luisterplezier. Zo mannen, goedemorgen, daar zitten we weer. Het was een druk weekje in de AI-wereld. Alles is weer flink, flink opgeschud. Daar gaan we het allemaal natuurlijk nog wel eventjes over hebben, maar dus geen tijd te verliezen. Dus laten we meteen eens even beginnen met wat we allemaal binnenkregen van onze gewaardeerde lieve luisteraars. Peter, ik zie dat jij een en ander op een rijtje hebt gezet.

Peter Slagter: Jazeker, we gaan er eens even doorheen. Ik kreeg mail van Bas en Bas die reageerde vrij uitgebreid op het verhaal van Bert over de wiskundigen die met z'n allen, ja, toch in een soort van demonstratiemodus terechtkwamen omdat hun vakgebied om zeep geholpen zou worden. En hij zei van: ja, dat is, ik vond het een heel leuk item ten eerste en ten tweede, ik herken dat gevoel wel. Ik ben IT'er, dus ja, wij lopen een beetje vooruit op die troepen. Maar ik kwam er juist achter dat A mijn werk niet wegviel, dat ik B juist meer werk kreeg en C dat ik het ook leuker begon te vinden. Nou, hoe dan ook, het is in ieder geval niet verdwenen. Dat, of je het leuker gaat vinden is natuurlijk heel persoonlijk, hè, dat weet Bas ook wel. En hij deelde nog iets van wat ik heb gemaakt. Hij dacht van: ja, als ik dit nou ook even zeg, dan kom ik in de show. Zei hij er niet bij, hoor. Ik vroeg netjes aan Bas: mag ik het noemen? Vond hij leuk. Dus bij deze. Hij heeft een appje gemaakt, en de aanleiding was: veel te hoge rekeningen van de garage.

Peter Slagter: Nou, dat zullen heel veel mensen wel herkennen, denk ik.

Bart Mol: Dan bedoel je de externe garage?

Peter Slagter: De autogarage.

Bart Mol: Ja, waar je laat repareren, zeg maar.

Peter Slagter: Waar je hem laat repareren. Ja, hij heeft een-

Bart Mol: Misschien heeft hij een hele grote garage naast zijn huis die hij moet opstoken.

Peter Slagter: Ja, dat zou kunnen, maar die stuurt hem geen rekeningen, denk ik.

Bart Mol: Nou ja, stookkosten.

Peter Slagter: Ja, je weet het niet.

Bart Mol: Hij zei dat hij de hele dag die garage open en dicht moet doen met die dikke auto's, ik, van Bas. Nee, dat zou kunnen, hè?

Peter Slagter: Nee.

Bart Mol: Het is de reparatiegarage.

Peter Slagter: Het is een youngtimer en dat zag er op papier aantrekkelijk uit, maar in de praktijk levert het best wel wat kosten op. En hij dacht, ja, dan gaat hij naar de garage toe en dan doen ze daar een diagnose. En, ja, is dat de juiste diagnose?

Bart Mol: Ja.

Peter Slagter: En sowieso kost zo'n diagnose een boel, want dan kijkt daar een monteur naar die gewoon € 200 per uur vraagt, bijvoorbeeld. Hè, en hij dacht: weet je wat, ik maak een app die mijn auto uitleest, en die, uh, ja, hoe heet zo'n connector? Is het OSB of zo?

Bart Mol: ODB.

Peter Slagter: ODB. Ja, dus een ODB-connector zit eraan, verbonden met zijn telefoon. Alle events die gaan huppakee, linea recta naar Claude. Die kijkt mee wat er gebeurt en die maakt dan een diagnose op basis van gewoon door de tijd heen alle events die hij heeft ontvangen. En dat werkt. Zijn laatste probleem werd gediagnosticeerd door Claude. Bleek iets met een cilinder te zijn die niet helemaal synchroon liep, en Claude die gaf er ook nog een rijtje stappen voor om het op te lossen die hij gewoon zelf kon doen als amateurmonteur. Dus én geen diagnosekosten én geen reparatiekosten, behalve dan wat kleine onderdeeltjes die hij moest kopen. Handig! Dus dat was Bas. Vond ik een leuk verhaal. Op YouTube en Spotify zag ik best wel wat reacties op onze filmkatern. En eentje kwam vaker langs dan één keer. Ook nog een filmtip van onze luisteraars: WALL-E. Nou ja, ja, klopt. Het is gewoon wel een briljante film, vind ik zelf.

Bart Mol: Ja, voor de hele familie.

Peter Slagter: Voor de hele familie.

Bart Mol: Kan je je kinderen ook al een beetje laten wennen aan die AGI-toekomst die voor hun deur staat, even wel.

Peter Slagter: En wij beginnen met z'n drieën toch al redelijk te lijken op al die mannetjes die daar over die stoelen heen zweven door dat ruimteschip.

Bart Mol: Ik zo. Ik leunde even achter, nou, heel erg naar achter in mijn bureaustoel, dames en heren. Net zoals die mensen op die ruimteschepen daar inderdaad.

Peter Slagter: Ja, nee, voor de omvang moet je naar mij kijken. Voor de zitpositie naar Bart. Over Opus 5.5 kwamen ook best wel wat berichtjes langs van mensen die gewoon enthousiast waren. Richard die zei: het helemaal geweldig. Bobby die zei: ik was geen fan van Claude, maar Opus 5.5 heeft dat volledig veranderd. Snel, betrouwbaar, geen timeouts. Ik ben verrast. Nou, dat is mooi. Ja, misschien dat we het nog even over Opus gaan hebben in de aflevering.

Bart Mol: Ik ga, nou, heel kort even een vibecheck bij jou, Peter. Ik weet dat jij een Claude-gebruiker bent, Anthropic-gebruiker. Bert is onze OpenAI-gebruiker, die houdt dat honk goed bezet.

Peter Slagter: Zeker.

Bart Mol: We hebben allemaal een beetje onze voorkeuren, maar ik ben wel benieuwd: heb jij het een beetje gebruikt? En wat is de eerste vibecheck van jou?

Peter Slagter: Nou, ik ben ook wel positief. Dus ik merk het vooral in hoe het proces begeleidt met zijn antwoord. Dus wat minder wollig. En ik merk ook dat hij, ja, als hij echt het idee heeft van: volgens mij heb ik alles om mijn taak uit te voeren, dan verdwijnt hij ook gewoon en komt hij pas terug als het klaar is. Dat kan ook gewoon, dat varieert van 10 minuten tot een paar uur, zeg maar. Wat me ook opvalt is dat het resultaat dan vaker dan voorheen ook wel gewoon

Bart Mol: Ja.

Peter Slagter: in de richting van in orde is, in plaats van dat ik denk van: wat heb je in vredesnaam nou weer gedaan?

Bart Mol: En betaalbaarder. Nou, dat wilde ik inderdaad toevoegen, want ik sluit me helemaal aan bij wat Peet zegt, maar ik zit nu te kijken naar mijn weekly allowance en ik heb echt flink zitten vibecoden de afgelopen dagen en ik zit op 25%, terwijl als ik dit soort geintjes met Fable uithaalde, dan moest ik echt

Peter Slagter: Ja.

Bart Mol: drie dagen voor de reset toch al wel op gaan letten of ik er niet doorheen zat. En het is ook een paar keer gebeurd, dus ook dat is erg fijn inderdaad. Klopt.

Peter Slagter: Ja, ik ben toch een beetje sceptisch wat dat betreft, want ik heb al vaker gedacht, in de weken na de release van: nou, dat gaat wel lekker en dan een week later denk je van: huh, wat is ze nou aan het doen? Dus ineens lijkt het wel een ander karakter en gaan mijn credits er ook sneller doorheen. Maar misschien is dat in dit geval, misschien verbeeld ik me dat wel. Dat zou kunnen. Ik hoop het eigenlijk in dit geval.

Bart Mol: Zou, ja. Hou de mensen op de hoogte.

Peter Slagter: Schoolborodja die zei: toch mis ik Turing Station. Ja, ik neem aan dat hij de Turing Line bedoelt. Dat rubriekje wat een paar keer nu niet is geweest. Ja, dat, nou mooi, fijn. Uhm, dan is er iemand die dat waardeert in ieder geval. En misschien dat het deze aflevering wel terugkomt.

Bart Mol: Nee, nee, nee, deze aflevering komt ie. Daar, ja. Komt. Hij komt. Ja.

Peter Slagter: Ja.

Bart Mol: We gaan snel door, Peet. Ik beloof het u bij dezen. Ik beloof het, ik beloof het.

Peter Slagter: Ik zie hier een draaiboek waar je u tegen zegt, dus.

Bart Mol: Nee, komt goed.

Peter Slagter: En als ik jullie een beetje ken, dan, nou ja, ik laat me graag verrassen. Teun die zegt: een verzoekje. Een item over hoe ons leven, de economie en samenleving eruit zou komen te zien als die existentiële risico's, die digitale atoombom, die uitroeiing van de mensheid, vermeden worden. Met andere woorden: we leven nog. Wat kan een individu of een werkgever doen om zich daarop voor te bereiden? Ja, ik heb deze puur alleen even genoemd, Teun, want ik vond het een leuke vraag. Het is, ja, het is wel eentje waar we wat langer over moeten nadenken dan één minuut. En bovendien, de show van vandaag zit vol. Ik kan je alvast op het bordje geven. Deze gaat langer duren dan vijf minuten, het antwoord erop. Maar leuk, dat je eventjes een idee, een thema, een vraag inbrengt. En dat kunnen jullie ook allemaal doen jongens. Gewoon op YouTube of Spotify, waar je wil. Je kan e-mailen. Laat het vooral horen. Ja, maar hebben we terug naar het volgende item, Bart. Zijn we daar klaar voor?

Bart Mol: We gaan er in het kort. Ja, en die houden we ook echt in het kort deze week. Maar ik kwam wel wat leuks tegen. Volgens mij hadden we het er vorige week ook even over gehad. Ook toen in het kort overigens, dat. Nee, toen ging het over de leider van China, Xi, die bij de leider van Amerika, Donald Trump, op bezoek kwam. Er werd natuurlijk over AI gesproken. Ja, en een beetje in het kielzog daarvan was er ook weer een of andere AI-bijeenkomst. Althans, ik zeg een of andere. Alle grote sterren waren aanwezig. Van Dario Amodei tot aan Donald Trump zelf. Elon Musk zat weer naast Donald Trump, dus die is blijkbaar ook weer in genade aangenomen daar in het Witte Huis. OpenAI was aanwezig. Zuckerberg was aanwezig, Jensen Huang was aanwezig. De vice-president was aanwezig, dus, nou iedereen was er en ik heb een linkje toegevoegd die ik iedereen aanraad om gewoon even te kijken.

Bart Mol: Dat is een soort, ja, geïmproviseerde persconferentie bij het Witte Huis waar Donald Trump staat. En daaromheen die club met mensen die eigenlijk misschien wel, in ieder geval bij elkaar, meer macht hebben of belangrijker zijn dan Donald Trump. Maar, ja, dat in de publieke opinie ook niet echt kunnen laten zien. En dan krijg je een hele rare situatie, waar bijvoorbeeld Amodei opeens zichtbaar ongemakkelijk naar voren wordt geroepen om een vraag te beantwoorden. Daarna verdwijnt hij ook weer naar achter en dan wordt hij toch weer naar voren gehaald door Donald Trump. Je hebt de CEO van Google, die wordt een monster genoemd en Trump ziet het op een positieve manier. Maar je ziet, de ongemakkelijkheid is soms ook een beetje van afspelen en ik vond dat-

Peter Slagter: Dit is voer voor South Park.

Bart Mol: Ja, en ook voer om gewoon eens naar te kijken van: ja, hoe reageren deze mensen hier nou op? En ik heb het idee van: ja, wat jij ook zei Peet, ze moet hier gewoon eventjes in mee. En dan, ja, uh, zij zitten over twee jaar nog steeds op de plek waar ze zitten en dan gaan ze weer door. Uhm, en wat ik interessant vond, paar grappige fragmenten. Ik zou zeggen, hè, bekijk zelf het volledige fragment even terug als je alle context wil. Wat ik zelf tegenkwam is, uh, hoe er nu omgegaan wordt met, uh, de move van Artificial Intelligence naar Super Intelligence. We hebben hier bijvoorbeeld een clipje van Elon Musk.

Gast: Well, I think it is worth highlighting the positive benefits of AI, which will be SI, pardon me.

Gast: Thank you.

Gast: Super intelligence.

Bart Mol: Ik heb hier, uh, ook nog, uh, Jensen Huang. Die heeft daar ook zichtbaar nog wat meer, uh, moeite mee.

Gast: As you know, we want to advance AI, advance SI. I'm gonna get good at this. We're gonna advance SI in a responsible, uh, and optimistic way.

Bart Mol: En ik vind het wel grappig, want op zich, uh, Musk weten we van dat hij op zich het ook wel mooi vond om mee te, uh, op de campagne van Trump te lopen en ook een beetje in de aandacht te staan. En ik heb toch als amateurpsycholoog nog het gevoel dat Jensen Huang zoiets heeft: laat mij nou lekker gewoon bouwen aan mijn bedrijf in plaats van bezig te houden met dit soort, uh, nietszeggende onzin. Maar goed, uh, ga dat hele fragment terugkijken, want het is wel interessant wat er gezegd wordt. En ook om die hele club AI-leiders bij elkaar te hebben die ook intern onder elkaar wat vetes hebben. Het is echt wel interessant, uh, om te zien. Peet

Peter Slagter: Ehm, ja, ik kwam een, uh, een ja, een oproep tegen. Een noodoproep. Uh, ik zat niet bij 112 of iets dergelijks, maar ik zat gewoon, uh, op, op de website van de Rijksoverheid. Ehm, AI versnelt de dreiging. Nu handelen is noodzakelijk. Nou, dat zeg ik dus niet. Dat zegt een groep veiligheidsdiensten politie, OM, MIVD, AIVD, NCTV, uh, enzovoorts. En wat zij, uh, ja, eigenlijk een soort van beschrijven is, dat zij zien dat er een soort oorlogsfront aan het opschuiven is richting ons, richting een verdediging die daar helemaal niet op voorbereid is. Nou, en dat front, dat bestaat uit vijandige AI-agents, en die hebben het op Nederlandse producten, diensten, infrastructuur voorzien. Uh, daarbij zeggen ze dat die aanvallers, die hoeven niet gebruik te maken van de meest geavanceerde frontier models. Ook met het gebruik van bestaande en makkelijk toegankelijke AI-modellen kunnen complexe aanvallen uitgevoerd worden. Met andere woorden: even opletten.

Peter Slagter: Die aanvallers, die worden sneller, die worden efficiënter en die aanvallen zelf worden grootschaliger. Nou, en dus de noodklok. Uh, en ze zeggen: er is nieuw leiderschap nodig. Ja, dat voelt voor mij altijd een beetje als zo'n rare overgang. Weet je wel. Jongens, jongens, de vijand komt eraan. We hebben leiderschap nodig. Uh, maar goed.

Bart Mol: Nieuw ook leiderschap, hè?

Peter Slagter: Ja, ja, ja.

Bart Mol: Nog moeilijker te vinden.

Peter Slagter: Eerst bewustwording. Nou, ik dacht: ik gooi het in deze show. Bij deze. Bewustwording. Nou, en dan, uhm, noemen ze, uh, ja, in hun bijgevoegde brief, uh, drie maatregelen. Ze zeggen eigenlijk: heel eerst moet de basis op orde. Daarmee bedoelen ze: het aanvalsoppervlak moet verkleind worden. Oudere systemen moeten vervangen worden. Nou ja, dan kun je ook aan zoiets basaals denken als: voer je Windows-updates door. Weet je wel. Dat verkleint natuurlijk ook het aanvalsoppervlak. Uh, het tweede is de vraag: is mijn beveiliging nog op een passend niveau? En dan verwijzen ze naar de assume breach-methode. Uh, en die ken ik nog toevallig. Uhm, ja, dat heeft dan toch iets met mijn IT-tijd te maken, denk ik. Dat gaat, het idee is: ga ervan uit als organisatie dat je een keer succesvol aangevallen wordt. Hè, dus blijf niet hangen bij de vraag of dat gaat gebeuren.

Bart Mol: Ja.

Peter Slagter: Neem aan van wel. Uh, en dat is natuurlijk met de opkomst van AI en al die digitale aanvallertjes die gewoon autonoom dingen aan het doen zijn en opzoeken zijn en binnenbreken, uhm, extra relevant geworden. Wat doe je dan? Ben je daar op voorbereid? En oefen dat en test dat. Nou, en de derde is: neem signalen serieus. Nou, luister naar Turing Station, dan krijg je wel die signalen. Bijvoorbeeld.

Bart Mol: Luister naar ober Peet inderdaad. Maar inderdaad, uh, hè, die voorbereiding, dat zou fijn zijn, want dan ga je er dus ook op, over nadenken: oké, ik ga dus een keer gehacked worden. Misschien moet ik niet ellenlang al die paspoorten van iedereen, uh, blijven bewaren, om maar eens wat te beginnen. Weet je, dat een Odido, een telecomprovider zoveel privédata heeft, zo lang bewaart, niet weggooit. Dat komt ook voort uit een soort van idee van: ja, we worden ook toch nooit gehacked, dus ja, het is ook niet zo erg om het te bewaren. Terwijl wat jij zegt, ja, je wordt dus wel een keer gehacked en dan moet je eigenlijk ervoor zorgen dat je zo min mogelijk data hebt althans. Maar goed, dat is een beetje een persoonlijke, uhm, ja, hoe noem je dat, uh, vete of zo. Die, dat is geen vete. Hoe noem je dit? Gewoon een irritatie die ik heb met het opslaan, dat hebben we alle drie trouwens, met de overheid. Verschrikkelijk, verschrikkelijk veel data van iedereen. Goed. Uhm, deze gehad, Peet?

Peter Slagter: Zeker. Ja, ja, zeker.

Bart Mol: Dan ga ik nog heel kort eventjes het hebben over OpenAI, want, uh, er is één ding wat mij opviel. Dat vind ik gewoon interessant, dat de meta, de meta is, komt volgens mij een beetje uit de gaming-, uh, wereld. Althans daar ken ik het van. Je hebt in allemaal spellen en games heb je altijd het beste poppetje of, uhm, uh, de beste racewagen of het beste wapen. En zeker tegenwoordig in multiplayer games dan verschuift die meta heel snel, omdat het anders saai wordt. Dus de ene week is het ene wapen het beste en dan verandert de ontwikkelaar wat en dan is het andere wapen het beste en dan verandert hij weer wat. En zo gaat dat door. En die meta, die heb je ook een beetje in de AI-wereld. Welk model is het beste, hè? Moet je bij OpenAI zitten of bij Claude? Of moet je toch naar Kimi? Of moet je opeens naar DeepSeek? Of moet je open code hebben? Of toch Grok van Elon Musk? Nou, dat kennen we wel. Dat is leuk om een beetje aan mee te doen, maar het is ook heel veel ruis. Alleen ik vind het wel grappig hoe snel dat kan, uh, verschuiven. Twee weken terug was OpenAI, ja, iedereen stapte weer over van, uh, Anthropic naar OpenAI. Thibault, de man van OpenAI die dat allemaal vertelde op Twitter of op X, ja, was een held met z'n resets die hij uitdeelde.

Bart Mol: Tienduizenden likes kreeg hij. En hij vertelde: nou, als jullie dachten dat dit het was, wacht maar tot over twee weken, uh, want dan hebben we de dev day en dan staat er echt wat te gebeuren. Ja, flash forward. Die dev day was gister en OpenAI is opeens weer helemaal eventjes, uh, van de sokkel gevallen. We hebben Anthropic die Claude heeft uitgebracht. In ieder geval Opus en nu ook Sonnet 5.5. Alle twee weer fantastische modellen, goedkoop en allemaal weer beter dan de modellen van OpenAI. Aldus iedereen op X. Uhm, en de dev day viel een beetje tegen. Daar is niet zo heel veel besproken wat echt, uh, de moeite waard is. En ondertussen blijft die Hugging Face hack en alles wat daar omheen zit blijft maar etteren. Dus ze hebben al gezegd: pacing the frontier. Uh, ze hebben ook nu gezegd: we zijn ook gestopt met het trainen van de nieuwste modellen totdat we dat op orde hebben. En nu kwam deze week opeens naar buiten dat ten tijde van de Hugging Face hack OpenAI-modellen ook een beetje hebben zitten porren in overheidssystemen in Australië of all places.

Bart Mol: Uhm. Ja, dat is natuurlijk niet lekker. Dus daar heb ik een, uh, blogje van OpenAI, uh, bijgevoegd. In de shownotes kan je doorlezen wat daar exact gebeurd is. Het is minder intrusief als wat er bij Hugging Face is gebeurd, maar er waren zeker dingen waarvan je zou zeggen: ja, dat wil je eigenlijk niet dat een model, uh, dat doet. Daarbovenop, ja, kwam dus die Thibaut, die medewerker van OpenAI. Die kwam op Twitter en in plaats van met de resets waar iedereen stond te juichen, vertelde hij nu eigenlijk, zo las ik hem, dat het einde van de subsidies toch langzaam wel in beeld begint te komen. Uh, namelijk het 20x model van, uh, OpenAI wordt eigenlijk, om het zo maar te zeggen een 10x model. Je krijgt de helft van wat je hiervoor kreeg aan, uh, tokens, uh, token allowance. Uh, en daarbovenop komt een model van $500 die weer meer tokens heeft. Dus ja, we hebben het ook al een beetje gezien met de uitgelekte, uh, beurs, uh, prospectus van, uh, Anthropic. Er moet zachtjes aan toch wel geld, uh, verdiend, uh, gaan worden.

Bart Mol: En, uhm, ja, dat gaat dus blijkbaar ook gebeuren op de subsidies, uh, die, uh, ja, normale mensen zoals wij kregen op onze abonnementjes. Uhm, dus dat viel me op op de Dev Day van, uh, OpenAI. Maar het kan snel gaan in dit wereldje, dus het zou zomaar kunnen dat we over twee weken gewoon weer zeggen dat OpenAI met iets naar buiten is gekomen dames en heren. Switch maar weer allemaal weer terug, uh, dat zou me niks verbazen. En sluit ook Google niet uit, hè. Die schijnen ook, een aantal potjes op het vuur te hebben waar, uh, de insiders wel, uh, warm van worden. En ondertussen, ja, maakt het ook allemaal niet meer zoveel uit. Die modellen zijn zo goed dat of je nou met Codex werkt of met Claude Code, dat je eigenlijk negen van de tien of misschien voor de meeste mensen eigenlijk wel tien van de tien opdrachten gewoon, uh, tot een goed einde kan brengen, ongeacht wat je gebruikt. Alright jongens, uh, dat was in het kort. Uh, gaan wij eens eventjes door naar iets anders, uh, wat ik deze week tegenkwam.

Bart Mol: En ook dat heeft wel te maken met het nieuwe model van Anthropic. Ja, dat had dus te maken met Opus 5.5. Want, uh, wat we inmiddels wel, uh, gewend zijn denk ik, is, uh, dat, ja, op het moment dat er een nieuw model uitkomt, dan, uh, springt iedereen op Twitter. Op X springt er bovenop om dat model uit te gaan proberen en vaak komt er dan vrij snel iets bovendrijven wat, ja, waar dat model toch veel beter in is dan, uh, de vorige modellen. Uh, we hebben dat gezien met coding, hè, dat modellen opeens konden programmeren waar vorige modellen dat niet goed konden. Dat ze opeens, of dat de context window zoveel groter was dat ze opeens konden programmeren. Maar we hebben het vooral gezien met teksten en afbeeldingen uit ChatGPT. Hè, dat we opeens, ja, toch echt wel mooie afbeeldingen gewoon uit ChatGPT konden krijgen, in plaats van dat uit een speciaal model zoals Midjourney te hoeven halen. Uhm, iets anders wat mij te binnen schiet: landing pages die Claude opeens kon maken.

Bart Mol: Dus dat je opeens echt wel mooie websites, uh, kon maken. Ja, en nu wat ik met, uh, Opus 5.5 zag, is dat ie opeens heel goed was in, uh, motion editing. Dat is een speciaal subgenre van editen. En dat is eigenlijk bijvoorbeeld dat je, uhm, ja, eigenlijk wat Apple heel goed kan. Als je een Apple Keynote bekijkt, de reclame van Apple. Dat je denkt van: wow, de woorden schieten in beeld en, uh, de woorden vervormen in een iPhone en schieten dan weer terug in iets anders. En, uh, er komen opeens knoppen in beeld gevlogen die daarna in de app vliegen en het ziet er allemaal superstrak en mooi en bewegend uit. Dat is motion editing en ik kan aardig editen en dit is echt way above my paygrade. Zeg maar motion editing, dat was iets van: ja, daar moest je echt speciale tools voor kennen en dan duurde het uren en uren om een clipje van 10 seconden in elkaar te zetten. Dat is hoe motion editing werkt en daarom was het zo impressive, uh, altijd. Er was een soort van reputatie dingetje.

Bart Mol: Een beetje een air dingetje zat daarin. En, ja, dat kan Opus nu dus, Opus 5.5 met één prompt. Mensen zetten een prompt neer. Maak een motion editing reel en go all out en hij ging all out. Het vloog alle kanten op en het zag er superimpressive uit. Maar toch, ja, zat me iets dwars, omdat ik na het bekijken van die reel kwam ik er nog een tegen. En nog een en nog een en nog een. Allemaal binnen de eerste 12 uur nadat het model was uitgebracht en ze zagen er eigenlijk allemaal ongeveer hetzelfde uit. En daar heb ik een tweet over geplaatst. Uhm, en daar zeg ik het volgende in. Dan moet ik heel even kijken, want ik heb de verkeerde tweet gelinkt, maar ik heb hem hier: "The paradox is that once a model is able to oneshot something, it becomes worthless. Doesn't matter how cool it is, since everybody will produce exactly the same and nobody wants to consume it." En toen kreeg ik daar een reactie op van iemand en die zei: je moet dit artikel eens lezen en die kwam met het artikel The Phatic and the Anti-Inductive en dat is een artikel van Scott Alexander en hij heeft het over anti-inductieve systemen.

Bart Mol: En eigenlijk de vraag die je daarbij stelt is: verandert het systeem doordat jij het patroon waarop dat systeem gebouwd is, ontdekt? Nou, als het antwoord nee is, dan is het een inductief systeem. Dan blijft het patroon bestaan. Is het antwoord ja, dan is het anti-inductief en dan verdwijnt het patroon. Je zou zeggen dat dit tegenovergestelde systemen zijn van elkaar. Dat is niet helemaal waar, want je hebt ook nog zelfversterkende, hè, dus op het moment dat het patroon ontdekt wordt, dan versterkt het juist. Hoe meer mensen meedoen, hoe sterker het patroon wordt. Als je kijkt naar inductieve systemen, dan zijn dat vooral dingen die buiten de mens liggen. Dus natuurkunde, wiskunde, scheikunde. Ja, de zon komt elke ochtend op op precies dezelfde plek. Dat weten we en daar kunnen we eigenlijk niks aan veranderen.

Bert Slagter: Ook als we ernaar kijken, dan blijft hij toch opkomen.

Bart Mol: Ja, precies. En ook al weten we het allemaal, dan nog steeds blijft hij opkomen. En water kookt bij 100 graden Celsius. Dat is gewoon hoe het werkt. Programmeren zou je misschien in diezelfde hoek kunnen gooien. En LLM's zelf, dat zijn ook inductiemachines. Dus hoe meer data, hoe beter de patronen. Je zou misschien kunnen zeggen dat ze zelfs wel zelfversterkend zijn op een bepaalde manier. Uhm, dan heb je dus anti-inductieve systemen. Ja, dat is alles wat menselijk is eigenlijk. Ik heb er een paar op een rijtje gezet waar ik als eerste op kan komen. Een afsnijroute in de spits, hè, ja, dat werkt totdat een navigatie-app hem aan iedereen voorspelt. Of dat je hem überhaupt doorvertelt aan elkaar. Dat iedereen weet dat je via de parallelweg sneller langs de file kan rijden. Mensen zien dat, iedereen gaat het doen en dan is er ook file op de parallelweg. Goedkope, goede broodjeszaken in het centrum van de stad. Iedereen vertelt het door. Voordat je het weet staat er een rij en gaat de prijs omhoog. Maar ook bijvoorbeeld Metallica. 10 jaar lang een underground band, maken één album dat iets meer pop is, worden een wereldsucces en zijn daardoor niet meer cool.

Bart Mol: Uhm, virale posts op social media, maar bijvoorbeeld ook trading strategieën. Je zou bijvoorbeeld kunnen zeggen insider trading. Op het moment dat die informatie publiek is, ja, gaat iedereen die informatie gebruiken en valt het patroon weg. Dat zijn allemaal anti-inductieve systemen. Het patroon verdwijnt doordat mensen het patroon ontdekken, hè. Cool wordt saai, hip wordt saai, uniek wordt gemeenschappelijk, winstgevend wordt verlieslatend. Dat is hoe anti-inductieve systemen werken. En dit patroon bestaat natuurlijk al zolang de mensheid bestaat, maar we zien het wel versnellen, hè. In principe, ik had het net over Metallica. Metallica werd opgericht in 1981 en ze gingen mainstream in 1991 en het duurde pas tot 2000 totdat iedereen echt zei, de early fans van Metallica, de vroege fans, dat die zeiden van: nah, het is nu echt de mainstream geworden. En dat had je natuurlijk ook met anderen. Met Kurt Cobain en, uhm, had je dat bijvoorbeeld ook.

Bart Mol: Op een gegeven moment, ja, is het niet cool meer. Zo werkt dat nou eenmaal. Dan staat hij niet meer in Paradiso. Nee, dan staat hij in de Arena. Ja, en dan is het niet tof. Jij wil Paradiso, maar dat kan niet meer, want iedereen vindt Kurt Cobain cool. En doordat iedereen het cool vindt, ja, is het niet meer early meer. En als jij daar van houdt, ja, dan valt dat patroon weg. Maar dat duurde wel 10 jaar in die periode. Je moest eerst op MTV komen en daar moest je echt wel een tijdje voor grinden voordat je op MTV terechtkwam, als je er überhaupt al kwam. Social media heeft dat effect heel erg versneld, hè. Opeens hebben we het over weken. We kennen de TikTok-rijen wel in Amsterdam. Als er nu een broodjeszaak is die echt goed is, ja, dan staan daar social media-posters of in ieder geval influencers voor de deur. En dan twee dagen later staat er een rij. Daar is geen MTV meer voor nodig, daar is geen tv meer voor nodig.

Bert Slagter: Ja, en op vakantie, hè. Hotspots op vakantie ga je naar de-

Bart Mol: Precies.

Bert Slagter: Naar, hoe heet dat, Zuid-Tirol, in, uh, Noord-Italië. Allemaal van die plekken denk je: hier wil ik heen. Dan staan er gewoon 10.000 mensen-

Bart Mol: Staat een rij.

Bert Slagter: In teenslippers op dezelfde foto te maken.

Bart Mol: Ja, precies.

Bert Slagter: En is er geen hol meer aan dus, hè, dat is het punt.

Bart Mol: Precies dat er vaak dan twee straten verder, twee steegjes verder precies hetzelfde uitzicht is en daar staat niemand meer. Dat is het grappige eraan. En met AI is ditzelfde patroon nu eigenlijk veranderd naar dagen. Het gaat nog sneller. Ik denk als je een beetje op Instagram hebt gekeken, ken je het filmpje van de twee rappers wel die langskwamen. Een filmpje van een paar jaar geleden volgens mij van, hoe heten die rappers, Takeoff en, ja, nog een ander. In ieder geval gaat om het liedje Hotel Lobby, die ze live performden. En dat was vroeger al viral omdat ze een leuk dansje doen en nu kan je jezelf erop plakken. Ze hebben twee katten gezien, twee honden, Poetin en Trump, Sam Altman en Dario Amodei, noem ze allemaal maar op. Dus, en we zagen het nog bij een andere clip nog veel sneller gaan. Een clip waar al die schooljongens naast elkaar staan en opeens beginnen te dansen en degene in het midden, de artiest blijft stilstaan. Ja, dat kan je nu met AI maken en iedereen maakt dat. Het gaat van cool naar stom en saai en iedereen doet dit in een week.

Bart Mol: Het is geen maanden meer, het is geen jaren meer, het is dagen. En ik moest denken aan een clipje uit een film. Volgens mij is dat uit Impossible. Nou, in ieder geval een film over superhelden en daar zegt een van de characters op een gegeven moment dit:

Gast: "And with everyone super no one will be."

Bart Mol: Dus, ja, op een gegeven moment, als iedereen een superheld is, ja, dan is niemand meer een superheld. Dan is het normaal om een superheld te zijn. Dus de ondergrens wordt verhoogd. En toen dacht ik: ja, oké, leuk verhaal Bart, wat je nu allemaal vertelt, maar wat betekent het nou voor mij? Hè, dat al die AI-modellen opeens motion graphics kunnen en plaatjes kunnen maken. Ik zat eraan te denken en ik liep van het weekend, was een grote braderie hier waar ik woon, een heel weekend lang en heel veel foodtrucks. En ik liep langs die foodtrucks en die hadden allemaal, nou, allemaal is overdreven. Ik heb het wel geteld. Merendeel, ik denk zeker wel acht van de 15, misschien wel negen, hadden ze hele duidelijke ChatGPT-achtige posters gemaakt. En toen dacht ik: ja, je denkt nu dat je iets heel moois hebt en het is ook mooier dan de in Word gemaakte poster die je had. Alleen omdat je buurman het ook heeft, denk ik niet dat je er veel mee opschiet. Sterker nog, ik werd aangetrokken door de lelijke posters die sommigen nog hadden, waar gewoon wel een echte foto op stond van hun broodje kip kerrie, dat ik dacht: ja, dit wil ik zien.

Bart Mol: Niet wat ChatGPT denkt dat een broodje kip kerrie is, want dat is niet wat ik ga krijgen. Dat krijg ik niet. Ik krijg jouw broodje kip kerrie. Uhm, dus dat vond ik interessant en ik denk dat we hier ook wel met elkaar over gehad hebben en ik denk dat we hier twee dingen uit elkaar moeten halen. Ten eerste de huidige situatie, hoe ik hem zelf ervaar in ieder geval. En ik heb niet de antwoorden, hè, maar ik ga beschrijven hoe ik hem zelf ervaar en dat is: AI komt tot 70%, 80%. Voor mijn part maak je er 90% van of 60, maar AI komt een heel eind, heel snel, maar net niet waar ik het wil hebben. Hè, met elk model gaat de ondergrens omhoog. We kennen wel de influencers op LinkedIn of op X die zeggen: OpenAI just killed motion designers, OpenAI just killed filmmakers, OpenAI just killed copywriting. En ik denk: nee, OpenAI heeft niet motion designers vermoord of overbodig gemaakt. Nee, ik denk dat ze motion designers overbodig hebben gemaakt die AI niet gebruiken, hè.

Bart Mol: Dus ik denk dat dat nog wel een belangrijke is. Dus het is niet AI die je baan af komt pakken, maar je collega die AI wel gebruikt, die je baan af komt pakken. Dus als jij developer bent en het niet gebruikt, dan word je op dit moment er gewoon uitgewerkt door de developer die dat wel doet. Die is gewoon veel efficiënter, veel effectiever, is veel productiever eigenlijk. Maar, en dat is ook de reactie die ik kreeg op mijn tweet. Die zei: ja, maar niet alles is een one shot. Je kan nog dingen toevoegen aan dat prompt. Je kan nog humor toevoegen, je kan smaak toevoegen, ervaring, kennis. Het doet er nog toe. En dat is ook wat ik zelf ervaar, hè. Ik zal jullie wat opbiechten. Ik had een tijdje terug een hele leuke meme gemaakt, al zeg ik het zelf, uhm, over Risitas. Ja, El Risitas en de eerste versie daarvan, die is volledig door Claude gemaakt. Ik heb gewoon gezegd: joh, Claude, ik heb een leuk idee, dit is wat ik wil. En ik heb daar wel bronnen aan toegevoegd en informatie aan toegevoegd, maar de eerste versie was helemaal van hem.

Bart Mol: Hij heeft de timing gedaan, hij had de eerste grappen bedacht en die was best wel grappig. Maar toch denk ik dat ie niet zo viraal was gegaan als degene die ik uiteindelijk zelf gemaakt heb, omdat sommige grappen klopten niet, ze waren niet goed, er moest nog aan geschaafd worden, dus ik heb nog zes uur besteed. Ja, ik heb tot 2.00u 's nachts of zo aan die domme meme zitten werken totdat ik hem echt grappig vond. Totdat bij mezelf de tranen over m'n wangen biggelden om hoe dom die meme was, hoe dom die Risitas was. En dat merk ik met vrijwel alles. Ik ben een app aan het maken waar ik zelf geen regel code voor heb geschreven, maar ik heb er nu wel echt al tientallen uren in zitten om hem te testen. Om te kijken of de dark modus goed werkt, of die goed reageert of dat het logootje wat ik aan het maken ben de juiste emotie oproept bij mij als mens, als gebruiker, hè. En zo zijn er heel veel van dat soort dingen die denk ik nog heel belangrijk zijn. En als laatste: het doet er nog toe of je de eerste bent. Dus als jij iets leuks verzint, iets daadwerkelijk innovatiefs en dan maakt het niet zoveel uit of AI je daarbij helpt.

Bart Mol: Daar zit nog wat in. Het first mover advantage doet ertoe. In een wereld van gratis kopieën is de eerste zijn nog waardevoller dan dat het al was. Maar, en dat maakt het zo uitputtend, dat maakt me zo moe en dat maakt het ook zo stressvol. Is dat venster krimpt. Je moet niet één keer de eerste zijn. Je moet soort van voortdurend de eerste zijn, want iedereen heeft je binnen een week gekopieerd. Plus, omdat die modellen steeds beter worden, is het een soort loopband. Die 30% is er wel, waar jij kennis, kunde, humor toe kan voegen, smaak toe kan voegen. Maar de lat wordt wel elke keer iets hoger gelegd, hè. De 70% van drie jaar geleden is niet de 70% van nu en dat brengt ons ook bij de mogelijke toekomstige situatie. Ja, en dan wordt het echt spannend. Wat nou als AI, of sorry, SI wel tot 100% komt? Wat nou als ie er wel komt? Wat nou als we een AI hebben die daadwerkelijk grappig is?

Bart Mol: Of die 10 websites kan maken die echt van elkaar verschillen. Niet alleen qua kleur, maar dat er gewoon helemaal geen gradients meer in zitten. Of knoppen die je herkent als AI. Wat als het muziek maakt die wel op de maat is? Of een app bouwt die wel schaalbaar is naar 100.000 gebruikers? Hè, wat als dat wel gebeurt? Ja, dan is de output volledig anti-inductief geworden, hè. Als iedereen het perfect kan maken, ja, dan is iedereen een superheld. Ja, wat blijft er dan over? Nou, de dingen die er aan de andere kant zitten van anti-inductieve systemen. Dus niet zozeer inductief, nee, maar zelfversterkende systemen. Systemen die er beter van worden als er meer mensen van op de hoogte zijn. Ja, dan kom je toch een beetje bij de dingen die ons mens maken. Reputatie, vertrouwen, menselijk contact, tradities, gebruiken. Ik zei het tegen Bert: we stonden in de Arena vorige week en toen werd de vrouw van Ronald Koeman herdacht, omdat die op relatief jonge leeftijd is overleden aan kanker.

Bart Mol: En iedereen is stil in dat stadion. Dan zijn er 50.000 man stil tegelijk en dat doet iets met je. Iets wat in jou zit als mens. En je kan het niet uitleggen, maar het doet wel iets met je. En ik denk ook nog steeds dat humor iets met je doet. Mensen in het echt ontmoeten, iemand volgen, naar iemand opkijken, iemand respecteren. Dat dat dan toch de dingen zijn waar we ons dan maar aan vast moeten klampen als een AI ooit tot die 100% komt. En je zou je ook kunnen zeggen: een AI komt nooit tot 100%, want als iedereen dezelfde humor gebruikt, dan is dat per definitie niet meer grappig en gaan we wat anders doen. Maar misschien kan een AI dat ook wel herkennen en wat anders gaan doen. Ja, nu zitten we echt in het territorium van moeilijk te voorspellen, maar ik denk dat deze handvaten nu ook al belangrijk zijn. Dus ga dingen bouwen waar menselijk contact, reputatie en vertrouwen belangrijk is. Deel dingen met anderen.

Bart Mol: Hou in een wereld waar alles toch te kopiëren is, dan niet vast aan oude dingen zoals misschien wel patenten of gatekeeping, hè, dingen bij jezelf houden. Mensen komen er toch wel achter, dus misschien moet je dan wel precies andersom denken en dingen juist gaan delen. Dingen juist weggeven en dan hopen dat er daardoor nieuwe patronen ontstaan die uiteindelijk ook terugvloeien naar jezelf. Hè, nou ja, goed, dat zijn dingen om over na te denken. Ik ben ook wel benieuwd hoe jullie, Bert en Peter natuurlijk daarover nadenken, maar ook hoe jullie, lieve luisteraars, daarover nadenken. Dus, ja, hoe denken jullie dat je je als mens een beetje kan wapenen in een situatie waar AI heel veel dingen tot 100% kan maken? Of denk je dat ze daar niet gaan komen? Want dat is misschien waar ik zelf nog een beetje in zit. Ik ben benieuwd of een AI echt tot die 100% gaat komen. Bert.

Bert Slagter: Ja, ik denk dat het in ieder geval nuttig is om rekening te houden met het scenario dat AI heel dicht bij die 100% komt. Dat zeg ik ook omdat ik in het verleden al allerlei dingen heb gezien waarvan ik dacht van: nou, dit is echt matig, 70%. En dan is het een half jaar later of twee jaar later toch heel dicht naar die 100% gegaan. Bijvoorbeeld het vertalen van een zin of iets samenvatten, weet je, dat soort dingen. Dus ik kan mij verbeelden dat we op allerlei zaken richting die 100% gaan. Dus dat als eerst. Twee: ik vind het een ontzettend leuk spectrum wat je daar schetst van anti-inductief, inductief en zelfversterkend. Het doet me een beetje denken aan Nassim Taleb, alleen dan een soort omgedraaid, hè. Dus anti-inductief is fragiel. Inductief is een soort robuust, hè, dat blijft gewoon. Wat je ook doet, het blijft. En zelfversterkend is een soort anti-fragiel. Dat wordt beter door prikkels. Vond ik een hele leuke om dat zo te horen. En een derde gedachte die ik wil delen is dat de vorm van een uiting, van een toespraak, van een video, van een tekst, van beeld, maakt eigenlijk niet uit. Die vorm had in het verleden hele sterke signaalwaarde.

Bart Mol: Ja.

Bert Slagter: Kijk, het gaat in cultuur, cultuur is een coördinatievraagstuk. Wat vinden wij met elkaar de moeite waard? Wat wordt voor ons een gedeelde herinnering, een gedeelde beleving, iets waaraan we ons ankeren? Dat is ook waar cultuur over gaat. Dat is een coördinatievraagstuk. En de vorm van dingen, die speelde daar een rol bij, hè. Dus als je een boek uitbracht en dat kwam in de winkel te liggen, dan was dat een heel sterk filter, want er komen ook miljoen gedachten niet in boekvorm in de winkel te liggen. Domweg omdat het te duur is of omdat iemand het niet goed op papier kan schrijven. Die heeft de woordenschat niet, enzovoort. Maar wat nou als elke willekeurige gedachte zo tot een geweldig boek kan worden getransformeerd door ChatGPT of door Claude? Hè, dus als de vorm de signaalfunctie verliest, dan hebben we dus een ander coördinatiemechanisme nodig met elkaar om te komen tot: wat is nou de cultuuruiting waaraan we ons ankeren? En ik denk dat, als je dat helemaal gaat doorredeneren tot in extreme mate, dat je zegt dat alle uitingen die er zijn, die kan een LLM perfect maken.

Bert Slagter: Dan verliest dus die uiting alle signaalwaarde. En wat blijft er dan over? Ja, dus iets wat je daadwerkelijk met elkaar in de fysieke ruimte beleeft.

Bart Mol: Ja.

Bert Slagter: En dat is mijn denkroute hoe ik op hetzelfde punt kom als Bart aan het eind, hè. Dus dit is niet een alternatief ernaast, maar hoe mijn hersenen daar komen.

Bart Mol: Sterker nog. Maar het lastige is, omdat het zo snel gaat, kunnen wij mensen dit heel lastig. Dus gisteren was een showreel met allemaal vette special effects. Daarvan wist je als ik dit zie en het is goed en het ziet er vet uit, ja, dan kan ik de mens die dat gemaakt heeft inhuren. Want, ja, een showreel van een minuut betekent dat iemand 20 uur heeft zitten editen op zijn minst. Of misschien wel dagen of weken. En jaren aan training zit daar achter. En opeens de volgende dag is dezelfde showreel een prompt van een minuut en misschien een LLM die een half uur aan het werk is geweest, terwijl ik nog mijn hele brein denkt van: hé, ja, dit is geld waard, want hier zit 100 uur werk in. Nee, dat is dus niet meer zo, maar dat is van, hé, dat is met een nachtje slapen is dat opeens veranderd. En wij mensen hebben daar denk ik wel

Bert Slagter: Ja.

Bart Mol: Moeite mee.

Bert Slagter: En het vereist dus verbeeldingskracht om dat door te trekken, hè. Ik zag pas iemand die zei: ja, dat Navier-Stokes probleem van die wiskundige. Ja, dat is natuurlijk onzin, want daar is voor 40 miljoen aan tokens in gestopt. Dus dat kun je niet vergelijken. Dan denk ik: ja, wacht maar even. Over vier jaar is het nog 100 piek aan tokens.

Bart Mol: Ja.

Bert Slagter: Weet je wel. Zo moet je er natuurlijk ook over denken.

Bart Mol: Ja, laat ik het zo zeggen: die optie moet je overhouden, want ik vind het wel leuk om je daar altijd een beetje tegengas te geven. Want ik ook, hè, ik heb ook dingen zien veranderen die drie jaar geleden niet konden en nu wel, 100%. Maar ik vond drie jaar geleden een AI al niet echt grappig en dat vind ik ze nu nog steeds niet. Hè, en als ik vraag om filmtips of boekentips, ja, soms goed, soms niet of zo. Dus.

Bert Slagter: Ja.

Bart Mol: Ik heb ook dingen gezien waar ik vier jaar geleden al mijn kop wel tegen het plafond aan zat te bonken van wat zo'n LLM kan en waar ik dat nog steeds heb. Ondanks dat er zoveel geld tegenaan gegooid is, dus. En dan is precies de vraag: ja, hopelijk voor de mensheid of hopelijk voor mijzelf als creatieveling, blijft een LLM lekker zijn koppie stoten tegen de dingen waar ik goed in ben. Want dan, ja, dan heb ik een superkracht die andere mensen die AI gebruiken niet hebben natuurlijk.

Bert Slagter: Niet per se hoor Bart, want als het erom gaat straks, als het coördinatiemechanisme is wat in de echte wereld gebeurt, dan gaat het er dus straks om dat mensen niet gaan kijken van wat de LLM vindt. Want dat zijn namelijk oneindig veel exact even goede uitkomsten. Nee, men gaat kijken naar wat Bart z'n smaak is, wat Bart vindt.

Bart Mol: Zou kunnen.

Bert Slagter: Als thought leader, als, weet ik veel, onze

Bart Mol: Laten we het hopen.

Bert Slagter: Onze tiptipkoning, ja.

Bart Mol: Laten we het in ieder geval voor ons hopen. Dan hebben wij nog enig bestaan, zeg. Hé, laat weten mensen wat jullie ervan vinden en dat kan je doen in onze Discord. Die kan je vinden via turingstation.nl. Daar kan je lid worden en in de Discord kunnen we dit soort dingen in chatvorm met elkaar bespreken. Ja, mocht je nou een leuke gedachte hebben die je in een comment kan stoppen. Doe dat ook vooral op YouTube of op Spotify of via de e-mail zoals Peter dat aangaf. Gaan wij snel door naar Nvidia. Hebben we het net al even over gehad, maar die hebben meer gedaan dan aanwezig zijn bij het Witte Huis deze week.

Peter Slagter: Ja, dat zou je niet zeggen van een CEO in een leren jas. Soort rockstar. Maar zo nu en dan kondigt hij ook wezenlijke dingen aan. Ik kwam iets tegen op X deze week. Maandag was dat, Jensen die schreef: vandaag hebben we samen met meer dan honderd partners uit de sector het Nvidia Open Agent Safety Platform geïntroduceerd, waarin Open Shell en Sentry samenkomen. Nou, geen zorgen, het wordt allemaal duidelijk wat dit betekent. Niet wegtrekken. Hij gaat verder. AI is een buitengewone technologie die onze productiviteit, gezondheid en welvaart de komende generaties vooruit kan helpen. Maar die belofte kan alleen volledig worden waargemaakt als mensen erop kunnen vertrouwen, als AI veilig is en verstandig en verantwoord wordt ingezet. Nou, je begrijpt het al, de context is AI safety. Wat Nvidia eigenlijk zegt is, AI agents die spelen een steeds grotere rol in ons leven.

Peter Slagter: Nou, dat kunnen we wel bevestigen. En ze krijgen ook steeds vaker de vrijheid om zelf te handelen. Dat begon natuurlijk met veel skip alle permissies in je terminal en nu hebben we gewoon allerlei bot programma's die dingen doen. Hé, Meta heeft ze nu. Nou, OpenAI heeft ze gisteren aangekondigd. Dots. Ik heb er helaas geen toegang toe, want mijn abonnement is niet duur genoeg.

Bart Mol: Nee, en in de EU is het ook weer allemaal begrensd kwam ik achter.

Peter Slagter: Ja, dat voor individuen wel, voor bedrijven niet. Weet je wel. Nou hebben wij een bedrijf. Nou goed, whatever. Maar, hè, ze komen naar je toe. Links of rechts om komen ze naar je toe, die bots. En, nou, en Nvidia zegt van: ja, we moeten voorkomen dat ze uit de bocht vliegen. Wat we nodig hebben is een soort digitale kooi waarvan die agents zelf niet de sleutel hebben. Dat zou natuurlijk onhandig zijn als ze dan zelf de sleutel hebben, dan kunnen ze die kooi gewoon openen. Nou, en dat is natuurlijk een actueel onderwerp, hè, want dat Hugging Face incident, dat ligt nog redelijk vers in het geheugen. Die komt nog steeds wel eens langs gewoon als voorbeeld ook in de media. Ik zag dat bij, op Axios afgelopen zondag een berichtje geplaatst werd van een scoop over onderzoek van OpenAI en Anthropic. Die hadden het over tienduizenden incidenten. Niet tientallen, nee, tienduizenden. Waarin hun frontier models problematisch gedrag vertoonden. Dan moet je denken aan het omzeilen van guard rails, ontsnappingspogingen uit sandboxes en, een heel groot gedeelte van die tienduizenden, dat gebeurde, dat vond plaats in testomgevingen.

Peter Slagter: En die leidden niet tot echte schade. Maar de schaal is natuurlijk wel opvallend. Nou, en wat zegt Nvidia nou? Wij hebben twee beveiligingslagen. Die willen we eigenlijk om dit proces heen leggen. Nou, en die eerste is Open Shell. Wat is Open Shell? Dat is software die draait op de processor, de CPU van de server waarop zo'n agent actief is. En die zet die agent in een afgeschermde omgeving. Dat noemen we een sandbox. En daarbinnen bepaal je vooraf waar de agent wel en niet bij kan. Bijvoorbeeld, welke bestanden mogen gelezen worden, welke websites mogen benaderd worden, welke tools mogen gebruikt worden. Nou, en al het andere, dat is dan verboden. Zie het een beetje als de werknemer die niet automatisch toegang heeft tot alle bankrekeningen, alle databases, alle servers van het bedrijf. Als je nu denkt van: oh shit, dat hebben die van mij wel. Ja, dat is een securityrisico. Ja, dat, hè, ja, dat kun je wel zo classificeren.

Bart Mol: Doe daar wat aan.

Peter Slagter: Ja, doe daar wat aan. En nou die regels van die sandbox, die worden dus buiten het proces van de AI afgedwongen. Je vraagt dus niet aan Claude van: wil je alsjeblieft niet naar de website van de concurrent surfen? Nee, dat is gewoon verboden. Nou, en het tweede wat Nvidia noemt is Sentry. Want ja, ik hoor je wel denken van: ja, leuk zo'n sandbox, maar dat is nou precies waar ze uitbreken elke keer. Dus ja, hoe nuttig is dat?

Bart Mol: Dat heeft iedereen inmiddels wel gehoord als je een beetje de talkshow bekijkt.

Peter Slagter: Dus ja, dat is dan waar Sentry om de hoek komt kijken. En het idee is dat ze een extra digitale beveiliging introduceren die op een aparte chip draait. Hardware. Die chip bestaat al, en op die chip willen ze een extra functie introduceren, namelijk die van de beveiliger die van buitenaf meekijkt en ingrijpt. Zelfs als die agent uit zijn eigen omgeving weet te breken. Dus Open Shell zegt eigenlijk van: nou, hier mag je niet langs. En Sentry zegt: als je er toch langskomt, dan zit ik hier. Langs mij kom je niet. Ze noemen dat in silicon enforcement. Hè, dat komt omdat Nvidia de chip op een heel strategische plek heeft geplaatst, namelijk precies op de fysieke route van en naar het model toe. En als die nou iets ziet gebeuren wat volgens het Open Shell beleid niet mag, hij heeft daar kennis van. Dan stopt hij binnen enkele milliseconden het proces en dan duwt hij die agent weer zijn hok in. Sluit de deur, in quarantaine jij.

Peter Slagter: Nou, dan denk je misschien: nou, dat is mooi, AI safety is opgelost door daddy Jensen.

Bart Mol: Ja, precies.

Peter Slagter: Nou, zo simpel is het helaas ook weer niet. Hè, want ja, wat ik al zei: uit zo'n sandbox kun je in theorie uitbreken. En Sentry, die kan niet alle beleidsregels van zo'n sandbox controleren. In software kun je meer beleid schrijven dan met hardware te vangen is.

Bart Mol: Ja.

Peter Slagter: En zelfs als een agent het juiste beleid volgt, wil dat natuurlijk nog niet zeggen dat zijn gedrag ook echt wenselijk is of onschadelijk is. Als het mandaat bijvoorbeeld te breed is, ja, dan kan het mandaat zelf natuurlijk ook gevaarlijk zijn. Neem als voorbeeldje, dat ik een agent, nou ja echt, echt een frontier model van, waar je u tegen zegt de opdracht geef: optimaliseer de winst van Turing Station. En ik geef hem ook nog eventjes de vrijheid. Dus hij mag prijzen bepalen, personeel ontslaan, advertenties inkopen, klanten mailen. Ja, dan kan hij natuurlijk van alles doen en binnen iedere technische regel blijven en toch heel schadelijk zijn. Daar is natuurlijk geen sandbox tegen opgewassen. En toen dacht ik-

Bart Mol: Nee, zijn wij de eerste drie die ontslagen worden en vervangen worden door een AI-model.

Peter Slagter: Vermoedelijk. Ik, hij rekent het zelf wel.

Bart Mol: Ja.

Peter Slagter: Ja. En toen dacht ik: ik moet denken aan plakken gatenkaas. En dat, ja, dat komt weer uit mijn IT-tijd en de manier om naar veiligheid te kijken. En, ja, ik dacht: die leg ik eens eventjes over het domein van AI-veiligheid heen. En dan heb je bijvoorbeeld een plak, die heb ik intent genoemd, hè. Dus, en dat gaat over: volgt een agent wat onze bedoeling is? Interpreteert het de opdrachten goed? Raakt het niet misleid, bijvoorbeeld door een prompt injection of zo? Of ontwikkelt het niet per ongeluk een ongewenste strategie? Deze veiligheidsplak probeert fouten en ongewenst gedrag te voorkomen. Dan heb je een plak access, hè, dus welke bestanden, welke API's, welke machines, welke sleutels, welke wachtwoorden, geldstromen, systemen kan de agent bereiken? Kijk, want een agent met verkeerde motieven zonder bevoegdheden is natuurlijk veel minder gevaarlijk dan een heel behulpzame agent met toegang tot alles.

Bart Mol: Ja.

Peter Slagter: Op deze plak zit Open Shell bijvoorbeeld. Nou, de derde gaat over impact, over de blast radius. En mag een agent bijvoorbeeld één testomgeving aanpassen of alle productieomgevingen die er zijn? Mag die €100 overmaken of 100 miljoen? Mag die één e-mailtje sturen naar een specifieke ontvanger? Of mag die de hele klantenlijst benaderen? De vierde is detection, hè, dus je wil onafhankelijk kunnen monitoren. Je wilt gedrag kunnen loggen, je wil afwijkingen herkennen, je wil verdachte acties kunnen blokkeren. Met als belangrijke kanttekening dat de agent, die bewaker, die monitor natuurlijk niet zelf eenvoudig kan uitschakelen of kan misleiden. Nou, hier speelt Sentry dan een belangrijke rol. En de vijfde plak gatenkaas die ik kon bedenken was recovery. En daar zitten kill switches, daar zitten de mogelijkheid om credentials in te trekken of transacties te pauzeren, of back-ups te herstellen, of wijzigingen terug te kunnen rollen.

Peter Slagter: Kijk, een systeem kan natuurlijk onveilig gedrag vertonen zonder dat het per se gelijk een catastrofe hoeft te zijn als het te herstellen is. Nou, en het idee van dat gatenkaasmodel is dan dat als je al die plakken tegen elkaar aan legt, dan hoeft het niet luchtdicht te zijn, want dat is vrijwel onmogelijk. Het doel is om te voorkomen dat al die gaten precies op één lijn liggen, zodat een verkeerd geïnterpreteerde opdracht niet direct fataal is. Hij levert dan misschien wel een verkeerde intentie op, maar er is geen toegang tot productie of er zijn beperkte bevoegdheden. Of monitoring die grijpt in. Of het kan worden teruggedraaid. Alleen als ze allemaal perfect op elkaar liggen, die gaten, dan kan een fout van een agent uitgroeien tot een catastrofe.

Bart Mol: Ga dus even voor de beelddenkers: dit zijn plakken uit verschillende kazen die je op elkaar legt, want anders zit nog steeds het gat achter elkaar.

Peter Slagter: Ja, of verschillende stukken van de kaas. Ja.

Bart Mol: Ja, ja.

Peter Slagter: Of je draait ze een beetje. Ja.

Bart Mol: Kwartslag draait, je plak.

Peter Slagter: Kan, ja, kan ook. Kan ook. En deze manier van kijken die heb ik natuurlijk niet zelf bedacht. Ik zei het, ik moest eraan denken vanwege mijn IT-verleden. Dat gatenkaasmodel, dat is gewoon een ding. Dus dat staat ook op Wikipedia met deze naam: gatenkaasmodel. In het Engels is het volgens mij de Swiss cheese model, als ik het me goed herinner. Weet ik niet zeker meer.

Bart Mol: Klopt.

Peter Slagter: En dat komt van een Britse psycholoog. Die heet James Reason. Ja, op zich wel weer grappig dat dat dan de reason is, maar goed. En dat is al van de begin jaren negentig. En zijn inzicht was een complex systeem. Nou, we hebben weinig systemen complexer dan alles rondom AI en AI-agents. Complexe systemen, die zijn bijna nooit veilig door één perfecte verdedigingslinie. Iedere veiligheidslaag, die heeft zwakke plekken en een ramp, echt een ramp ontstaat als zwakke plekken in meerdere lagen toevallig op één lijn komen te liggen. Nou, en dat principe, dat kan je op allerlei terreinen toepassen. Dat gebeurt ook. De gezondheidszorg, kerncentrales, maar dus ook AI-systemen. En het mooie is omdat het al zo'n oud denkkader is, natuurlijk is safety überhaupt al een oud vakgebied, heb je ook talloze voorbeelden waaruit blijkt dat het inderdaad gewoon veel complexer is dan, ja, dan een soort van silver bullet voor veilig. Er is niet een silver bullet voor veiligheid.

Peter Slagter: Ik bedoel, als ik of Bart of Bert het beleid aan het schrijven is voor een AI-agent die bij ons taken moet gaan uitvoeren en je bent op dat moment net even afgeleid of moe of chagrijnig of whatever. Alleen al die emotionele staat kan ervoor zorgen dat het beleid niet in orde is. En als we dan toevallig ook nog het vierogenprincipe niet hebben geïntroduceerd, wordt het beleid misschien gewoon uitgevoerd en leidt dat. Weet je, en zo, ja, dingen zijn soms ook gewoon, gaan toevallig mis. En de kunst is dat er genoeg plakken achter elkaar liggen met gaten op een verschillende plek. Dat uiteindelijk toch een agent gewoon vol met zijn hasses tegen de kaas aan botst.

Bart Mol: Ja, als het niks wordt hier bij Turing Station, Peter, kan je ook nog zoals IT-auditor aan de slag. Dat heb ik al wel.

Bert Slagter: Dat, ja, dat zie ik mezelf ook best wel doen ja.

Bart Mol: Ja, goed, wel goed in zou zijn eigenlijk. Ja.

Bert Slagter: De opdracht is dus: voeg meer plakken kaas toe en verklein die gaten. En dat is dan ook wel weer een leuk bruggetje terug naar die oproep van die opsporingsdienst, die Nederlandse. Die zeggen eigenlijk: joh, verklein nou die gaten en zorg ervoor dat die plakken kaas er liggen.

Bart Mol: Ja.

Bert Slagter: Ja, met dat in het achterhoofd natuurlijk, het werk van Nvidia. Wat mij betreft van harte welkom.

Bart Mol: Ja. Alright. Gaan wij door naar ook wel een oorzaak soms van agents die dingen doen die wij niet willen. Of een gevolg. Nou goed, dat moet Bert maar even uit gaan leggen. Het valt in ieder geval leuk in lijn. Hallucinatie van AI-modellen.

Bert Slagter: Ja, hallucinatie. Ik heb dus zo'n woord waar ik dan altijd denk: is dat hallucinatie of hallucinatie? Net als munitie en minutie, weet je dat? Heb je dat soort woorden ook soms?

Bart Mol: Ja, heel vaak. Wel vaker dan jij, Bert waarschijnlijk.

Bert Slagter: Misschien is het gekheid van mijn hoofd. Hé, hallucineren. Ja, ik wil het graag hebben over rekensommen. Hoe maakt een taalmodel een som? Dat leert ons namelijk iets over hallucineren. Waarom en wanneer hallucineert een taalmodel? En hoe werkt dat dan precies? Ik zal proberen te beschrijven wat er in het model gebeurt en daar een menselijk equivalent bij te zoeken. Dus ja, de techniek te scheiden van de antropomorfisering ervan. Het kan handig zijn als je het item in aflevering twee geluisterd hebt over hoe een model werkt en in aflevering vijf over hoe training werkt. Alright. We beginnen bij een eenvoudige som: twee plus twee. Zo'n model bestaat uit honderden miljarden of biljoenen decimale getallen. Dat noemen we de gewichten van het model. Die zijn verdeeld over tientallen, misschien honderd lagen. En bij het maken van een volgend woord of eigenlijk een token, gaat de hele input die je geeft door al die lagen van het model heen.

Bert Slagter: In dit geval is dus de input: twee plus twee is, of maak de volgende som: twee plus twee. Zoiets. Dat geven we als input en dat stukje tekst gaat door al die lagen heen. De opbrengst aan het eind is één output token, een deel van een woord of bijvoorbeeld het cijfer vier, om maar wat te noemen. Een belangrijk concept is een richting in een hoogdimensionale ruimte. Ik zal het simpeler maken. In een tweedimensionale ruimte, bijvoorbeeld een vel papier op je bureau, kun je meerdere richtingen tekenen. Pak maar een A4'tje en teken allerlei lijnen. Die hebben allemaal een verschillende richting in twee dimensies. Nou, in een 8.000 dimensionale ruimte zijn er eindeloos veel richtingen. Dan kun je al die verschillende dimensies met elkaar combineren. Zo'n richting kan een bepaald concept vangen. Man, vrouw, schaap, auto, maar ook leeftijd of lidwoordachtigheid. Of dit heeft iets te maken met kleuren. Beweeg je over de richting leeftijd, dan ga je van man naar jongen en van vrouw naar meisje en van schaap naar lam.

Bert Slagter: En zo werkt intern dat mechanische brein van het model. Goed, terug naar de rekensom. Twee keer twee. Wat je zult zien als je kijkt naar wat er in het model gebeurt bij het genereren van het volgende token, dan zul je zien dat al heel snel, al heel vroeg, bij hele vroege lagen, de richting vier een hoge waarde krijgt. Vier. Al heel snel weet ie: het is vier en dan uiteindelijk genereert hij token vier. Dat komt, hij heeft heel veel in de trainingsdata gezien. Twee keer twee is vier. Dat staat zo ongelooflijk veel plekken in alles wat wij geschreven hebben. Twee keer twee is vier komt ontzettend vaak voor. Dus dat is heel sterk aan elkaar verbonden. Een hele sterke associatie tussen. In menselijke termen: je weet meteen dat het vier is. Boem. Het lijkt meer op herinneren dan op uitrekenen. Vraag jou twee keer twee, zeg je meteen vier. Misschien wel omdat je in groep vier ooit tafels geleerd hebt, gestampt hebt. Twee keer twee is vier, drie keer twee is zes.

Bert Slagter: Weet je wel, zo. Dus de eerste manier waarop een taalmodel een som kan maken is het meteen weten. Als we hem iets moeilijker maken, bijvoorbeeld 3.205 keer 2.770, dan zien we als we inspecteren wat er gebeurt tijdens het genereren van het token, daar is een heel wetenschapsgebied over, over interpretability van die modellen. Als we dat doen, dan zien we bij zo'n wat moeilijkere som niet meteen het antwoord oplichten. We zien dan in de lagen tussenstappen verschijnen. Is wel leuk. En Anthropic had daar een mooi voorbeeld van in een paper, heb ik ook in de shownotes gezet, dit voorjaar. Het ging om de som vier plus zeventien, tussen haakjes, keer twee plus zeven. Als je dat geeft aan het model, dat kan die gewoon in één keer vertellen dat het antwoord 49 is. Maar als je in die lagen kijkt, dan zag je bijvoorbeeld rond laag 58 het concept wiskunde oplichten.

Bert Slagter: Rond laag 75 het concept 21. Ja, is logisch, vier plus zeventien is dat namelijk. In laag 83 het concept 42. Is ook niet zo gek, want dat is die keer twee. 21 keer twee is 42. En dan het antwoord was in één keer 49. Dat is namelijk nog plus zeven erbij. Zo zag je door de lagen heen eigenlijk een soort van tussenstappen. En dan kwam het antwoord in één keer als volgende token 49 of twee tokens vier negen. Dat is net een beetje hoe die tokenizer werkt. Ik denk 49. Vertaald naar mensen, dus dat, de eerste manier was het meteen weten. De tweede manier is eigenlijk hoofdrekenen. Dus in je hoofd doe je zelf ook die stapjes. Vier plus zeventien is 21, keer twee is 42, plus zeven is 49. Boem. Nou, dat is voor mensen met die som die ik eerst gaf, 3.205 keer 2.770 best wel lastig. Maar de taalmodellen van nu doen dit daadwerkelijk in de lagen van hun ene forward pass en ga je dan in één keer het antwoord vertellen.

Bert Slagter: Goed, als de som nog moeilijker wordt, bijvoorbeeld een getal van acht cijfers keer een getal van acht cijfers, dan kan een taalmodel ook niet in die laagjes allemaal uitrekenen. Dan gaat hij redeneren. Chain of thought reasoning noemen we dat. Dan gaat hij tokens genereren die niet bedoeld zijn voor de gebruiker, maar voor zichzelf. Tussenliggende tokens of redeneer tokens noemen we dat. Dus dan gaat hij wel meerdere keren door het model heen. Elke keer een token. Maar die tokens zijn niet bedoeld als antwoord, maar als tussenstappen. Daar zien we als we die tussenliggende tokens gaan lezen. Daar zien we deelberekeningen en uiteindelijk het goede antwoord verschijnen. En dan stopt hij met redeneren, zegt hij: ik ben klaar met redeneren en dan komt het antwoord. Dat haalt hij dan uit zijn redeneer tokens. Bij een mens zouden we zeggen: de mens, die is niet meer aan het hoofdrekenen, maar die pakt een kladblaadje erbij en die gaat daarop even de som maken. Weet je nog wel vroeger dat je dan twee getallen onder elkaar zette? Keer. En dan ging je dat zo uitrekenen op je blaadje. Heb je als het goed is geleerd op de basisschool.

Bert Slagter: En bij een model noemen we ook beeldend, antropomorfiserend, dat die redeneer tokens ook wel een scratch pad. Ja, een kladblaadje waarin hij dus zijn eigen gedachtegang kan uitschrijven. Dus we hebben eigenlijk drie manieren waarop een taalmodel tot een antwoord kan komen. Één: meteen weten. Het licht meteen op in zijn denkruimte. Twee: hoofdrekenen, dus verschillende tussenstappen nemen in één forward pass. En drie: een kladblaadje gebruiken. Chain of thought reasoning. De laatste optie is het gebruik van tools. Een klein Python scriptje schrijven waarin je de computer het laat uitrekenen. Dus dan gebeurt het rekenen niet met taal, dus in redenering, waarbij je met denkstappen de berekening maakt. Nee, dan vraag je aan een computer om het op zijn processor uit te rekenen. Nou, daarvan weten we dat gaat, daar gaat de computer natuurlijk supergoed in. Het woord computer betekent immers rekenaar. Berekenaar.

Bart Mol: Ja, precies.

Bert Slagter: Dus dat is fijn. Het menselijke equivalent hiervan is natuurlijk: je pakt een rekenmachine. Er zijn eigenlijk vier manieren waarop een taalmodel een som maakt. Het meteen weten, het hoofdrekenen, het kladblaadje pakken en de rekenmachine pakken. En ik kwam een onderzoek tegen van Maxim Andriuschenko. Die ging met Astra en Fable aan de slag en die liet hij sommen uitrekenen zonder rekenmachine. Dus die mochten geen tools gebruiken, maar ze mochten wel redeneren. Voor de rest was de vraag: geef het antwoord. En hij maakte een tabel met kleurtjes. De x-as één tot twintig, de y-as één tot twintig. En die vakjes kregen een kleurtje als het antwoord goed was. En één bij één betekent een getal van één cijfer keer een getal van één cijfer, bijvoorbeeld vier keer vier. En één keer twee: een getal van één cijfer keer een getal van twee cijfers, bijvoorbeeld zeven keer veertien. Twintig keer twintig betekent dus een getal van twintig cijfers keer een getal van twintig cijfers.

Bert Slagter: Dat is echt een enorme som. En bij het ene model zijn alle vakjes goed en bij het andere model zit er een strook waar de antwoorden fout zijn. Dat is heel interessant. De makkelijke sommen zijn allemaal goed. De moeilijke sommen zijn allemaal goed en daartussen zit een strook waarin antwoorden fout zijn. Hè, dat is merkwaardig. En dat komt doordat het model op het verkeerde moment kiest voor het overstappen van hoofdrekenen naar het kladblaadje. Het moment dat hij het nog in de redenering in zijn lagen kan. Naar het moment dat hij moet gaan redeneren op papier. Dat hij die output tokens moet genereren. En dat werkt als volgt: in het model, in die hoogdimensionale ruimte zaten concepten als man en vrouw en vier en 44. Maar ook het concept: ik weet het niet. Of er is onvoldoende kennis. Of er ontbreekt informatie. Of dit is een vermoeden en geen feit. En die kunnen ook een bepaalde waarde krijgen op basis van de context van de input.

Bert Slagter: Die richtingen ontstaan tijdens de training. Dat is dus niet iets wat mensen hebben bedacht. Dit is ontstaan. En als zo'n richting van ik weet het niet sterk geactiveerd wordt door de input, dan kan een output token zijn: begin met redeneren. Nou, en dat wordt weer onderdeel van de input. En denkt hij: oh, ik moet blijkbaar redeneren. En dan begint hij met redeneren en dan komt het uiteindelijk goed. Hè, dus er is ergens een punt dat het model op basis van dat er ergens iets in die ruimte geactiveerd wordt besluit, hè, dat is met andere woorden het logische gevolg van de input is: gaan redeneren. Of het begin van de zin: mag ik meer informatie of ik weet het niet. Dat kan ook output zijn. En dat wordt dus doordat er dan in die hoogdimensionale ruimte het concept van ik weet het niet wordt geactiveerd. Of ik kan dit niet uitrekenen, dit is te moeilijk voor me. Weet je, zoiets. Iets wat die soort betekenis heeft. En voor in menselijke taal zou het zijn: je hebt het gevoel van: ik denk dit, maar eigenlijk weet ik het niet zeker, dus ik ga het maar even opzoeken.

Bert Slagter: Dat gevoel ken je wel. Volgens mij is het dit, maar zoek het even op. We hebben dat heel vaak tijdens de podcast en dan gaat iemand het even opzoeken. Volgens mij was het zoiets. Of het kan ook zijn: ik heb echt geen idee. Dit moet ik opzoeken. Dat is natuurlijk een hele duidelijke. Maar ja, mensen maken natuurlijk ook wel eens foute inschattingen van of ze, ja, weet ik het nou of weet ik het niet. Nou, weet je, ik zoek het toch maar even. Ik reken het even na. Weet je, zo'n soort gevoel. Maar goed, dus wat er gebeurt bij die modellen is: er zijn dus goede antwoorden op makkelijke vragen, omdat je het weet. Er zijn goede antwoorden op moeilijke vragen omdat je het opzoekt. En soms zijn daartussen dus foute antwoorden op gemiddelde vragen, omdat je denkt dat je het weet, maar jezelf overschat. En dat zie je bij taalmodellen. En dat stuk tussen goed en goed waar het fout gaat, dat noemen we dan ook wel eens the blind spot. Een blinde vlek. En kijk, in de praktijk heb je hier als je taalmodellen gebruikt geen last van met rekenen omdat ze al ruim voordat ze bij die kloof komen de rekenmachine pakken.

Bert Slagter: Daar zijn ze zo op ingesteld dat heel ver voordat ze in het gebied komen waar ze het misschien wel fout gaan hebben, hebben ze al geleerd: dit moet ik gewoon even uitrekenen, want de computer is hier onwijs snel in. En dat komt ook omdat een som uitrekenen met chain of thought reasoning ontzettend duur en traag is in vergelijking met gewoon een rekenmachine pakken. Dus het is in alle opzichten voor een rekensom logisch om heel vroeg over te stappen naar de rekenmachine. Daarom heeft deze Maxime ook even de rekenmachine uitgezet om dit zichtbaar te maken. Want met andere woorden: bij rekenen ga je dit niet vaak meer tegenkomen, iets dergelijks. Dat is echt, dat zou echt heel uitzonderlijk zijn. Wel bij andere vraagstukken, dus dit is een heel mooie manier om zichtbaar te maken hoe hallucineren werkt. En dan, dat is dus het punt dat het model inschat dat hij nog geen kladpapier nodig heeft. Maar het is eigenlijk wel zo. Bijvoorbeeld hij schat in dat hij zeker weet van welke schilder een bepaald schilderij is, maar hij had eigenlijk even moeten opzoeken en dan vertelt hij jou: nou, dit is van, weet ik veel, van Van Gogh of zo.

Bert Slagter: En dan is het niet zo omdat hij dacht dat het wel zo was. Maar dan is er dus die ruimte van ik weet het eigenlijk niet zeker, onvoldoende opgelicht. En dit weten ze ook omdat je tijdens dat interpretability onderzoek dan kun je niet alleen maar zien wat een model denkt, je kunt ook hem stilzetten en een bepaalde activatie extra aanzetten of uitzetten. Dus wat ze ook deden: als een model dacht: woeh, dit weet ik echt niet, dat als ze die waarde omlaag brachten, dat hij dan gewoon ging hallucineren. Dan zei hij: hè? Er is bijvoorbeeld een grappig onderzoek. Als je dat model vroeg: Michael Jordan, wat is dat voor, wat voor sport? Zei die: basketballer. En Michael Batkin? Geen idee. Persoon bestaat waarschijnlijk niet eens. Maar toen zij, hadden zij de richtingen in de denkruimte van bekende persoon en bekend antwoord kunstmatig verhoogd en dan zei hij gewoon: ja, dat is een schaker of een zwemmer. Begon hij gewoon ineens dingen te roepen. Want zeg maar de notie van: dit weet ik niet en ik moet dus in mijn output nu of een tool gaan aanroepen om het op te zoeken of erover gaan redeneren of antwoord geven.

Bert Slagter: Ik heb geen, werkelijk geen idee. Die werd onderdrukt, kunstmatig. En dan kwam er dus ineens een yolo antwoord uit.

Bart Mol: Ja.

Bert Slagter: Ja, en dan kan je zeggen van: ja, dit is toch niet zo heel spannend, want we kunnen ze gewoon altijd die tools laten gebruiken. Maar dat is niet altijd zo. Bijvoorbeeld: er zijn taalmodellen die niet mogen redeneren en geen tools mogen gebruiken, zoals real time spraakmodellen. Die hebben daar domweg de tijd niet voor omdat die binnen honderd milliseconden moeten antwoorden. Dus die moeten nog steeds in de post training extreem goed getraind zijn in weten waar de kennis ophoudt, waar de blind spot begint en voor die tijd ingrijpen. Bijvoorbeeld terugzeggen: ik weet het niet, ik zoek het op. En dan op de achtergrond een groter model de opdracht geven om het uit te zoeken en dan terug te komen. Dat is bijvoorbeeld wat live van OpenAI nu doet.

Bart Mol: Ja.

Bert Slagter: Ja en goed, ik zat hier even over na te denken. Het is duidelijk hè, dat taalmodellen anders zijn dan een menselijk brein. Maar grappig genoeg zitten er wel heel veel parallellen tussen. Dus ik dacht bij heel veel dingen van: ja, dat werkt bij mensen eigenlijk ook een beetje zo. Dus je kunt protesteren tegen antropomorfiseren en zeggen dat het echt heel verschillende dingen zijn. En dat is natuurlijk ook zo. Maar er is toch hè, bij best wel veel dingen, tijdens het trainen van zo'n model emergent een mechanisme ontstaan dat toch verdraaid veel lijkt op wat we bij mensen zien. Dan is het dus ook wel weer nuttig, soms, om de menselijke parallel te trekken. Even één laatste voorbeeldje voor ik naar een afronding ga. Even over gokken bijvoorbeeld. Bij mensen is het zo dat in sommige omstandigheden het heel nuttig is om te gokken, ook als je het niet weet, en in andere omstandigheden niet.

Bert Slagter: Bijvoorbeeld op een pubquiz. Als je het niet weet, ja, gok maar gewoon. Slechtste geval is niet goed. Beste geval win je de pubquiz. Maar als je een interview hebt op de radio, dan moet je gewoon zeggen dat je het niet weet. Er is een verschil en dat geldt ook voor, uh, er is dus ook ontdekt dat tijdens post training bij taalmodellen dat modellen veel meer gaan hallucineren als je een fout antwoord hetzelfde beloont als geen antwoord geven. Want dan ontwikkelen ze niet hè, die notie van het onderscheid maken tussen ik weet het niet en dus dat je zegt dat je het niet weet of dat je maar yolo't. Want met die beloningsstructuur krijg je pluspunten als je het goed hebt. En alleen je krijgt geen straf als je het fout hebt. Dus niks zeggen en het fout hebben levert evenveel op. Dus dan word je eigenlijk een soort van beloond door te gokken, want er zit nog potentieel in dat je het per ongeluk goed hebt. Dus hallucineren, dat is niet een willekeurig fenomeen.

Bert Slagter: Dat is ook belangrijk om je te realiseren. Zo van randomly heeft het model het soms ineens fout. Of in zoveel procent van de gevallen, dan roept hij maar wat. Nee, hallucineren is een heel duidelijk aanwijsbaar fenomeen, proces, wat je kunt zien. Daar gebeurt dat en om die reden, net zoals bij mensen, ja, vind je dingen als dat mensen dingen verzinnen of gokken of zich fout herinneren. Ja, goed, ga maar eens naar rechtszaken kijken, naar getuigen van dingen en zo. Ja, dat is gewoon een soort fenomeen wat in menselijke breinen speelt. Nou, gelijksoortige fenomenen heb je in kunstmatige breinen. En daarom vind ik het ook een doorgreden om te zeggen: AI kan nooit intelligent worden, want hallucinaties zijn inherent aan de technologie. Ja, dat geldt dus ook voor mensen. Daar zijn hallucinaties of het je verkeerd herinneren of dingen gokken of denken of de mate waarin je denkt te weten te hoog inschatten, ook inherent aan mensen. En de oplossing? Wat hebben wij voor mensen bedacht? Nou, kladblok, rekenmachine, encyclopedie, computerprogramma's, collega's, peerreviews.

Bert Slagter: Waarom zijn die dingen er? Ja, omdat het menselijk brein zich dingen niet perfect kan herinneren en dingen niet perfect kan uitrekenen, niet perfect kan redeneren. En dat vang je op met allerlei tools. En dat is dus precies wat we ook met AI doen. Dus het is ook oneerlijk om van een AI te verwachten dat hij in één keer uit het niks altijd perfect met exacte zekerheid precies het antwoord geeft. En van een mens accepteer je dat hij soms een rekenmachine nodig heeft.

Bart Mol: Ja, maar het punt is daar denk ik wel Bert, dat OpenAI en Anthropic en de mensen die heel erg geloven in het kamp, zeg maar neurale artificial intelligence. Dat was wel wat ze zeiden, hè. Je had het symbolische kamp en je had het neural kamp en het neural kamp zei: ja-

Bert Slagter: Connectionistische

Bart Mol: Gooi er maar genoeg data in, gooi er maar genoeg rekenkracht tegenaan en dan zal je intelligentie krijgen, terwijl het symbolische kamp veel meer was: gooi er genoeg regels en dat soort dingen in en op een gegeven moment zal je intelligentie krijgen. Wat het grappige is wat je nu ziet, is dat je dus daadwerkelijk wel tegen de grenzen van de LLM, hè, dus de neurale kant aan bent gelopen. Want hij hallucineert dus als je hele moeilijke rekensommen moet maken en dat je dat gat opvult met symbolische oplossingen in de zin van: je geeft hem een rekenmachine, je geeft hem een Google Search, je geeft hem van alles en nog wat wat hij kan gebruiken. Dus die kritiek kan je ook niet helemaal wegwuiven als in: ja, zie je wel, we hebben nu de LLM's gefixt. Ja, door een symbolische component toe te voegen. Dus het is eigenlijk alsof beide kampen allebei een beetje gelijk krijgen nu.

Bert Slagter: Eens, hè. Ik noem dat ook regelmatig het huwelijk tussen de symbolisten en de connectionisten. Ook al willen ze daar zelf niks van weten. En dat is zo. En ik kan ook wel met Gary Marcus meegaan die zegt: dit is neuro symbolische AI. Maar, o, het verschil vind ik dat het neurale netwerk zelf besluit dat er een tool moet worden gebruikt of dat hij moet gaan redeneren. Dat vind ik anders dan dat je zegt: ja, die LLM is ontembaar en we moeten daar tools omheen zetten die hem die beslissingen voor hem nemen op basis van regels, dat hij niet meer mag redeneren of dat hij een rekenmachine moet gebruiken, zeg maar waar het initiatief ligt. Dat maakt voor mij wel uit, van welke kant je naar dat midden toe komt, zal ik maar zeggen.

Bart Mol: Ja.

Bert Slagter: Dus ik vind de intelligentie ook liggen in het nemen van de juiste beslissing over wat nu de volgende stap is. En dat ligt wel degelijk in het taalmodel. Dat is wat ik hiermee ook probeerde te visualiseren. Dat het dus niet een interventie van buitenaf is.

Bart Mol: Nee.

Bert Slagter: Maar je geeft een LLM middelen die een symbolisch karakter hebben. Dat heeft hij namelijk nodig. Want het brein zelf is niet onbeperkt precies.

Bart Mol: Nee, zeker. Maar het was meer even wel gewoon als toevoeging dat hier dus wel dingen aan een LLM worden toegevoegd. En niet zozeer dat we nu LLM's hebben die hele moeilijke rekensommen kunnen maken, hè, dus dat we nog steeds bij een volledig neuraal systeem zitten. De grote doorbraak was de harnassen, de tools, de datasoorten.

Bert Slagter: Overigens verbaas ik me persoonlijk hoe groot de sommen nog zijn die daadwerkelijk in één forward pass het goede antwoord geeft. Dat gaat bij mij niet door in mijn hoofd.

Bart Mol: Nee.

Bert Slagter: Ik heb eerder een kladblaadje nodig inmiddels dan Fable. Dus dat betreft, uh.

Bart Mol: Ja.

Bert Slagter: Ja.

Bart Mol: Allright, was dat hem of?

Peter Slagter: Verbaast me helemaal niks, Bert.

Bart Mol: Ja.

Peter Slagter: Dat komt door die flessen wijn.

Bart Mol: Ja, klopt. Zal het geweest zijn. Maar dat was hem.

Peter Slagter: Zeker! Ja, ja.

Bart Mol: Ja, oké. Ja, dan heb ik per ongeluk gewoon eens een keer netjes helemaal aan het einde geëindigd. Ik ben trots op mezelf dat dat gelukt is. Hé, we gaan gewoon eens naar de Turing Line, dames en heren, want die hoor ik zachtjes in de verte al aankomen.

Peter Slagter: Oh, dat is lang geleden zeg.

Bart Mol: Ja, dat moet je jongen, aan het werk.

Peter Slagter: Weten jullie nog dat we op het laatste station van de Origins Line uitstapten? Dat was Turing Station. Uhm, ja, ik heb sindsdien natuurlijk een nieuw stationnetje voorbereid, maar dat is voor mij ook alweer een tijdje geleden. Dus ik vind het wel leuk. Ik mag dit nu vertellen en tegelijkertijd ook luisteren naar mezelf en naar de clipjes die ik toen had geknipt. Ik weet nou niet precies meer. Dit is eigenlijk heel leuk, ervaar ik ook gewoon eens een beetje wat mijn luisteraars ervaren.

Bart Mol: Zal ik de clipjes dan gewoon afspelen, Peet? Dan kun jij je helemaal richten op dat.

Peter Slagter: Nee, hoor, dat doe ik wel even zelf. Dat is het makkelijkst.

Bart Mol: Oké.

Peter Slagter: Nee, nee, komt helemaal goed.

Bart Mol: Of jij dat allemaal tegelijk.

Bert Slagter: Nee, joh, dit komt helemaal goed. Op Turing Station hadden we het natuurlijk over het leven van Alan Turing, de naamgever van onze podcast, en alles wat hij gemaakt en bereikt en bedacht heeft en zijn kenmerkende papers en speeches die hij heeft gegeven, ook op de radio. En ja, dat laten we even achter ons, maar we vergeten hem zeker niet. We stappen over op wat ik de Intelligence Line heb genoemd. En dan gaan we dus meer richting artificial intelligence. En we stoppen op het station waar die term eigenlijk voor het eerst op tafel is gelegd. Dat station heb ik Dartmouth Station genoemd. We komen daar als we uitstappen onze eerste hoofdpersoon tegen. Die heet John McCarthy. En John, die is al informaticus, en die is al jaren bezig met het thema intelligente machines.

Bert Slagter: En hij was erop gebrand

Peter Slagter: Om de wetenschap daaromheen wel eventjes in een hogere versnelling te zetten. Hij vond het te langzaam gaan en hij dacht twee mensen weten meer dan één. En ja, hij wilde gewoon graag dat slimme koppen samen nieuwe inzichten gingen produceren, en wilde die bij elkaar brengen. En ja, heeft dat ook gedaan, maar zijn, of in zijn eerste poging was hij eigenlijk best wel teleurgesteld. Luister maar eens wat hij erover zegt.

Gast: In 1952 I spent the summer at Bell Telephone Laboratories and suggested to Shannon that we jointly edit a collection of essays, that we would get from various people, and my goal was that the collection of essays would be related to what was later called artificial intelligence. Shannon agreed with that, but he wanted a more modest title. So the book was called Automata Studies, and it was finally appeared in 1956. So four years later, after we started the project, and I had one article in it, Inversion of functions defined by Turing machines, which was definitely an AI oriented article, and several of the articles were AI oriented, but to my disappointment, the majority of articles were not.

Peter Slagter: Hij was teleur. Ja, maar ik vind het wel mooi, hè, dus dit is John McCarthy. Daar is gewoon een uitgebreid interview mee opgenomen over zijn werkzame leven en over zijn academische carrière. Maar hij kan dus ook gewoon zelf hierop reflecteren. Dit is, volgens mij was dit 2012 ja of 2002. Ja, dat is wel een groot gat, maar ik weet niet precies meer. Hier gaat mijn LLM dus de mist in.

Bart Mol: Ja, toen kon dat nog gewoon, Peet, weet je wel, toen ging het nog zo langzaam in de technologie, maakte tien jaar niet zoveel uit.

Peter Slagter: Nee, precies. En ik heb voor het gemak en voor de luisteraar het interview ook met 60% versneld. Hij is niet meer de snelste spreker, dus dat hoor je misschien soms een beetje terug.

Bart Mol: O, dat heb jij gedaan?

Peter Slagter: Dat heb ik gedaan, ja. Want anders-

Bart Mol: Dat zegt ik. Ja.

Peter Slagter: Ja, hè, dit is niet hoe hij normaal gesproken spreekt, maar hij is gewoon, ja, het werd anders echt een tempo waar je van in slaap zou vallen. Dus dat heb ik gedaan.

Bart Mol: Hoogste autisme factor wel een beetje, hoor. Ik dacht dat hij echt zo praat en een beetje gek.

Peter Slagter: Ik had het volume ook een beetje opgeschroefd, maar je hoorde al hem al praten en je hoorde bekende termen langskomen. Bell Labs. Nou, daar was Claude Shannon natuurlijk werkzaam. Dat geeft een beetje een beeld bij, ja, met welke mensen hij zich omgaf en het netwerk waarin hij zich begaf. Maar hij was toch teleurgesteld over die eerste poging. Hij wilde het over artificial intelligence hebben. Maar ja, Shannon, met wie hij dit organiseerde, die had het toch liever over automata studies, weet je, die maakte er toch weer net wat anders van. Met als gevolg dat hij gewoon ontevreden was over de output hiervan. Weet je, dit ging niet genoeg over artificial intelligence. Dus denk je van: ja, oké, jammer dan. Ga door met je leven. Nee, hij deed een tweede poging, en daarover zegt hij het volgende.

Gast: My idea was that, to have a summer study analogous to the summer studies that had been held about some defense problems. So it seemed to me that if ten people got together and spent a summer, that substantial progress might be made. And so I got three other people, Nathaniel Rochester from IBM and Claude Shannon and Marvin Minsky, to join me in submitting a proposal to the Rockefeller Foundation to support a study at Stanford, at, to support a study at Dartmouth, for the summer.

Peter Slagter: Precies. En dat idee, dus een summer study, ja, dat is niet iets dat hij bedacht heeft, maar dat werd vaker gedaan. Je had een summer study. Je ging met een aantal mensen of met een groep wetenschappers ging je in de zomer, bijten je jezelf vast in een bepaald thema. In dit geval werd dat artificial intelligence, en dat idee komt van de grond. Ze krijgen geld van de Rockefeller Foundation in de zomer van '56. Daar zitten ze bij elkaar. Hij noemde ze al even John McCarthy, Marvin Minsky, Nathaniel Rochester en Claude Shannon. Het zijn alle vier grote namen in de historie van kunstmatige intelligentie. En zij brengen samen nog extra wetenschappers ook bij elkaar, onderzoekers. Om uit te zoeken of intelligentie niet gewoon een technisch probleem is of een technische uitdaging. En het uitgangspunt was ieder aspect van intelligentie zou in principe zo precies moeten kunnen worden beschreven dat een machine het kan nabootsen. Nou en Alan Turing, die is dan twee jaar overleden al.

Peter Slagter: Men vermoedt zelfmoord. Er bestaan wel twijfels over, maar goed, hoe dan ook, zijn geest waart daar wel rond, daar in Dartmouth, op de universiteit. Een aantal van de onderzoekers die kenden hem, die hadden met hem gesproken. Of ze werkten verder aan de vragen die hij stelde. Kijk, en Turing, die maakte het idee van een denkende, een redenerende, een lerende, een intelligente machine bespreekbaar. En deze generatie, die wil een stap verder. Wij willen uitvinden hoe je zo'n machine bouwt. En McCarthy, die kwam met de naam Artificial Intelligence. Althans, dat is aan hem toegeschreven. Ik vond het wel grappig. Ik luisterde dus naar zijn interview. En wat blijkt? Hij twijfelt daar dus zelf over. Luister maar.

Gast: I had the impression that maybe I had heard the term artificial intelligence before, and I didn't know where. And just recently, there was a letter in New Scientist in which Philip Woodward claimed that he thought of the term artificial intelligence and that I got it from him. And that might be true, but if so, he's got the year wrong because he said that he proposed it in '56, whereas I used the term in August '55 in writing the proposal. But he could be mistaken about what year he was at Harvard. So if he was at Harvard in '55, then I might very well have heard the term from him.

Peter Slagter: Dat zou toch iemand anders kunnen zijn geweest. Zo zie je maar, hè. Ja, hoe meer je in die geschiedenis duikt, hoe duidelijker ook wordt dat er nooit hele rechte lijnen tussen dingen zitten. Dingen die verwateren ook gewoon. En ze zijn ook niet helemaal zeker meer.

Bart Mol: Wel vet dat hij het gewoon zelf zegt.

Peter Slagter: Ja, voor hem.

Bart Mol: Er zijn ook zat mensen die zouden zeggen: mooi, het is aan mij toegeschreven. Ik ga dat even erdoor drukken. Hij zegt van: ja, zou kunnen van niet. Ik weet niet precies meer. Dat vind ik wel een mooie karaktereigenschap.

Peter Slagter: Dat vind ik ook, ja. Ja, hoe dan ook, die term die brak wel definitief door. Er werden tot dat moment allerlei termen door elkaar gebruikt. Dingen als thinking machines, automaten, neural networks, self-learning machines. Eigenlijk wat McCarthy deed. Hij zei van: ik trek daar een hele grote cirkel omheen. En wat ik zeg is dit hoort eigenlijk gewoon allemaal bij elkaar. Dit is één vakgebied en dat is ook waarom hij die summer studies wilde doen. Nou en hoe giet je dan intelligentie in een model dat geschikt is voor een machine? Nou, en op die vraag werden grofweg twee antwoorden gegeven. Een daarvan die borduurde voort op wat computers al bewezen hadden. Ze kunnen werken met vaste regels. Stel dat je een computer wil leren hoe een arts redeneert, nou, dan kun je de benodigde kennis vertalen naar symbolen. Gegevens die in een computer ergens voor staan. Ik wil zoiets als koorts of infectie. Penicilline. En vervolgens schrijf je regels waarmee die begrippen aan elkaar worden gekoppeld.

Peter Slagter: Nou, als een patiënt deze symptomen heeft, controleer dan op die aandoening en als die aandoening waarschijnlijk is, overweeg dan deze behandeling. Je bouwt dan eigenlijk een soort expert door de kennis van menselijke experts zo precies als mogelijk in een machine te stoppen. Nou, hieruit, of dit was eigenlijk toen ook al, ook dat is niet zo zwart-wit, ontstond de stroming, de AI-stroming van symbolisten. Symbolische AI. Intelligentie die wordt nagebootst met symbolen, met regels, met logica. Het andere antwoord op die vraag, die kwam van de connectionisten en die benaderden intelligentie meer als groeiproces. Ze zeiden, ja, de gedachte was een soort van: ja, mens die wordt ook niet geboren met honderdduizend regels in zijn hoofd of zo. Nee, het is niet dat je als peuter een bestand aangeleverd krijgt door je ouders of zo waarin staat: dit is een hond of zo ziet een gezicht eruit. Of nu is de mop grappig. Dat zou trouwens wel handig zijn als iedereen mijn Nu.nl morgen upload kreeg.

Peter Slagter: Maar goed, dat terzijde. Kijk, een kind dat kijkt, dat luistert, die experimenteert, maakt fouten en probeert het dan gewoon opnieuw. En die onthoudt patronen. Misschien, zeiden die connectionisten, moet je een machine niet als expert bouwen, dan moet je hem een expert laten worden. De naam, dat connectionisme, dat komt van het idee dat intelligentie kan ontstaan uit hele grote aantallen eenvoudige schakelaars die met elkaar verbonden zijn. Hebben we het in eerdere afleveringen ook wel over gehad. En tijdens het leren veranderen de sterktes van die verbindingen. De kennis zit dan dus niet in een regel die zegt: dit is een hond, maar verspreid over een netwerk van connecties dat gaandeweg leert om honden te herkennen. Nou kijk, en die twee groepen connectionisten, symbolisten, je moet dat niet zien als twee groepen voetbalhooligans of zo die tegenover elkaar stonden. Maar je had wel gewoon mensen die voelden zich meer betrokken bij de ene groep dan bij de andere en concurreerden in zekere zin met elkaar. En die symbolisten hadden een heel groot voordeel, namelijk binnen hun denkkader kon je ook daadwerkelijk iets bouwen.

Peter Slagter: In de jaren zestig en in de jaren zeventig verschenen de eerste expert systemen die binnen een relatief klein domein best wel indrukwekkend presteerden. Dendral is daar een voorbeeld van. Die hielp chemici met het bepalen en het vinden van molecuulstructuren. En Mycin, dat was een medisch onderzoeksprogramma. Dat stortte zich op infecties en antibiotica. De connectionisten, ja, die wilden ook wel dingen maken, maar die hadden een opstartprobleem. Want ja, dat klinkt leuk, zo'n zelflerend systeem. Maar waarvan moet het dan leren? Kijk, in 1956 was de wereld natuurlijk eigenlijk, ja, grotendeels analoog. Foto's zitten op een film. Teksten staan in boeken. Ja, en computers, die waren nog pleuris duur, dus als je ze kan betalen, dat is leuk. Dan moet je je hele kamer vol zetten met apparatuur, maar dan nog past er bijna niks op. En ze hadden ook bijna geen rekenkracht. Weet je wel. Dus zij hadden een denkbeeld, een denkkader waarvoor eigenlijk zowel de motor als de brandstof nog ontbraken.

Peter Slagter: Wat hadden zij nou nodig? Nou, technologische vooruitgang natuurlijk. Ruimte om te experimenteren. En dan hoor je eigenlijk al, je had op de achtergrond dus ook gewoon money. En dat kwam toevallig kort na die zomerstudies in Dartmouth op gang. En waarom dan? Nou, ik geef een kort, het is een beetje een raadsel. Als nog een kort audiofragment zet ik aan. Dan mag je zelf even bedenken of je daaruit het antwoord kunt destilleren. Komt ie.

Bart Mol: Ik moet wel zeggen Peter, mensen die meekijken hadden wel een voordeel.

Peter Slagter: Die hadden wel een voordeel. Ja, dat is waar. Dat is waar. Kijk, wat je hier hoort was niet mijn pacemaker. Het was ook geen storing. Er is ook niet iets misgegaan. Dit is het radiosignaal dat uitgezonden werd door de Spoetnik en de Sovjet-Unie, ja, die had toen als eerst een satelliet in een baan rond de aarde gebracht. En wat hij deed was dat radiosignaal uitzenden. En het absurde voor toen, ja, dat kan je je nu niet voorstellen, maar het was de eerste keer, dat geluid was overal te horen. Dat is heel ongebruikelijk iets, echt iets nieuws, iets baanbrekends. En dat konden de Amerikanen natuurlijk niet onbeantwoord laten. Die wilden zelf de beste zijn. Ze wilden eigenlijk het liefst natuurlijk de eerste zijn, maar dat is niet gelukt. En ja, als de Russen dit kunnen, wat kunnen ze dan nog meer? En omdat dit gebeurde ging er een best wel grote geldkraan open voor de wetenschap. Die onderzoeksprogramma's die kregen ineens dus bakken met geld. En voor een vakgebied dat een paar jaar eerder nog om een paar duizend dollar moest smeken bij de Rockefellers.

Peter Slagter: Daar begonnen we de aflevering mee, was dat natuurlijk een hele grote verandering. Dit werd eigenlijk de eerste AI zomer van het Westen. Zeg maar even de VS is het Westen. Nou, met die budgetten stegen ook de verwachtingen en onderzoekers die voorspelden dat volledig intelligente machines misschien nog maar tien, vijftien jaar weg zijn. Luister maar eens.

Gast: Tomorrow a preview of the future as it begins to take shape in the laboratories of the world.

Gast: Good evening, I'm David Wayne and as all of you are. I'm concerned with the world in which we're going to live tomorrow. A world in which a new machine, the digital computer, may be of even greater importance than the atomic bomb. Can machines really think? Even the scientists argue that one.

Gast: I don't believe that we can say yet that machines do think. I have a basic question which I always ask, and that is are these producing anything really new? Until I see a machine producing genuinely new things, I will not agree that machines think.

Gast: I confidently expect that within a matter of ten or fifteen years, something will emerge from the laboratories which is not too far from the robot of science fiction fame.

Peter Slagter: Ja, heerlijk. Ja, hier zit ook weer zo'n documentaire achter die je eigenlijk gewoon moet bekijken als je dit soort dingen interessant vindt. Maar best wel een herkenbare discussie en zenuwachtigheid en een soort angst, maar ook wel, ja, hoopvol. Alles een beetje door elkaar heen. Ja, tien, vijftien jaar weg, dan zijn ze er volgens die laatste man. In deze context verschijnt Eliza. We hebben het al eens eerder over gehad, die machine. Het is meer een soort programma waarmee je een gesprek kon voeren alsof je tegenover een arts of een psychotherapeut zit. Ik heb ook nog even een oud fragment, heb ik de vorige keer niet gedaan, opgedoken om je een beetje een voorstelling te geven van hoe dat klonk, dat werken met Eliza.

Gast: MIT professor Joseph Weizenbaum carries on a dialogue with a computer through a typewriter. A computer can play many roles depending upon how it's programmed.

Gast: I have told the computer that it's to understand what I'm saying. Say, in the context of, uh, of being a doctor. If I then tell the computer, for example, uh, my head hurts. I expect the computer to, uh, to respond to that as, as a doctor might. And the computer responds by saying: Tell me more, uh, about your pains in general.

Peter Slagter: Ja, dit is toch. Ja, dit is toch prachtig? En hij gaat toch-- Ja, dat filmpje gaat gewoon door met andere vragen. En de typemachine die typt terug. Ja.

Bart Mol: Mooi ook dat die computer reageert, die dokter computer in all caps. Een hele boze dokter was dat. Die, uh. Vijf voor vijf. Ik wilde huis. Klaar. Spreekuur is afgelopen.

Peter Slagter: Maar goed. Ja, als je je verplaatst in mensen die in die tijd leefden, dan is het natuurlijk totaal buitensporig wat er allemaal plaatsvond in die toekomst van zo'n intelligente machine. Die leek best wel dichtbij. Maar goed, ja, die zomer die begon toch wat koeler te worden. Ja, dit is altijd zo. Na zomer volgt herfst en dan de winter. De blaadjes werden geel. Het begon een beetje te kraken. Die expert systemen die lieten best wel zien dat zo'n computer logische problemen konden oplossen. Dendral bijvoorbeeld werd echt wel als een geslaagde toepassing gezien. Alleen men liep wel aan tegen een muur. Het opschalen naar grotere problemen, dat was echt te moeilijk. Hoe rommeliger de werkelijkheid werd, des te kwetsbaarder die systemen bleken te zijn. En die zelflerende systemen, die kwamen eigenlijk nog steeds nauwelijks vooruit. Want de hoeveelheid data, dat groeide eigenlijk te langzaam. En een gebrek aan rekenkracht, dat bleef toch de vooruitgang blokkeren. Die blokkeerde de route van de theorie naar de praktijk.

Peter Slagter: En zonder praktijk kun je natuurlijk ook moeilijk toetsen of die theorie wel klopt. Want ze hadden wel ideeën, maar ja, werkt het ook echt? En rond het begin van de jaren zeventig begonnen de geldschieters, die natuurlijk een belofte hadden gekregen van joh, over tien, vijftien jaar, dan zijn jullie schatje hemels rijk, die vroegen zich af waar blijven die intelligente machines? Nou, de budgetten werden teruggeschroefd. De AI zomer die kwam ten einde. En, ja, dan, na Dartmouth, na die summer studies, was er wel van alles gebeurd, maar er was nog geen denkende machine, maar wel een naam voor een vakgebied en heel veel plannen om verder te gaan. Ja, want moest je nou zo'n machine vertellen hoe die moest denken? Of moest je hem nou laten leren? En dat zijn twee routes. Die gaan we op de Turing Line verder volgen. Dat was mijn spreekbeurt, Bart.

Bart Mol: Ja, heel mooi. Ik wil daar een leuke leestip aan toevoegen voor de mensen die niet kunnen wachten totdat wij alle twee die twee nieuwe metrotunnels doorvliegen aan de hand van Peter zijn prachtige verhalen en fragmenten. Ik heb hem al eerder getipt, maar ik ga het nog een keer doen omdat hij hier gewoon zo goed bij aansluit. En dat is het boek The Infinity Machine. Dat gaat over Demis Hassabis, DeepMind and the quest for super intelligence. En waarom is dat interessant? Omdat Peter net die twee stromingen prachtig uiteenzet. Die symbolisten en die connectionisten. En het grappige is dat die connectionisten ook weer op honderd verschillende manieren van elkaar verschillen over hoe ze superintelligentie bij elkaar gingen halen. En wat het leuke is dat Demis Hassabis op een gegeven moment in zijn carrière tot de conclusie kwam: hey, die rekenkracht, die is er wel. En hoe zij bij DeepMind, later overgenomen door Google, naar dit probleem keken, is als wij genoeg rekenkracht hebben, dan kunnen wij agents zo vaak in een soort van digitale simulatie laten leren dat ze vroeg of laat daar uit zullen komen met een bepaalde kennis en vaardigheid over een bepaald gebied.

Bart Mol: Dat hebben ze bijvoorbeeld gedaan met schaken, maar later ook nog eens met Go. Dat is een spel wat eigenlijk heel moeilijk is om te spelen. Heel veel verschillende zetten en daar hebben zij, middels reinforcement learning en neurale netwerken, een machine gemaakt die beter was dan de beste mens en ook met nieuwe zetten kwam, dus niet alleen aan het brute forcen was, maar ook prachtige nieuwe creatieve dingen verzon. En toch is DeepMind niet het grootste AI-bedrijf op dit moment. Toch hebben ze op een gegeven moment de boot ergens gemist, want toen kwam opeens OpenAI om de hoek zetten. Althans, hun uitvinding trouwens, die van Google was, een andere afdeling binnen Google die OpenAI heeft gepakt en mee aan de haal is gegaan, namelijk transformers en LLM's. En zij zeiden: we hebben niet alleen rekenkracht nodig, we hebben ook heel veel data nodig. En als we data en rekenkracht combineren, dan komt er vanzelf intelligentie uit. Dat bleek ook voor een groot gedeelte waar te zijn. En dat is ook de reden waarom Google DeepMind opeens ook natuurlijk wel aan de slag is gegaan, enigszins met tegenzin, met de LLM's en de transformers en noem het allemaal maar op.

Bart Mol: Goed, dit komt in dat boek, wordt dit helemaal besproken. Dus dat eerste gedeelte over de symbolisten en de connectionisten, dat wordt kort besproken, maar daarna gaat het eigenlijk over de afgelopen 26 jaar en hoe DeepMind en later OpenAI en Anthropic en noem het allemaal maar op, hiermee aan de slag zijn gegaan. En dat is echt, ja, ik vond het een van de beste boeken die ik in tijden gelezen heb. Die auteur, Sebastian Mallaby, fantastisch. Die schrijft op een manier dat je midden in het verhaal zit, maar het is wel een echt verhaal. Je steekt wel dingen op. Je snapt wel hoe het werkt en hoe dat gegaan is en hoe de ene uitvinding op de andere doorpakte en hoe dat van links naar rechts bewoog binnen dat wereldje met connectionisten. Dus ik zal de link in de shownotes zetten naar dat boek, naar Amazon. Dan kan je hem bestellen en lezen en dan ben je helemaal op de hoogte voor de volgende Turing Line.

Bert Slagter: Ik heb ook het filmpje van Eliza met die hoofdlettertypende computer heb ik ook even een linkje van gemaakt. Die deelde Peter een paar weken geleden bij ons in het kanaal. Dat is namelijk echt een heel leuk filmpje om gewoon helemaal te kijken. Ik denk een minuut of 30, 35 met allemaal, ja, moderne apparaten uit de jaren 60. Echt grappig.

Bart Mol: Ja. Nou, alright, dan zijn we aan het einde gekomen, dames en heren, van afleveringetje nummer 15 alweer van Turing Station. Ik wil jullie hartelijk bedanken voor het luisteren en Bert en Peter, jullie natuurlijk voor alle interessante inbreng weer deze week. Wil je nou op de hoogte blijven via onze nieuwsbrief waarin we alles wat we vertellen in een aflevering, al die shownotes en een hele samenvatting delen? Dat kan. Dat kan via turingstation.nl, schrijf je daar in. En als je lid bent geworden, dan kan je dus ook volledig gratis deelnemen aan onze community op Discord. Daar wordt het steeds drukker, steeds gezelliger. Ja, en daar zitten wij ook, en andere AI-fanaten, dus daar worden ideeën gedeeld. Nieuwe dingen die gemaakt zijn, de nieuwtjes die langskomen, nieuwe modellen die getest worden. Nou ja, goed, heb je daar behoefte aan, dan ben je daar dus ook van harte welkom via turingstation.nl. Wil ik jullie voor nu bedanken voor het luisteren en zien we jullie graag gewoon weer terug voor aflevering 16.

Bart Mol: Volgende week woensdag dezelfde tijd, dezelfde zender. Tot volgende week! Later.

Bert Slagter: Tot volgende week. Doei.