Beslismachine Jev, OpenAI sloopt de wiskunde en AI-films als kijktips

Peter Slagter: Ja, kijk, effe zijn stem erdoorheen. Dat is toch wel lekker.

Bert Slagter: We zijn er weer.

Peter Slagter: Ja, precies. Hij is er weer.

Bert Slagter: Ja.

Peter Slagter: We gaan, ja, eerst natuurlijk eventjes even kijken naar wat onze luisteraars allemaal gezegd hebben, gemeld hebben. In de vorm van vragen, reacties, commentaar. Ja, ten eerste best wel veel reacties op ons fragment. Het was eigenlijk meer dan de helft van de aflevering, Bert, over de digitale atoombom. En ja, ondanks dat we die term hebben gebruikt, hebben we weinig paniek gezien. Dat is fijn, want zo was het ook niet bedoeld. Marije, die zei op Spotify bijvoorbeeld: in een andere podcast werd ik erg ongemakkelijk bij het onderwerp. Kan me inderdaad heel goed voorstellen, want-

Bert Slagter: Ja

Peter Slagter: ...ja, dit wordt soms ook, ja, tegen het alarmistische aan besproken, hè, dus dan krijg je allemaal ongefundeerde doemscenario's om je oren geslingerd. Ja, daar word je ongemakkelijk van of onrustig van. Moet je er nou mee? Is het echt zo? Is het nou, maar Marije zegt: dat is nu weg. Het voelt niet meer als een apocalypsscenario. Nou, dat is mooi. Die nuance, die relativering, heb je denk ik ook nodig als je over dit soort thema's spreekt. Martijn, die vroeg op YouTube wat we zelf kunnen doen in deze context. Dus in de context van joh, ja, we zijn met z'n allen digitale atoombommen aan het maken. Bert en ik die zeggen: ja, dikke kans dat die er komen. En als dat zo is, als je dat aanneemt, is de kans ook vrij groot dat er onderweg eentje ergens afgegaan is. Wat kunnen we nou zelf doen? Nou, hij had het ook over de Pro Human-bijeenkomst van Max Tegmark. Daar waren Bernie Sanders en Steve Bannon ook aanwezig.

Peter Slagter: Ja, die Pro Human-beweging, die is al een stukje ouder, hè, dat gaat, ja, dat is een vrij grote groep wereldwijd volgens mij ook. Je kan je erbij aansluiten en die behartigen eigenlijk het standpunt dat AI vooral mensen moet dienen, en niet andersom. En, ja, dus en dan even op de vraag van: ja, wat kun je nou, hè, wat dan? Ja, de vraag is denk ik vooral: waar kun je zelf invloed op hebben? En ik dacht, ja, toen ik dat las, belandde ik al vrij snel in een, voor mezelf in ieder geval een heel uitgebreid overdenk. Dacht van: oké, even een stapje terug. Misschien moeten we het gewoon even categoriseren. Maken we er iets meer een denkraam van. Het categoriseren van het soort schade dat door AI kan worden toegebracht. En dan heb je bijvoorbeeld hele alledaagse schade door fraude of door deepfakes of privacygebied. Je hebt maatschappelijke ontwrichting, hè, op het gebied van banen, machtsconcentratie, desinformatie. En je hebt de catastrofe.

Peter Slagter: Nou, daar hebben we het vorige week uitgebreid over gehad. Daarentegen, die eerste categorie kun je denk ik zelf best wel veel doen. Je kunt jezelf er in ieder geval weerbaar tegen maken. Maar dat laatste, ja, dat speelt zich helemaal af eigenlijk buiten je eigen invloedssfeer. En dan kun je eigenlijk maar, denk ik, één ding doen en dat is het tot jezelf beperken. Je eigen cirkel van invloed, je kinderen, je gezin, je vrienden, je familie. Dan hoef je niet een bunker te bouwen of zo. Dat gaat meer over begrijpen wat er gebeurt. Dus hier naar luisteren, dan heb je eigenlijk al een stapje voor, denk ik. Je kunt er dan over praten, je kunt er gesprekken over voeren, je kunt er misschien je carrière, of weet je wel, afhankelijk van wat voor werk je doet, rekening mee houden. En als je meer wil dan dat, ja, dan moet je eigenlijk gewoon een soort van de politiek in. Of bij een AI-lab gaan werken, of de diplomatenbetrekkingen in of zo. Bert.

Bert Slagter: Ja, er zit nog wel een klein, ik denk dat er best nog wel wat luisteraars zitten die niet meteen CEO van een AI-lab zijn of president van een land, maar wel meer bereik hebben dan een eigen gezin, vrienden en familie. Bijvoorbeeld leiders van een afdeling of bazen van een bedrijf. Of mensen die in het bestuur zitten van een vereniging of dominees in een kerk. Er zijn natuurlijk allerlei wel kleinere structuren waar je wel, ja, een soort leiderschap kunt tonen door mensen hierin mee te nemen. En dat begint natuurlijk door ze allemaal naar, op Turing Station te wijzen. Nee, maar gewoon het meenemen in het verhaal van wat gebeurt hier nu eigenlijk? En te helpen om, ja, om van een soort van primaire angst, wat jij zei, hè, van, hoe noemde je het nou net?

Bart Mol: Ja, doemdenken en apocalyps scenario, dat soort dat. Dat zijn toch een soort emotionele termen. Het wordt in een soort filmisch kader geplaatst om het iets meer gewoon weer terug te brengen naar de aarde van waar hebben we het nu echt over en wat kun je, wat kun je er? Wat kunnen wij ermee?

Peter Slagter: Ja, zeker. Het lijkt me trouwens wel een prachtig onderwerp voor een zondagpreek. Turing Station. Ja. Ten slotte nog even een veelgestelde vraag.

Bart Mol: Bart.

Peter Slagter: Ja.

Bart Mol: Nou, ik haakte even aan op of mensen bunkers moeten bouwen. Ja, dat is natuurlijk lastig voor de normale sterveling. Behalve als je. Je hebt een YouTube-kanaal van zo'n Brit die die bouwt zijn eigen tunnels onder zijn eigen Vinex-woning.

Peter Slagter: Ik heb die wel eens gezien volgens mij.

Bart Mol: Ja, ik zal hem even opzoeken en in de shownotes droppen. Maar ik zat te denken meteen weet je wie er wel bunkers bouwen? De leiders van die AI-labs, die nemen dat toch een stuk serieuzer. Mark Zuckerberg, die bouwt zijn bunker onder zijn landgoed in Hawaï.

Peter Slagter: Ja.

Bart Mol: Sam Altman heeft het er wel eens over gehad in de podcast en de bedenker van, van de wat is het? De ChatGPT-achtige dingen, Ilya Sutskever. Die heeft er intern ook wel eens over gehad. Daar gaat het ook over. In het Empire of AI-boek van Karen Hao komt dat telkens terug. Dat hij het in steeds meer meetings had over de bunker die er misschien toch wel zou moeten gaan komen. En dat is nog wel een dingetje. Waar ik ook aan zat te denken bij jullie uitstekende verhaal vorige week. Je hebt natuurlijk aan de ene kant inderdaad stemmingmakerij aan de onwetende kant. Maar ja, die stemmingmakerij zit natuurlijk ook wel bij deze mannen die toch ook elke week wel met een nog sterker verhaal komen en een nog grotere waarschuwing over een nog grotere wapen. Wat ze. Of iets gevaarlijks wat ze aan het bouwen zijn. Dus zij scheppen zelf. Zij hebben zelf ook wel een dikke vinger in de pap bij het scheppen van dat doembeeld wat jullie overigens uitstekend hebben genuanceerd.

Peter Slagter: Ze zijn in principe de aanleiding. Wel goeie kanttekening daarbij nog is dat het bouwen van grote bunkers onder de rijken toch wel een soort van flex is die ook voor AI al bestond.

Bart Mol: Ja, klopt.

Peter Slagter: Ja, inderdaad.

Bart Mol: Waren meer nucleaire bunkers. Maar goed.

Peter Slagter: Wie de grootste bunker heeft.

Bart Mol: Blijkt het nu om een digitale nucleaire bom te gaan.

Peter Slagter: De grap is juist dat heel soms krijg je dan zo'n soort documentaire over zo'n bunker en dan hangt zo'n bunker vol met allerlei tech. Weet je wel, van spraakassistenten en. Goed.

Bart Mol: Ja.

Peter Slagter: Afijn, we gaan even door naar een veelgestelde vraag. Die gooi ik even voor de voeten van Bert. Namelijk ja, de eentje die komt wel eens binnen. Gewoon via YouTube of Spotify. Of in een gesprek of in een DM. Hey, al die nieuwe modellen, waarom besteden jullie daar zoveel tijd aan? Zijn er tientallen wel honderden als je op Hugging Face gaat kijken? En misschien zijn er wel duizend intussen. Ja, weet je, het zijn er te veel. Waarom? Waarom is dat?

Bart Mol: Ja, ik sprak pas iemand gewoon live. En die zei van ja en die heeft een model en die heeft een model. Jullie hebben het elke keer over al die modellen. Er zijn er zoveel. Wat moet ik daarmee? Er zijn er veel te veel. En ik dacht ja, dat is eigenlijk ook wel, ik worstel daar zelf ook wel mee. Kijk, er zijn soms taalmodellen die uitgebracht worden waarvan wij denken oké, dit moeten we bespreken, want dit is echt opzienbarend. Dit kan heel nieuwe soort dingen. Dit ontsluit allerlei nieuwe mogelijkheden. Dit moet iedereen zo snel mogelijk weten, want hier kun je iets mee. Bijvoorbeeld of dit betekent iets in geopolitieke context, dat soort dingen. En er zijn soms ook modellen die worden uitgebracht waarvan het heel duidelijk is ja, dat hoeven we niet te bespreken. Is gewoon een kleine update. Dat mensen die die familie gebruiken, die zien hem vanzelf verschijnen. En soms zit er een groep tussen waar wij dan ook over twijfelen. Moet je dat nou bespreken of niet? Is het nou de moeite waard? Is het signaal of is het ruis? Waarom we ze bespreken?

Bart Mol: Ik heb drie redenen waarom wij soms modellen willen noemen, ook bij jullie onder de aandacht willen brengen. En dat is bijvoorbeeld om het speelveld te kennen. Wie zijn nou de belangrijke spelers in AI? Ik zat gisteren even Lubach terug te kijken. Die had het namelijk ook over de Hugging Face incident. En dan komt er linksboven zo'n kaartje met allemaal logo's van die labs. Maar dat zegt je helemaal niets als je het niet hebt. Als we niet af en toe eens wat over hebben. Oh ja, OpenAI, Anthropic. Die kennen we dan nog wel, maar Meta. Oh ja, dat is van Facebook. Hey, die hebben ook een model en die kunnen dat integreren in WhatsApp en Instagram. Oh ja, weet je wel. En dan gaan die dingen een beetje leven. En dan ga je ook merken dat een flink deel zit in de Verenigde Staten. Een flink deel zit in China. Je krijgt een beeld bij de geopolitieke balans. Hoe zit het dan met Europa? Daarom hebben we het af en toe over Mistral en dat daar bijvoorbeeld een investering in plaatsvindt. Maar ook zijn die modellen, kunnen die modellen dan daadwerkelijk wat? Zijn ze daadwerkelijk een machtsfactor?

Bart Mol: En dat zegt natuurlijk ook wel weer heel dat helpt je begrijpen als, nou ja, Trump en Xi Jinping er een ontmoeting over hebben of als er in de VN over gesproken wordt. Hoe zit dat nou precies? Of als Ursula von der Leyen komt met we moeten dit en dit investeren erin. En een derde punt is het is ook aardig om een beeld te houden bij hoe open en gesloten modellen zich tot elkaar verhouden en hoeveel lopen die open modellen nog achter? Of komen ze juist dichterbij? En ook het facet van wat kun je lokaal draaien daarin? Dus wat kun je lokaal op je eigen apparatuur? En dat is dan misschien speciaal wel voor de knutselaars interessant en minder voor de mensen die dit volgen om het als fenomeen te volgen.

Bert Slagter: Maar goed, dat zijn dan redenen waardoor wij denken van: nou, dat valt aan de kant van het lijntje waarom we hem wel even willen bespreken zodat jullie een beeld van het speelveld en het landschap opbouwen.

Bart Mol: Ik las de vraag ook nog, of in ieder geval, ik las hem verkeerd, maar dat, er kwam wel een interessante vraag uit, namelijk van ook hoe doen jullie dat zelf eigenlijk? Gewoon überhaupt al die nieuwe modellen bijhouden en zo. En ik ben een paar maanden terug of een half jaar terug of zo wel tot de conclusie gekomen: het is, ja, soms mis je wat. Je mist wat, je bookmarkt het, je wil het gaan gebruiken en het lukt niet. Jullie hebben het vorige week over die nieuwe Linux distro gehad. Dat is precies zoiets. Weet je, ja, dat is iets wat je soms wel probeert en soms niet. Soms heb je een nieuw imagemodel. Je hebt Muse, de nieuwe AI agents van Meta. Je hebt Grok Bot, de AI agents van xAI. Je hebt Codex, je hebt Claude Code, je hebt Claude Design. Dat zijn, dan heb ik het niet eens over modellen. Dat zijn een soort harnassen of tools. Ja, zet het op je lijstje. Probeer elke week een uurtje vrij te maken op een bepaalde dag om één van die dingen in ieder geval uit te proberen. En heb daar vrede mee. Je kan niet alles uitproberen. Er zit Higgsfield, daar kan je video's maken.

Bart Mol: Je kan nieuwe ChatGPT Image, kan je weer mooiere plaatjes maken. Weet je, je kan met Suno kan je muziek maken. Als je alles wil doen, dan eindig je eigenlijk met niks waarschijnlijk. Dus, pik er eentje uit, probeer die en heb er vrede mee. En zit jezelf niet zo op de kop dat je niet alles hebt kunnen proberen. Niemand kan dat. En de influencers die zeggen dat het wel kan, die liegen tegen je.

Bert Slagter: Ja, ik heb trouwens Muse geprobeerd en dat heeft me precies één minuut gekost, want toen kwam ik erachter dat het niet beschikbaar is in Europa. Dus dat.

Bart Mol: Die kan je afstrepen.

Bert Slagter: Maar goed, ik vind het wel een hele goeie gedachte Bart, van wat je beschrijft, hè. Probeer het, niet per se omdat je er iets mee moet bouwen, maar omdat je, kijk, als je deze podcast luistert, dan behoor je tot de voorhoede. Je behoort tot de pioniers, de mensen die deze ontwikkeling, waar we, over 20 jaar gebruikt iedereen het zonder dat ze het doorhebben. Maar jij hebt het begin meegemaakt en dat helpt je straks, de komende 50 jaar, begrijpen wat dit is, hoe het werkt en hoe het tot stand gekomen is. En dat begrijpen wordt veel tastbaarder als je het af en toe probeert. Dat je ziet: hé, dit kon eerst niet en dit kan nu wel. Hé, dit was eerst 5 minuten, nu 2 seconden. Dat soort ontwikkelingen, dat maakt tastbaar hoe die exponentiële groei zich manifesteert, hoe dat eruit ziet, hoe dat werkt. Dat niet het elke keer een klein beetje beter wordt, gradueel, lineair, maar dat dingen eens helemaal niet kunnen. Daarna een heel klein beetje en daarna in één keer fantastisch, geweldig en je hoeft er niks meer aan te doen.

Bert Slagter: Nou, dat gewoon merken en ervaren is onwijs waardevol.

Bart Mol: Zeker. Het doet me een beetje denken, die Formule 1-coureurs, hè, die hebben soms van die reactiespelletjes. En eentje is dat ze een soort stokjes, laten we zeggen 10 stokjes, boven zichzelf hebben hangen en die vallen random naar beneden. Dus in het begin is dat heel moeilijk en dat wordt steeds makkelijker. En de tactiek is altijd volgens mij als je er eentje gemist hebt, direct let it go. Die heb je gemist. Sunk cost, gaat je niet meer lukken. Focus je op de volgende, want op het moment dat je blijft hangen, dan mis je de volgende ook en de volgende ook en dan mis je ze eigenlijk allemaal. En dat is ook hoe dit voelt. Soms mis je gewoon wat. Die heb je dan gemist. Heb je niet geprobeerd, komt wel weer wat nieuws uit. Probeer die gewoon en ga lekker verder met je. Er is zoveel te proberen in de AI-wereld. Zonde om te blijven hangen in het verleden.

Bert Slagter: Over blijven hangen gesproken, dat gaan we nu ook niet doen. We gaan gewoon zeggen: we gaan naar wat nieuwtjes.

Bart Mol: We gaan door. Ik wilde het net gaan zeggen: we gaan door. We gaan door. In het kort, daar komt ie aan.

Bert Slagter: Eens even kijken. Ja, we gaan, ik pak hem gewoon even op. Ik kwam iets tegen dat ingestuurd werd door een luisteraar van Turing Station. Dat vond ik leuk. Ik zal zo meteen onthullen wie dat is. En het gaat over iets dat denk ik best wel herkenbaar is, hè. Dus je stelt een vraag aan, nou weet ik veel. Laten we even ChatGPT als voorbeeld nemen. Bijvoorbeeld, dit deed ik pas geleden. Wat is eigenlijk de beste editie van de Mac mini in termen van prijs-kwaliteitverhouding? Nou, als je dat vraagt, kan het zomaar eens zijn dat je een soort rapport terugkrijgt waarvan je het idee hebt: hé, daar hebben de consultants van McKinsey aan gewerkt, weet je wel. Zo ziet dat eruit. Je zou het direct geloven, maar bij een aantal details gaat er toch iets, gaat er zo'n lampje branden van: nou, dat kan bijna niet waar zijn, weet je wel. Dan krijg je te horen van: ja, Mac mini's zijn tegenwoordig erg geschikt, bijvoorbeeld voor AI-toepassingen. Ja, deze editie, beter krijg je eigenlijk niet voor je geld. €2.000 voor 128 gig RAM.

Bert Slagter: Ja, dat is echt, weet je, dan lees je dat en dan denk ik van: ja, €2.000, 128. Dit kan niet. En dan ga je zelf kijken en dan is het, weet ik veel, €5.000 of zo. Dus ja.

Bart Mol: Ja, ja.

Bert Slagter: Klopt voor geen meter. En dat is natuurlijk irritant als je gewoon, ja, je vraagt niet voor niets, je stelt niet voor niets die vraag. Je wil dan ook een antwoord dat klopt.

Bart Mol: Weet je, dat is met die game pc voor je zoontje laatst.

Bert Slagter: Precies.

Bart Mol: Die ook 10 keer zo duur was omdat de RAM-prijzen omhoog waren.

Bert Slagter: Ja, en als je ze er dan op wijst, dan is het van: oh, je hebt helemaal gelijk. En dan kan die alsnog heel overtuigd met een ander niet op opdracht komen. Goed, dat terzijde. Kijk, dat is voor een consument vervelend, maar voor het bedrijf dat zijn producten en zijn diensten aanbiedt, ja, natuurlijk ook. En die kan daardoor in heel verkeerd daglicht komen te staan. Nou en Matt Timmermans, dat is onze luisteraar, die heeft een bedrijf, Timmermans Media. Die heeft daar onderzoek naar gedaan en heeft onderzocht: wat krijgen klanten nou te horen over bedrijven als ze daar vragen over stellen? Nou, en het goede nieuws is: het meeste van die vragen die hij dan gesteld heeft in zijn onderzoek, die werden goed beantwoord. ChatGPT zat op een fout percentage van 2,7%. Heb ik weer, hè, 2 komma, nou goed, zat ik daartussen. Gemini op 1,1%. Perplexity, die stak er met kop en schouders bovenuit. Ja, normaal gesproken is dat iets positiefs. Dit keer

Peter Slagter: Niet foutpercentage van 9,2%, dat is wel serieus. Één op de tien vragen gaat de mist in. En van de foute antwoorden was maar 11%, dat vind ik nog steeds wel veel eigenlijk, totaal verzonnen. De meeste fouten die worden gemaakt vanwege verouderde data. Dus bijvoorbeeld een oude prijs of een prijs die niet echt goed opgehaald kan worden omdat die ergens verborgen in zo'n prijscalculator zit of zo, weet je wel. Of een actie die is verlopen of een voorwaarde die is gewijzigd. Maar al die gegevens worden wel met volle overtuiging als actueel feit gepresenteerd. En Matt die schreef daarover, volgens mij was het op frankwatching.com. Het linkje staat in de shownotes. Die gaf wat praktische tips aan ondernemers. Nou, natuurlijk, zorg ervoor dat de informatie op je eigen website altijd up-to-date is. Dat is veel belangrijker dan hiervoor. Maar ook, zorg ervoor dat informatie over jouw producten en diensten bij derde partijen proactief bijgewerkt wordt, want dat viel hem ook op in zijn onderzoek.

Peter Slagter: Het is niet altijd zo dat de informatie die wordt gepresenteerd van de website van de leverancier komt. Dat kunnen ook best websites van derde partijen zijn. En dat is natuurlijk een verschil met als jij zelf als persoon onderzoek gaat doen, dan ga je toch vaak eerst even naar de website van de leverancier over het algemeen om daar in ieder geval te kijken van: wat is nu waar? Ja, die neiging die hebben large language models niet altijd. Die gedragen zich niet precies hetzelfde als jij of als ik. Dus dat vond ik wel een goede tip. En daarvan zijn jullie nu ook op de hoogte.

Bart Mol: Ja.

Peter Slagter: Bart.

Bart Mol: Ja, nou.

Peter Slagter: Over nieuwe modellen gesproken.

Bart Mol: Precies. Ik hoorde net dat luisteraars het graag vaker over op de hoogte gehouden willen worden, dus dat zal ik meteen even doen. Nee, we gaan het heel kort houden, maar ik vind het wel belangrijk om het te noemen. Want dit zijn, ja, dit zijn de frontier labs. Dit zijn de bedrijven die op dit moment aan het strijden zijn om die digitale atoombom als eerste te krijgen om, ja, de nieuwste modellen te maken. Het zijn de beste modellen. Ze proberen elkaar de loef af te steken en dat is interessant om in de gaten te houden. Ik heb het natuurlijk over OpenAI en Anthropic. Anthropic kwam als eerste met Claude Opus 5.5. Nou, dat is interessant. De meeste mensen kennen Opus, denk ik wel. Je hebt Haiku, Sonnet, Opus en Fable. Fable was, ja, het beste wat er ooit gemaakt was, tot nu toe. En die is voorbijgestreefd door Opus op dit moment. Opus 5.5. Althans, dat zeggen ze zelf. Dat gaan we deze week dus uitproberen. Mijn initiële reactie is: ja, werkt prima voor wat ik het gebruikt heb afgelopen dag, maar ik moet ook zeggen dat ik geen wiskundige problemen heb proberen op te lossen.

Bart Mol: Althans niet degene waar je $ 1 miljoen voor krijgt. Dan hebben we OpenAI nog. Die kwamen met GPT Sol en Luna6. Die zitten in dezelfde familie als Astra. Waarom is het interessant? Nou, deze hebben net een iets andere weg ingeslagen als Anthropic. Namelijk deze modellen zijn vrij goedkoop. En ze zeggen natuurlijk wel weer: ja, deze zijn ook weer veel slimmer dan de Sol en Luna5.6 die hiervoor waren. Ja, en dat is interessant omdat we het straks in deze aflevering ook gaan hebben over Jeth. En ja, die schermen ermee heel snel en supergoedkoop te zijn. Ja, dat is natuurlijk wel interessant als je dan ook modellen krijgt die ook heel slim zijn en ook supersnel en supergoedkoop, want dat levert weer allemaal nieuwe use cases op. Gaan we het straks uitgebreid over hebben. Ik ben wel benieuwd, over een weekje mensen, laat even weten welke jullie gebruiken en voor welke use cases wat jullie gemaakt hebben en of jullie ook een verschil merken. Als je bijvoorbeeld veel Fable gebruikt hebt, is Opus dan net zo goed? Als je veel Astra gebruikt hebt in Codex, ja, is Luna of Sol dan eigenlijk ook wel fijn of juist niet?

Bart Mol: Ben wel benieuwd wat jullie ervan vinden.

Peter Slagter: Ik heb ze gisteren allemaal al een stukje Bach laten componeren. Een koraal van Bach. Denk aan de aflevering van twee geleden en Opus 5.5 was echt heel goed. En die had, heeft echt een eigen unieke smaak die ik bij geen enkel ander model ben tegengekomen. Echt opvallend, en geeft echt blijk van inzicht in wat hij aan het doen is. Luna en Sol, ook Sol op de allerhoogste settings, Sol6, viel heel erg tegen. Heel matig, misschien wel slechter dan 5.6 Sol. Dus wat dat betreft, ik heb het vermoeden dat Sol gaat tegenvallen en Opus gaat, ja, meevallen, ten positieve gaat opvallen.

Bart Mol: Ja, precies.

Peter Slagter: Maar dat gaan we volgende week hebben we natuurlijk veel meer praktijkervaring.

Bart Mol: Ja.

Peter Slagter: Voor zolang dat duurt. Oké, ik heb ook nog even een praktische tip voor iedereen. Ik zag een artikel langskomen gebaseerd op onderzoek van 404 Media. Die hebben er wel, die zijn redelijk goed in het signaleren van dingen die even niet kloppen of een misstand of zo. Rapporteren ze dan ook uitgebreid over. Dit keer ging het over OpenAI. Had net zo goed, ja, nou, wat anders, denk ik, over Anthropic kunnen gaan. Of over Google Gemini of DeepMind. Weet ik veel wat. Veel van die labs die huren freelancers in om de antwoorden die gegeven worden door die taalmodellen te beoordelen op allerlei criteria. En daarmee trainen ze die modellen weer. En dat gaat ook over echte gesprekken van gebruikers. Die worden dan samengevat en die worden dan aan zo'n freelancer, aan zo'n reviewer voorgelegd. En het idee is dat het anoniem gebeurt uiteraard. Maar ja, dat is een proces, dat voel je wel aan. Dat is natuurlijk lastig, want je wil natuurlijk enerzijds, ja, zo compleet mogelijk beeld geven om het review goed te kunnen doen en anderzijds, ja, de persoonlijke gegevens van degene van wie het gesprek is beschermen.

Peter Slagter: Dat gaat niet altijd goed. Ja, uit interne documenten blijkt dat ze soms hele gesprekken te zien krijgen, dat persoonlijke gegevens daar structureel in doorlekken. Die reviewers die krijgen ook user memory summaries. Nou, die bevatten dan informatie over eerdere gesprekken en soms ook gewoon context over het privéleven of over de carrière of de zaken van de gebruiker. Ja, sommige prompts die bij de reviewers terechtkomen, die bevatten bijvoorbeeld: hou dit even tussen ons. Dat is dan wat de gebruiker heeft getypt om vervolgens een gesprek aan te gaan. Dat komt daar dan te liggen. Tja, dat geeft natuurlijk een beetje een.

Bart Mol: Ja.

Peter Slagter: Dat knaagt uiteraard. En, nou, ik denk dat dit proces in de toekomst, hè, dat dat aangescherpt wordt, verbeterd wordt en dat zullen ze allemaal doen. Dus dit zullen ze niet expres doen, maar ik kan me wel voorstellen dat je graag zelf wil voorkomen dat dit jou overkomt. Nou, dan kun je, in het geval van ChatGPT eventjes de app openen in je browser of in de app zelf, op je profiel icoontje klikken, naar settings gaan. Dan selecteer je daar Data Controls en dan zet je het schuifje op off bij de instelling Improve the model for everyone. Dit kan alleen als je, dit gebeurt eigenlijk alleen bij persoonlijke accounts. Dus als jij een account gebruikt via je zaak of iets dergelijks of een enterprise abonnement, I don't know, dan gebeurt dit niet. Dit geldt ook voor Anthropic. Dit geldt ook voor Gemini. Die hebben allemaal soortgelijke schuifjes en op soortgelijke manieren kun je die aan of uitzetten. Ja, en dan val je wel of niet in zo'n feedback programma. Bart?

Bart Mol: Ja, ik heb iets wat je gewoon moet kijken. We zullen er vast nog een keer op terugkomen, maar het valt een beetje in de categorie er gebeuren ongelooflijke dingen. Nou, we hebben het vaak natuurlijk nu over AI en dan vooral natuurlijk over de LLM's en alles wat daar een beetje omheen hangt. Maar er gaan ook weer tijden komen dat er weer een andere doorbraak is op een ander gebied van AI waar we het over zullen gaan hebben of in een aangelegen gebied. Hé, je zou bijvoorbeeld AlphaFold, hè, dat proteïnen vouwen, wat Google of in ieder geval DeepMind toentertijd heeft gedaan. En toen zag ik nog iets. Elon Musk is natuurlijk al jaren bezig met een chip die je kan implanteren, ja, in je hersenen kan zetten, die dan een beetje mee kan luisteren eigenlijk. Dat is een beetje het idee. En daar zag ik een filmpje. Ze hebben een trial gedaan en er was een man die had ALS. Die kon steeds slechter praten. Ja, en daar hebben ze een chip in zijn brein gezet en dan kunnen ze bepaalde brain waves uitlezen en die kan nu weer praten. Nou ja, ik zou gewoon zeggen het linkje staat in de shownotes.

Bart Mol: Ga dat kijken, het is echt best wel ontroerend. Ja, het is natuurlijk ook Amerikaans, dus dat zal ook het doel wel geweest zijn. Maar het is technisch ook wel impressive. En ja, het geeft je toch een kijkje in de toekomst dat je denkt nou ja, als je genoeg over atoombommen gehoord hebt dat je even denkt oh ja, ja, dit zijn dan die positieve dingen waar mensen het ook wel eens over hebben. En die zijn er dus blijkbaar ook wel echt. Ja goed, ga het kijken. Interessant. Zes minuutjes. Het is leuk om te zien.

Peter Slagter: Ja, ik vind het wel een perfecte brug naar het laatste itempje. Dat gaat namelijk over atoombommen. Maar ik begin even met de fysieke atoombom. En ja, daarvoor, vorige week hadden we het er over. Daar geldt er tussen een soort machtsevenwicht, hè, en onderdeel van dat evenwicht zijn allerlei communicatiekanalen die zijn opgetuigd door de jaren heen tussen de machten. Na de Cubacrisis bijvoorbeeld werd er een hotline in het leven geroepen tussen Washington en Moskou. Die heeft één functie, voorkomen dat een specifiek incident of een verkeerde inschatting of, ja, bij wijze van spreken een nieuwsbericht, door gebrekkige communicatie uitgroeit tot een nucleaire oorlog. Er wordt wel eens weergegeven als een rode telefoon, weet je wel, op het bureau van Poetin en op het bureau van Trump. En als één van de twee hem opneemt, dan neemt de ander hem ook tegelijkertijd op. En dan zeggen ze tegen elkaar: dit was niet de bedoeling. Oké, nou, dan gaan we geen bommen gooien. Weet je wel, dat idee. Nou en later, dit ding bestaat nog steeds trouwens.

Peter Slagter: Het is geen telefoon, maar het is nu beveiligd e-mailverkeer, dus gaat het dan direct heen en weer tussen Moskou en Washington. Later-

Bart Mol: Zit Poetin dan achter diezelfde computer-

Peter Slagter: Dat weet ik niet.

Bart Mol: Waarachter hij zat te stemmen, zeg maar?

Peter Slagter: Ja, ja.

Bart Mol: Met die activatie van Windows in de linkerkolom.

Peter Slagter: Nou ja, goed. Later werden er nog andere dingen opgetuigd. Nuclear Risk Reduction Centers bijvoorbeeld. Die zijn meer gericht op in plaats van in nood dingen zeggen, maar routinematig berichten uitwisselen, bijvoorbeeld over raketlanceringen, oefeningen of andere dingen die wel eens verkeerd geïnterpreteerd zouden kunnen worden. En die kanalen, die bestaan nu nog, die worden bemand en die zijn in werking en het is gewoon onderdeel van het machtsevenwicht. Ik vertel dat even omdat ik deze week iets in de New York Times las, namelijk dat de Amerikaanse minister van Financiën, Scott Bessent, gesproken heeft met de vicepresident van China, He Lifeng. En het onderwerp: een mechanisme om elkaar te waarschuwen in het geval dat de nationale veiligheid in het geding komt door een AI-incident. Ja, dat is toch een soort van Washington-Peking hotline of zo? Nou, ik dacht toen twee dingen. Ik vond het even als terugblik naar het item van vorige week wel interessant. Dat zou, het oprichten van zo'n lijn zou in ieder geval sneller zijn dan bij de fysieke atoombom.

Peter Slagter: Toen moesten er eerst een paar afgaan voordat zo'n hotline kwam. Maar misschien belangrijker is een vooruitblikje op wat er deze week nog allemaal aan nieuws naar buiten gaat komen. Want dat gesprek tussen Bessent en Lifeng, dat is een opmaat naar het bezoek van Xi Jinping, de president van China, aan de VS. Ja, die is volgens mij gisteren of eergisteren aangekomen. Die gaat met Trump praten. Onder andere natuurlijk over AI en over vertragen of juist versnellen. Ja, hè, of ze dan het achtste van hun tong laten zien, dat betwijfel ik. Maar het gaat ongetwijfeld weer nieuwsberichten opleveren in het AI-katern en dan ben je daarvan op de hoogte. Ja, wat mij betreft, gaan we door Bart, naar iets wat, ja, op zijn zachtst gezegd, nou ik denk toch wel een uurtje of 48 mijn X-tijdlijn domineerde.

Bart Mol: Ja, dat is Jev denk ik.

Bert Slagter: Jev?

Bart Mol: Met een v aan het eind.

Bert Slagter: Dat is zeker Jev. Ja.

Bart Mol: JEV, Jev.

Bert Slagter: En Bert, dat deed me een beetje denken aan dit. Misschien moeten we Jev zichzelf even laten introduceren.

Bart Mol: My name is Jev. Wat is dat nou weer voor type?

Bert Slagter: My name is Jev.

Bart Mol: My name is Jev. Ja, ik kan hem weer niet. Ja, 21 Jump Street. Nou ja, daar heb je een leuk filmpje om te gaan kijken. Maar ga verder Bert, ik zal je niet meer inbreken met allemaal gekkenliedjes.

Bert Slagter: Nee. Ja, ik ken hem wel even. Maar ja, nee, de introductie zelf was minstens zo legendarisch. Met een filmpje en een ronkend Twitterbericht van iemand die zegt: Ik was een van de mede-uitvinders van ChatGPT en ik zat maar bij mezelf te denken: hoe kan het nou dat dit soort geweldige modellen nog geen superintelligentie veroorzaakt hebben of AGI veroorzaakt hebben? En ik heb er twee jaar over na zitten denken en ik heb de oplossing gevonden. En hij heet Jev. Het is 200 keer zo snel en is 400 keer zo goedkoop. Dit is de kortste route naar AI based economic revolution. Nou, iedereen die dat las die dacht van: oké, hier moeten we naar kijken. Dit zijn getallen, daar komen we ons bed voor uit. Dus ja, ik begrijp wel dat het voor enige ophef zorgde. Jev is een ander ding dan de taalmodellen die we tot nu toe allemaal gebruiken. Of het nou is met het programmeren in Codex of Claude Code, of dat je er vragen aan stelt of een beetje samenwerkachtige zaken.

Bert Slagter: Daarachter zitten allemaal taalmodellen. Eigenlijk alle modellen die we de afgelopen dertien afleveringen ongeveer besproken hebben, zitten in die categorie. Je hebt natuurlijk ook plaatjesmakers en videomakers en dat soort dingen. Maar Jev is eigenlijk een nieuwe categorie in deze tijd, namelijk het is een beslismodel. Die schrijft geen tekst, schrijft geen broncode, geeft geen proza antwoorden op je vraag, maar hij kan wel heel goed beslissingen nemen. Nou, even een voorbeeld van wat Jev zou kunnen. Nou, stel dat er een e-mail binnenkomt van een klant en je wil eigenlijk een aantal vragen beantwoord hebben over die mail. Bijvoorbeeld: naar welke afdeling moet dit? Welke afdeling moet het behandelen? Hoe gefrustreerd klinkt de klant? Vraagt hij om een terugbetaling, ja of nee? Dreigt de klant op te zeggen, ja of nee? Dat soort vragen. En dan kan je die mail aan Jev geven en daarbij de vragen waar je antwoord op wil.

Bert Slagter: En het soort antwoord heb je eigenlijk drie opties voor. Je kunt zeggen van: geef een keuze uit A, B, C, D en maak een keuze uit deze opties of geef een score tussen nul en honderd bijvoorbeeld. Of geef een ja/nee antwoord. Nou, dat soort vragen kun je stellen. En dan leest hij die mail en beantwoordt die vragen. Neemt hij de beslissing daarover die jij hem vraagt te nemen. Het interessante is dat hij geen voorbeelden nodig heeft. Hij hoeft niet door jou getraind te worden. Je hoeft niet eerst een hele lijst met voorbeelden te geven, behalve als je hem een oordeel wil laten geven over een smaakkwestie. Dan moet je wel iets van voorbeelden geven. En daar gaan we zo meteen ook nog wel een voorbeeldje van zien. Ik kan me voorstellen dat als je al wat langer in de IT-wereld rondhangt dat je zegt van: ja, classificatie, dat bestond toch al lang? Classificatiemodellen, machine learning, deep learning-achtige modellen, hè, al voor de oprichting van OpenAI.

Bert Slagter: Spamfilters, documentclassificatie, fraudedetectie, dat soort zaken. Ja klopt, dat bestond al lang en zelfs, zoals we dat dan noemen, zero-shot classification, waarbij je dus niet hoeft met grote hoeveelheden voorbeelden ja en nee hoeft te trainen wat ja en wat nee is. Dat bestond ook al. Dus daar zit hem de doorbraak niet in. De doorbraak van Jev is een combinatie van de kwaliteit die hij levert. Dus hoe goed is het antwoord? De snelheid, de kosten en de toegankelijkheid. En dat is misschien wel het belangrijkste: toegankelijkheid. Jev is extreem veel toegankelijker dan de voorlopers uit 2019. En dat ligt niet grappig genoeg aan Jev eigenlijk. Nou ja, niet volledig aan Jev. En dat komt omdat er nu coding agents zijn, namelijk Claude Code en Codex. En die coding agents, die maken Jev toegankelijk.

Bert Slagter: En Jev heeft daar wel een handje bij geholpen doordat hij zo is ontworpen dat hij makkelijk kan worden gebruikt door coding agents, tuurlijk, maar coding agents. Kijk, als je vijf, zes, zeven jaar geleden dit wilde bouwen, ja, dan moest je eigenlijk best wel veel verstand hebben van modellen, van de infrastructuur waar het op moest draaien, van hoe je dat dan moest integreren in je product. Je moest echt wel goed kunnen programmeren en je moest heel veel doen voordat je, en dat is een enorme berg. Nu zeg je gewoon tegen Codex: joh, gebruik Jev om hier een antwoord op te geven. Kijk, dat is natuurlijk een groot verschil met toen, waardoor dit ineens een geweldige bouwsteen is geworden. En ik denk dat het vaak zo gebruikt zal worden dat je coding agent, die dus in staat is om daadwerkelijk code te schrijven, Jev kan dat niet, die bouwt een toepassing voor je samen met jou en je kunt dan besluiten om te zeggen: nou, gebruik voor dit stukje Jev, zet Jev hiervoor in. Of een Jev-achtig model, hè, want we hebben het nu over Jev. En je zag natuurlijk al heel snel dat mensen zeiden: o nee, maar dit kunnen we natuurlijk ook open source best bouwen, dus het kan ook best zijn dat je dat op een gegeven moment misschien wel zelf lokaal gaat draaien.

Bert Slagter: Ik kan me goed voorstellen dat dit soort modellen uiteindelijk best goed lokaal te draaien zijn. Ja, Jev. Jev is dan. Je zou Jev dan kunnen zien als beslisser tijdens het gebruik van je toepassing. Dus je gebruikt GPT of Claude voor het bouwen van een toepassing. En als die toepassing dan draait, als je hem gebruikt en wat je nu best wel vaak doet als je een toepassing bouwt. Ik had bijvoorbeeld een appje gebouwd om het weer te checken toen ik in Scandinavië was. En ik heb die podcast radar gebouwd en weet ik veel. Ik heb ook iets gebouwd die mijn Twitter bookmarks beoordeelt. Heel vaak stop je die dingen dan weer via je API ChatGPT in of Claude in. En die stap, die zou wel eens heel vaak vervangen kunnen worden door het in Jev te stoppen. Dat is namelijk een plek waar je profiteert van de snelheid en van de lagere kosten. Maar ik wil wel een aantal voorbeelden noemen om het ook even wat levendiger te maken van wat.

Bert Slagter: Wat kun je er nou mee met zo'n soort beslismodel? Wat voor soort beslissingen kan hij dan nemen? En ik heb vier categorieën gemaakt. De eerste is routeren, een route vinden en dat kan bijvoorbeeld zijn, naar welke afdeling moet een verzoek dat binnenkomt? Een mailtje bijvoorbeeld. Of naar welke lijst in mijn second brain moet een to-do item? Je downloadmap waar al je downloads in komen. Bouw een appje die hem on the fly sorteert. Als er iets binnenkomt dat meteen op een bepaalde plek gezet wordt. Of, heel praktisch zal het ook gebruikt worden in AI. Naar welk taalmodel stuur ik deze vraag of opdracht? Dus je hebt een prompt getypt en die prompt die zit in een grotere context met allerlei andere dingen. Die komt aan bij een router. En die router die beslist. Nou, deze vraag kan prima beantwoord worden door een heel klein model dat goedkoop en snel is. Of hier moeten we echt eventjes de Einstein onder de modellen over laten nadenken. Wat dan duur is en lang duurt. En zo'n soort routertje, dat zou Jev heel goed kunnen.

Bert Slagter: En het punt is namelijk dat bij routeren, dat is vaak best wel lastiger dan het lijkt. We hebben altijd in de afgelopen veertig jaar al allerlei soorten routers gebouwd en heel vaak werken die met regels. Als dit, dan dat. Bij deze waarde zus bij die waarde zo. Alleen dat is vaak best wel lastig als het gaat om dingen die talig zijn. Ik was in gesprek hierover, even met Astra en die zei: ik krijg geen verbinding met mijn vrouw. Dat kan over de telefoon gaan, maar ook over een relatie. Vond ik wel een leuk voorbeeld. Geen idee wat Astra met zijn vrouw allemaal uitspookt, maar dat was zijn eerste associatie. Kijk, en dat als je dat binnenkrijgt, dan helpt het dus dat Jev, dat had ik nog niet verteld, maar Jev is gebaseerd op taalmodellen. Dus het is eigenlijk een taalmodel dat doorgetraind is om heel specifiek hier goed in te worden.

Bert Slagter: En daarnaast zijn er nog een aantal andere trucs, zoals bijvoorbeeld dat als je meerdere vragen stelt over één input, die kunnen, kan die parallel verwerken in één keer in plaats van achter elkaar. En hij genereert geen tokens als output, maar de waarde, het oordeel of zo, of de keuze die wordt rechtstreeks uitgelezen. Het zijn allemaal dat soort dingen die het heel veel sneller en goedkoper maken. Maar het is ten diepste een taalmodel, dus hij begrijpt de context van wat je erin stopt. Dat is bij routeren een hele grote sprong voorwaarts. Filteren, als je gaat filteren, dat is de tweede categorie, merk je dat ook. Dat is vaak een antwoord op de vraag: welke dingen voldoen aan deze omschrijving? Kijk, filteren op harde eigenschappen, bijvoorbeeld alle bestanden groter dan één megabyte of alle rode auto's. Dat kunnen we heel goed. Dat is hartstikke snel met een database te doen. Op ontzettend veel sites heb je zo'n filter aan de linkerkant. Of het nou gaat om vakantiehuisjes of tweedehands auto's of boeken. En daar heb je gewoon hele specifieke eigenschappen.

Bert Slagter: Maar wat nou als je op niet harde eigenschappen wil filteren? Bijvoorbeeld in je sociale media. Je zegt: haal alle ruzies uit mijn tijdlijn. Of als je huizen aan het kopen bent: ik wil graag een huis, met privacy, maar niet afgelegen of karakteristiek zonder dat het een compleet renovatieproject is. Ja, dat zijn geen filteropties, maar je wilt dat wel kunnen stellen. En Jeff kan dat best prima beoordelen. Of als je recepten zoekt, zegt: ik wil graag gerechten zien die er feestelijk uitzien, maar die ik grotendeels van tevoren kan maken. Dat is het soort wens die je tot uiting kan brengen. En Jeff is daartoe in staat. Of op Marktplaats. Ik wil graag alle advertenties van mensen die overduidelijk verstand hebben van de spullen die ze aan het verkopen zijn. En dat kan dan blijken uit de omschrijving die ze bijvoorbeeld geven. Dat is een categorie van filters die met Jeff goed te bouwen is. Goed. Derde categorie is beoordelen. Dat gaat dan over de vraag: hoe sterk is een bepaalde eigenschap aanwezig? Ik noemde in het begin al bij dat mailtje hoe boos is een klant?

Bert Slagter: Dus dat gaat over de urgentie. Hoe gefrustreerd is een klant? Hoe ernstig is het probleem? Eigenlijk wat ze doen bij de eerste hulp, de spoedeisende hulp van een ziekenhuis, hè. Heel snel bepalen wat is de urgentie van iets? Wat moet je ermee? Vergaderingen bijvoorbeeld. Stel dat je een vergadering opneemt. Hoeveel nieuwe informatie bevat dit agendapunt? Zo'n soort vraag stellen, dat levert een score op. Of als je een tekst beoordeelt, hoe begrijpelijk is het? Hoe verrassend, hoeveel humor? Of hoe goed adresseert een opiniestuk de tegenargumenten op zijn eigen stelling? Hoe goed is de steel man? Dat kun je Jeff laten beoordelen en dan vraag je hem om een oordeel. Vaak in een score uitgedrukt. En als laatste.

Bart Mol: Dat kan ook met Jeff. Even voor de duidelijkheid. Dus de vraag is of. Nou ja, en dan oké, dan krijg je een onvoldoende. Ja Jeff, wat heb ik dan fout gedaan? Ja, dat kan dus niet bij Jeff. Even voor de duidelijkheid. Dat zou je dan met een normale LLM weer moeten gaan doen. Dus het is goed om even daar de grens te trekken. Ja. Jeff kan je een onvoldoende geven, maar is niet de leraar die je daarna gaat helpen, zeg maar. Althans niet met uitleg.

Bert Slagter: Nee, precies. Dus dan ga je daarna naar een taalmodel en als die daarna zegt van: huh, onvoldoende? Ik vind het eigenlijk briljant, dan heb je een probleem. Ga je er nooit achter komen waarom Jeff dit onvoldoende vindt. Kijk, en dat is natuurlijk wel goed om je te realiseren. Het gaat hier allemaal toch wel om een soort fuzzy beslissingen in de zin van: er is nooit een 100% zekerheid dat iets goed is. Als je dat wil, dan zul je veel algoritmischer moeten gaan werken of daadwerkelijk eigenschappen gaan toekennen. En ik denk dus dat in heel veel gevallen gebruikt wordt in een situatie waarbij het prettig is als het goed is, maar geen ramp als het fout is. Of waarbij het een soort voorselectie is of waarbij je grote marges in acht neemt. Dat zal in veel contexten zijn. En stel dat je je downloadmap laat filteren en er komt even één pdf'je in de verkeerde map. Nobody cares, weet je. Oké, dat kan gebeuren. Of je zegt: nou, als je er erg onzeker over bent, zet hem dan in de map uit te zoeken. Weet ik veel. Je moet dus op een of andere manier omgaan met die onzekerheid. Goed, laatste categorietje van dingen die ermee kan, is het kiezen van een actie, hè.

Bert Slagter: Dus het antwoord op de vraag: wat moet het systeem nu doen? En je ziet dat bijvoorbeeld in computerspellen, waarbij een bot of een speler moet kiezen van: ga ik nu vluchten of onderhandelen of hulp halen of aanvallen? Weet je, iets in die richting. Maar ik kan het ook in educatie voorstellen. Dat je een educatief systeem bouwt, dat je Jeff laat beoordelen. Aan de hand van de leerling of de student die ermee bezig is. Geef ik hem nog een oefening? Geef ik hem een tip of een hint? Of geef ik hem een uitgewerkt voorbeeld? Of ga ik hem nu juist moeilijker materiaal geven? Notificaties is ook zo'n voorbeeld, hè. Dus ga ik die, als er een notificatie binnenkomt, ga ik die meteen tonen omdat het belangrijk is? Ga ik hem stil afleveren? Ga ik hem misschien later toch escaleren omdat het nu wel belangrijk is geworden? Of ga ik hem samenvatten? Dat soort beslissingen. Het kiezen van de volgende actie kan Jeff goed doen. Nou, ik kwam ook een aantal voorbeelden tegen die kunnen ook in de shownotes van mensen die dit hebben gebruikt.

Bert Slagter: Bijvoorbeeld Justine Moore, die had duizend van haar Goodreads ratings aan Jeff gegeven. Oh nee, ze heeft er duizend en ze heeft er 900 aan Jeff gegeven om haar smaak te leren en daarna 100 gebruikt als test.

Bart Mol: Oké. Ja, oké, precies. Ja, interessant.

Bert Slagter: 900 van de 1.000.

Bart Mol: Ik dacht: zit in die andere 100, zit daar Mein Kampf in verscholen of zo, dat ze die uit de test zet, maar het is meer om te controleren. Oké.

Bert Slagter: Ja, dus dat was eigenlijk de test, hè. Dus 900 is dan de trainingsdata, zou je kunnen zeggen. Dat is haar smaak. En die 100 heeft ze dan gebruikt van: gok nou eens, hoeveel sterren denk je dat ik het ga geven? Jeff was accurater, 53 keer zo goedkoop en 25 keer sneller dan GPT 5.6. Dus dat is wel grappig, dat het dus ook voor zo'n soort situatie eigenlijk prima werkt, kwalitatief en daadwerkelijk goedkoper is. Een ander voorbeeld wat ik wel grappig vond. Even kijken van Leo. Ja, die had een soort simulator gebouwd met autootjes die rondrijden in een heel simpel verkeersnetwerk met negen kruispunten. En hij heeft Jeff gevraagd om de stoplichten te beheren in plaats van gewoon een soort standaard ritme voor wat zo'n, wat die stoplichten hebben. En dat verlaagde de wachttijden met 600% in die verkeerssituatie.

Bert Slagter: Dat is wel op zich wel grappig. Je kunt het zelf proberen. Je kunt zelf een beetje mee spelen. Hij heeft die app gewoon neergezet. Kun je zelf met de parameters wat spelen. Maar dat is dus een voorbeeld van een beslissing op basis van de kennis over, hè, hoeveel auto's staan er te wachten bij de stoplichten? Welke ga ik wanneer op rood en groen zetten? Kijken of deze ook nog leuk is, hoor. Eventjes openen. Oh ja, iemand had een game gebouwd waarbij Jeff real time het level bouwt. Dus het was een soort platform game. Een beetje een soort Mario waar je doorheen loopt en terwijl je loopt zie je voor je gewoon het level verschijnen. En dat is een beetje de categorie van een volgende actie kiezen. Dus op basis van de informatie die er al is, namelijk het level tot nu toe, hoe ontwikkelt het zich daarna? En je kan je dus voorstellen, we hebben het wel eens ook gehad bij andere onderwerpen over van die open-ended worlds of zo, van die computergames die eigenlijk oneindig groot zijn.

Bert Slagter: Ja, dat zo'n soort model daarbij kan helpen om dat goedkoop en snel te doen. En wat je wel ziet hierbij is dat het een bepaalde mate van real time mogelijk maakt. Dus je kunt best deze vragen ook aan ChatGPT stellen. En het duurt dus soms, zeker als je een beetje een intelligent model gebruikt die gaat redeneren, ben je anderhalve minuut aan het wachten. Ja, dat schiet niet op bij een stoplicht of bij een game die zich voor je ogen moet ontvouwen. En bij heel veel andere voorbeelden die ik net noemde, heb je ook eigenlijk het geduld niet om minuten te wachten per keer, per beslissing. En dus het real time-achtige opent denk ik een nieuwe categorie aan dingen, Bart.

Bart Mol: Nee, ik wacht wel even totdat ik, ik neem, ik heb, neem wel dingetjes mee in mijn stukkie, dus maak hem af en dan.

Bert Slagter: Ja, precies. Kijk, ik denk dat, even voordat ik hem aan Bart geef, soort van conclusie is, hè. Niks van wat ik tot nu toe genoemd heb kan alleen maar met Jeff. Het kan allemaal ook met een taalmodel. Jeff is namelijk eigenlijk een soort taalmodel, alleen met ander soort output. Alleen Jeff is wel daadwerkelijk in veel gevallen veel sneller tegen het real time aan, veel goedkoper. En soms ook minder wiebelig. En daarmee bedoel ik dat Jeff zo ontworpen is dat de output syntactisch gezien altijd klopt. Bij een taalmodel, ja, die wil nog wel eens heel af en toe iets geks doen als je hem vraagt om bijvoorbeeld een JSON te outputten of iets in een bepaald format te outputten. Daar zit wat onvoorspelbaars in en dat is hier eruit gehaald. Dus dat zijn dan de voordelen. Bart, jij hebt ermee gespeeld ook zelf.

Bart Mol: Ja, ik had ook zelf een voorbeeldje gemaakt. Want ja, eigenlijk de samenvatting die jij net geeft, die klopt natuurlijk helemaal en ik las dat ook op Twitter bij verschillende mensen die daar dan ook verstand van hebben en ook weer mensen die daar dan weer wat tegenin brengen. En voor mij is dat meestal maar het beste om het op een gegeven moment te gaan proberen op onze eigen use cases en dan snap ik opeens zeg maar wat de voordelen zijn. Dus ik dacht: weet je wat, wij hebben best wel veel van onze workflows voor Turing Station en ons bedrijf hebben we in N8N hangen. N8N is gewoon een workflow manager en daar hebben wij bedrijfsprocessen in hangen. En zoals Bert aangeeft, in bedrijfsprocessen zitten heel vaak gewoon keuzemomenten. Dus je kan niet alles programmeren. Dat wil je wel het liefste, want dan loopt het gewoon altijd door en hoeven wij er niet naar te kijken en dan kunnen we lekker bier gaan drinken met z'n drieën en bitterballen gaan eten. Dat is natuurlijk het leukste, maar soms kan dat niet, want we hebben bijvoorbeeld spamcomments op YouTube en die moeten weggehaald worden. Dus één mogelijkheid om dat te doen is dat Peter of ik of Bert in onze agenda elke dag een half uurtje blokken om naar YouTube te gaan en spamcomments weg te halen.

Bart Mol: Dat kan. We hebben dat in N8N. Met de komst van de taalmodellen hebben wij dat kunnen automatiseren. Dus nu gaat een taalmodel elk uur, dat proces wordt afgetrapt. Alle comments worden gedownload die nieuw zijn en de LLM gaat per comment bepalen of het spam is. En de LLM's zijn er best wel goed in, zeker met de tips die wij aan de LLM meegeven. Daarna wil ik gewoon dat hij zegt: spam of no spam. Dat zijn zijn twee output mogelijkheden. Dat is wat ik wil dat hij doet. En zeker zoals Bert al aangeeft, in het begin is dat best wel lastig. Dan zegt hij: dit is het antwoord. Wil je nog wat anders? En dan zegt hij daaronder: no spam. Nou, dus ik, ikzelf kan het wel zien, maar mijn N8N workflow die loopt vast, want die verwacht gewoon no spam. Die verwacht niet eerst nog een heel inleidend verhaal van een LLM. Nou, dat is beter geworden. Dat heet structured output. Dat kunnen vrijwel alle modellen inmiddels. Maar wat je nog wel blijft houden is dat zo'n model natuurlijk nog steeds tegen zichzelf aan het praten is, vaak als reasoning model en ook nog wel, ja, er worden gewoon tokens verbruikt die niet nodig zijn omdat ik het toch niet lees.

Bart Mol: Het gaat gewoon mijn proces in. Maar goed, even voor duidelijkheid, deze antispam maatregel, die hebben wij al gewoon twee jaar lopen, dus dit werkte prima met Claude Haiku of met GPT4 of met DeepSeek Flash. Die kunnen dit gewoon en ook best wel goedkoop en ook best wel snel. En in dit proces maakt het mij niet zoveel uit of het labelen van een spamcomment één seconde of drie seconden duurt. Ik kijk er toch niet naar. Het gebeurt elk uur een keertje. Boeiend of het vier seconden is of één seconde. Dus dat is even goed om te benoemen. Maar goed, ik dacht: ik ga dit met Jeff proberen. Nou, kort gezegd is Jeff net zo accuraat. Dus alles wat als spam beoordeeld werd door onze huidige workflow met GPT 5.6 Flash of zo, whatever. Iets waar ik gewoon tevreden over ben, die eigenlijk bijna nooit false positives heeft. Dat deed Jeff net zo goed. Jeff was ongeveer drie keer zo snel. Volgens mij iets van de honderd comments of zeventig comments in twintig seconden in plaats van de 71 van GPT 5.6 en 2,3 keer goedkoper.

Bart Mol: Dus dik twee keer goedkoper. Ja, I will take it. Weet je, als het net zo accuraat is, dan pak ik het natuurlijk gewoon. En dat is wel even goed, hè? Ik bedoel, Jeff is niet opeens een soort van iemand met een glazen bol of zo die alles goed zal zeggen. Dus vraag het aan Jeff en Jeff die voorspelt wat jouw volgende boek is met 100% accuraat. Dat is niet zo. Dus vergelijk het gewoon met, als je een vraag stelt aan een LLM. Ja, dat kan Jeff ook ongeveer, alleen dan met veel minder woorden en gewoon een hele voorspelbare output. Jeff die zal altijd een JSON teruggeven waarmee je kan werken, dus een gestructureerd dataformaat waarmee je kan werken. Ja, dat is voor mijn workflows op de achtergrond is dat, of voor onze workflows op de achtergrond is dat fantastisch. Want er is nog één ding wat ik toe wilde voegen aan Bert zijn verhaal. Jij zegt kwaliteit, snelheid en kosten. Klopt, hè? Ik bedoel, de kwaliteit is ongeveer net zo goed als de modellen, alleen het is veel sneller en veel goedkoper. Veel toegankelijker. Ja, en het is dus generiek en dat zit ook een beetje in die toegankelijkheid van: ja, het is one size fits all.

Bart Mol: Wil jij spamcomments classificeren? Plak Jeff erop. Heb jij een andere vraag? Krijg jij service tickets binnen en wil je inderdaad labelen welke prioriteit ze hebben, hoog, middel of laag? Plak Jeff erop. Dus elke vraag die je in zo'n bedrijfsproces hebt eigenlijk zou je kunnen zeggen, daar kan je Jeff op plakken en dan ben je dus, nou, op zijn minst twee keer zo goedkoop uit en drie keer zo snel. Dus dat is gewoon een hele mooie winst, denk ik. Als dat het alleen is, dan is het al een prachtige verbetering op wat we hadden, denk ik. Ja, en als je het dan gaat vergelijken met sommige andere modellen, zeker als ze zoals Bert zegt meer gaan nadenken. Ja, als Jeff daar net zo accuraat kan antwoorden als die grotere modellen, ja, dan ga je opeens naar vijftig keer sneller of honderd keer sneller of twintig keer goedkoper of veertig keer goedkoper. Ja, dan wordt het natuurlijk helemaal interessant. Dus het is een soort van one size fits all voor beslismomenten in bedrijfsprocessen of in je eigen processen die je wil automatiseren.

Bart Mol: Daar ga ik het voor gebruiken. Maar ik was echt blij verrast door de testjes die ik gedraaid heb. Dus ik ga deze week eens even lekker in onze N8N workflows de LLM's eruit halen en Jeff erin hangen en eens even kijken of het dan nog net zo goed blijft werken.

Bert Slagter: Ja.

Bart Mol: En ik denk dat dat onze Jeff was voor deze week. Dan gaan wij het hebben, Bert, zie ik, over entertainment. We gaan het hebben over lekker iets, hè, als je nog steeds niet genoeg AI hebt tijdens je werkdag. Je ploft op de bank en je wil nog meer AI. Ja, wat dan? Nou ja, Bert, jij hebt wel wat tips voor de mensen.

Bert Slagter: Even een luchtig itempje tussendoor. Het leek me wel leuk. Ik ben zelf begonnen aan het kijken of het opnieuw kijken van films over AI of gerelateerd aan AI. Soms zijdelings, soms echt in het hart. Leek me leuk. Met gezin op de bank zaterdagavond, colaatje erbij en ik heb een lijst gemaakt, gewoon met, ja, zeg maar, de bekendste films. Zeg maar verrassende filmetjes, dat soort dingen. Geschiedkundig, allerlei soorten en gewoon eens gaan kijken. En het is best leuk om te doen, merk ik, dat met de films die ik misschien soms al tien, twintig jaar geleden gezien heb, dat je die nu met andere ogen bekijkt. Soms is het sciencefiction, soms een beetje ertussenin. De sciencefiction is in veel gevallen ook een soort theatricalere vertelling van iets waar wel een soort van wetenschappelijke basis voor is. En dat is best leuk. Ik heb een paar voorbeelden. Ik keek bijvoorbeeld de film Her uit 2013.

Bert Slagter: Gaat over de relatie van een man met een, ja, het is niet een chatbot, maar een bot, een kunstmatig mens. Ja.

Bart Mol: Ja, wel chatten als in praten.

Bert Slagter: Ja, wel chatten als in praten. Ze regelt op een gegeven moment ook een lichaam voor zichzelf. Het is best interessant om dat te zien. En het aardige is, dat is een film uit 2013, dus dat is voor überhaupt OpenAI werd opgericht. Maar voordat natuurlijk ChatGPT uitkwam. En het is best aardig om te zien dat wat ze daarvan maken zonder dat ze beïnvloed zijn door wat wij nu weten van chatbots. Dus dat maakt het extra grappig. The Imitation Game is ook zo'n voorbeeld. Film uit 2014 gaat over Alan Turing. Is leuk om dat ook te bekijken met de afgelopen aflevering in het achterhoofd. Kom je Bletchley Park ineens tegen. Ik merk overigens wel dan dat ik nu veel meer opvalt dat toch wel ook bepaalde dingen een beetje bijverzonnen zijn, die niet helemaal historisch kloppen. Met alle specifieke kennis die we nu hebben. Maar dat maakt niet uit. Het geeft wel wat kleur bij hoe men zestig, zeventig jaar geleden al dacht, al nadacht over, ja, hoe dit zich zou ontwikkelen. Ik had één klein fragmentje had ik opgeschreven vanuit The Imitation Game en daar kwam ook, dat is niet een letterlijk historisch dialoog, maar zit wel heel dicht bij hoe Alan Turing geschreven heeft.

Bert Slagter: En daar zat ie, op een gegeven moment werd hij vastgehouden en toen vroeg een bewaker aan hem: Could machines ever think as human beings do? Turing die antwoordt: most people say no. You're not most people. Well, the problem is you're asking a stupid question. Am I? Of course, machine can think as people do. A machine is different from a person, hence they think differently. En gaat hij door met een redenering over, ja, hoe het zou zijn als een machine denkt, wat dat betekent. In 2014, voordat ChatGPT en Claude er waren. En dat is best wel interessant om dan nu toch nog eens zo'n film met deze ogen terug te luisteren. En die film was afgelopen en toen begon automatisch de volgende film, uit het aanbevelingsalgoritme. Misschien met Jeff, misschien niet, van Netflix, of weet ik veel waar we keken, en toen kwam The Terminator uit 1984. Die kwam gewoon als volgende film en wij dachten: nou, waarom ook niet? Kijken we die ook. Het was sowieso verrassend over de goede kwaliteit van het beeld uit '84.

Bert Slagter: Maar, ja, ook dat is leuk om once te kijken.

Bart Mol: Wel knap, hoor. Met, met heel de v-, twee films.

Bert Slagter: Ja.

Bart Mol: Dat is wel. Jij bent dus vroeger toen ik voor het eerst naar Pathé ging, toen ik in mijn eentje, toen ik een jaartje of dertien was met mijn vrienden toen, toen schrokken wij heel erg. Toen kwamen we de film uit en toen waren we nog steeds in de bioscoop. Dat je, dan denk je als dertienjarige meteen: we hebben de cheatcode for life gevonden. Je kan nu net zo lang naar andere films als je zelf wil. Toen kwamen we er ook wel achter van: ja, één filmpje in de bioscoop is wel meer dan genoeg, maar jij bent dan de enige, Bert, die waarschijnlijk nog wel een tweede filmpje in de bioscoop er achteraan kan doen.

Bert Slagter: Ik moet zeggen, The Terminator is ook wel wat lichter van aard dan zo'n zware, meer historische film. Maar, ja, inderdaad. Maar het is leuk. Echt, mijn punt is denk ik gewoon: het is leuk om die films nog eens opnieuw te kijken. En laat ook even in de comments weten of jij recent een film hebt gezien waarvan je denkt: hé, dat is met de bril die we nu hebben, achteraf gezien best wel een vette film of een verrassende film of, knap gezien of iets dergelijks. En dan niet allemaal met Black Mirror aankomen, maar bijvoorbeeld ook. Ja, misschien dat jullie nog tips hebben, Peter en Bart?

Bart Mol: Ja, ik heb hier inderdaad eventjes over nagedacht. Ik vond inderdaad, ja, Her is natuurlijk, ja, het is trouwens Sam Altman zijn favoriete film.

Bert Slagter: Oh, echt?

Bart Mol: Ja, klopt. Maar goed, dat is natuurlijk de AI-film, hè, omdat het natuurlijk, ja, het is niet, er was toen heel een rel, hè, toen zij voor het eerst GPT Voice hadden, die ChatGPT, die ook echt zo realistisch kon praten. Toen hadden ze dus die stem van Scarlett Johansson, de stem uit Her, geript en gebruikt in de commercials. Dat is echt gezeur geworden toentertijd. Toen zeiden zij natuurlijk zelf: ja, dat is haar helemaal niet. Ja, behalve dat het echt diezelfde, beetje schorre, hese, hele zwoele stem. Het was honderd procent gebaseerd op dat. Maar goed. Anyways, volgens mij zijn ze er uiteindelijk samen uitgekomen. Ex Machina zou ik op je lijstje zetten. Die vond ik heel vet. En natuurlijk The Matrix. Dat draait natuurlijk ook wel om een samenleving waar alle mensen alleen nog maar een soort meat proxies, nou, energy proxies is het volgens mij in The Matrix. Dus dat is wel interessant. Ja, Black Mirror had ik natuurlijk staan, al gaat het niet altijd over AI, maar er zitten wel een paar AI-afleveringen tussen.

Bart Mol: Westworld natuurlijk. Vooral het eerste seizoen. De eerste twee seizoenen waren echt wel heel goed wat dat betreft. Ik heb nog twee. Ja, als je nog een PlayStation hebt staan Bert, dan wordt het toch tijd om eens even die af te pakken van de kids. Detroit: Become Human ga ik je aanraden. En ik zou je echt, dat is een soort van film in de vorm van een game. Elke beslissing die je maakt leidt tot een ander einde. Je hebt echt zes of zeven of acht verschillende eindes en je speelt als drie AI's die wel als robot eruit zien. Een beetje die humanoids. Ja, ik heb die game drie keer gespeeld, drie keer een ander einde. Ik wil, ja, als je een PlayStation hebt staan, maakt niet uit of het PlayStation 4 is of PlayStation 5. Het is inmiddels een wat oudere game, ziet er nog steeds fantastisch uit. Probeer hem eens. Ik weet honderd procent zeker dat je hem gaaf vindt. Je hoeft niet goed te kunnen gamen. Het is niet moeilijk. Het is, ja, je speelt een film. Het is echt fantastisch. Ik vond het echt een fantastische game. En als laatste, die heb jij ook gelezen weet ik toevallig, The Three Body Problem.

Bart Mol: En dat is een trilogie. Waarom noem ik die hier? Want hij gaat niet over AI. Nee, dat klopt, maar hij gaat wel op de plotselinge binnenkomst van, in dit geval, aliens tussen aanhalingstekens, maar van een superintelligentie. Er is opeens iets wat veel slimmer is dan wij. Hoe ga je daarmee om? En die boeken gaan daar vrij uitgebreid over. Hoe ga je om met superintelligentie als mensheid? Zonder het al te veel te spoilen. Het komt erop neer dat deterrence, hè, wat wij dus gedaan hebben met kernwapens richting elkaar, ook werkt bij aliens. Alleen dan, in dit geval, ging het niet over kernwapens naar aliens schieten, maar een andere vorm van deterrence. Hè, de mensheid had iets dat als wij dat openbaar maken, dat dat ook die aliens raakt, om het zo maar te zeggen. En toen zat ik wel te denken naar aanleiding van jullie discussie vorige week.

Bart Mol: Kijk uiteindelijk AI, hè, die superintelligentie is net als ons nog steeds gebonden aan de aarde. Ja, ze kunnen voor zover ik weet nog niet zo heel veel direct in space, hè. Je hebt toch rekenkracht nodig en flink wat rekenkracht. En die is op dit moment vooral gebonden aan de aarde. Ik zat te denken misschien kunnen we daar nog iets mee. Misschien kunnen we alsnog gewoon een kernbom, onze oude kernbom, richten op de digitale kernbom. Dus dat zij weten van: ja, weet je, een soort, dat misschien ook wel werkt voor een AI. Maar goed, misschien moeten we daar onder het genot van een biertje nog eens wat verder over filosoferen. Maar goed, Three Body Problem zou ik sowieso aanraden, maar ook op basis van nadenken over AI en super intelligence.

Bert Slagter: Ja, dat is, uh. Er is overigens ook een serie van gemaakt van Three Body Problem. Voor de mensen die graag kijken.

Bart Mol: Ja, maar ga het boek lezen. Ga sowieso, als er ergens een serie van gemaakt is, ga het boek lezen.

Bert Slagter: Maar ik kom ook nog een keertje terug op boeken. Ik had het nu specifiek even op films gericht. Ik heb zeker ook nog wat dingen over boeken te zeggen, maar dat doen we even in een volgende aflevering.

Bart Mol: Is prima.

Bert Slagter: Allright.

Peter Slagter: Ik moet nog eventjes een van onze luisteraars bedanken voor een filmtip. Chulo. Die had het over War Games 1983. Dat was wat hem betreft een bindende kijktip. Ik heb hem zelf nog niet gezien, dus ik kan het noch ontkennen noch bevestigen. Maar omdat hij dat vorige week al noemde, ik denk als ik het nu niet noem, dan barst hij echt uit elkaar in de comments.

Bart Mol: Ik ga hem altijd bijzetten.

Peter Slagter: Was een mooie rage bait geweest op zich. Ja, en welke ik nog niet heb langs horen komen is 2001: A Space Odyssey.

Bart Mol: Ja, absoluut.

Peter Slagter: En ook een bekentenis. Hè, dat is mij ook aangeraden. Ik heb hem zelf nog niet gezien. Alleen dan kijk je door de ogen van iemand die in 1968 een film dirigeerde en opnam naar 2001. Ja, op zich is dat al een hele oude film.

Bart Mol: Mag jij een filmtip aandragen die jij nog gezien hebt, Peter?

Peter Slagter: Jazeker.

Bart Mol: Is dat zo?

Peter Slagter: Als ik op basis van wat mensen mij vertellen en daarna even lees over wat die film is, tot de conclusie kom: ah, dat zou ik eigenlijk zelf moeten kijken, dan zeg ik dat ook gewoon tegen mijn luisteraars.

Bart Mol: Ja, precies.

Peter Slagter: Dat zou je eigenlijk gewoon moeten kijken.

Bart Mol: Akkoord. Akkoord.

Peter Slagter: Oké, ik denk dat het tijd is voor het volgende item, jongens.

Bert Slagter: Vind ik ook.

Bart Mol: Ja, we gaan weer even wat slopen. Er moet weer wat kapot. Dit was allemaal veel te luchtig. Dus, uh.

Peter Slagter: Er wordt in die films van alles gesloopt volgens mij, hoor.

Bart Mol: Ja, dat is waar. Maar ja, daarna zet je de film uit. Kan je weer verder in ons idyllische leventje. Nee, we gaan weer eens even-- we gaan het over de wiskunde hebben, dames en heren.

Bert Slagter: De AI sloopt de wiskunde. Dat was het kopje wat we erboven hebben gezet en dat verwijst naar, ja, de Navier-Stokes probleem dat opgelost is door OpenAI. Alweer drie weken geleden, zo'n beetje. 8 september. Nou ja, twee en een halve week geleden. En we hebben even gewacht met het hier over hebben omdat we eigenlijk even wilden weten wat er gebeurde als de stof zou neerdwarrelen. Wat er gebeurd is in de week of de twee weken daaraan voorafgaand, heeft een zwerm van 10.000 agents met een nieuw intern model van OpenAI een oplossing gevonden voor het Navier-Stokes probleem. Dat is een, ja, beroemd probleem. Te maken met vloeistoffen, dynamica. En nou ja, dat probleem was zeg maar zo waardevol om daar meer begrip van te krijgen, dat er ook een prijs op stond van $1 miljoen. Een van de millennium problemen met daar, dus er zijn in het jaar 2000 zeven van die problemen bekend gemaakt waar $1 miljoen per stuk als prijzengeld aan verbonden was.

Bert Slagter: Die overigens OpenAI niet gaat claimen, het prijzengeld. En dat probleem is, daar heeft OpenAI een oplossing voor gevonden. Je kon via verschillende aanvliegroutes een oplossing aandragen en in een van de domeinen is dat dan gelukt. Overigens, die miljoen dollar die ze dan zouden hebben, zouden als prijs kunnen claimen, ja, dat is nog een stuk minder dan de kosten die ze gemaakt hebben, want ze hebben, met het uitrekenen door die 10.000 agents, 130 miljard output tokens veroorzaakt. Dat is met de pricing van Astra, nou, je mag er wel van uitgaan dat-

Bart Mol: Grote hoeveelheid

Bert Slagter: ...zo'n model is $6,5 miljoen aan output tokens. Als een ander het zou doen via de API. Zo moet je er natuurlijk naar kijken. Zelf hebben ze natuurlijk een ander kostenplaatje. Maar dat was alleen maar voor de route die uiteindelijk naar het antwoord leidde. Ze hebben daarvoor ook allerlei andere dingen geprobeerd. Uiteindelijk zijn er in het hele project 300 miljard output tokens gegenereerd. Dat is $15 miljoen en de schatting is dat er ongeveer 10 biljoen input tokens in totaal aan het model verstrekt zijn. Dus de totale kosten, 20, 30, 40 miljoen moet je wel aan denken als je dat als buitenstaander via de API zou doen. Dus dat is veel meer dan het prijzengeld. Dat is even een geinig feitje, maar dat zegt wel even iets over hoeveel rekenkracht er daadwerkelijk tegenaan gegooid is. Nou, in dat proces is OpenAI ook nog beschuldigd van het stelen van de oplossingsrichting en het gebruiken van afgeluisterde prompts. Ja, over die intrige hebben we geloof ik niet heel veel meer gehoord daarna.

Bert Slagter: Dat is volgens mij nog niet heel duidelijk geworden wat er nou precies gebeurd is.

Bart Mol: Het is een soort van, OpenAI zegt dat ze dat niet gedaan hebben. Maar er waren twee andere onderzoekers die ook met OpenAI-modellen en Anthropic-modellen, gewoon de extern bereikbare modellen, zij ook een jaar lang aan dit probleem gewerkt hebben. Zaten ze in dezelfde oplossingsrichting te denken als OpenAI. OpenAI kreeg op een gegeven moment door van: hey, mensen zijn hier aan het werken en maken vooruitgang. Toen is er bij OpenAI, dat is hun eigen beschrijving ervan, een lichtje gaan branden. Hey, ik parafraseer even, maar dit is een mooie marketingstunt als wij een van deze wiskundige problemen oplossen. Dat ziet er goed uit. Dus die hebben toen gewoon, zoals Bert zegt, fire up the GPU's en laten we dit gaan proberen te maken, te ontcijferen. En toen hebben die andere onderzoekers gezegd van: oké, dan treden wij snel naar buiten met wat we tot nu toe hebben. En OpenAI zegt van: ja, wij hebben jullie dingen helemaal niet gebruikt.

Bart Mol: Ja, het enige wat zou kunnen is dat jullie onderzoek via training misschien in de nieuwe modellen is beland, maar dat weten we niet en dat kunnen we ook helemaal niet nachecken. Ja, waar ligt de waarheid ergens? Dat is dus nog steeds niet duidelijk, behalve dat OpenAI wel begonnen is met dit probleem nadat ze geruchten hoorden dat er voortgang in de zaak zat. Maar ja, dat is hoe onderzoek normaal gesproken ook wel loopt natuurlijk.

Bert Slagter: Ja, precies. Precies om deze reden, omdat we het eigenlijk niet weten, had ik dit eigenlijk even samengevat tot: er is intrige, we weten het niet. Ik wil het er ook verder niet eens over hebben.

Bart Mol: We weten dus wel wat, maar niet alles.

Bert Slagter: Nee, precies. We gaan het nu niet over het Navier-Stokes probleem zelf hebben, en ook niet over het afluisteren, maar ik wil het hebben over wat dit betekent voor de wiskunde. Wat betekent het feit dat zo'n probleem opgelost wordt voor de wiskunde? Op 11 september, namelijk drie dagen nadat OpenAI dit bekend maakte, kwam een groep wiskundigen met een open brief. Die publiceerden ze. Staat ook in de shownotes. Dat zijn 27 wiskundigen. Maar niet zomaar mensen die ergens een keertje wiskunde gestudeerd hebben. Het zijn allemaal winnaars van een Fields Medal. En die Fields Medals, die worden elke vier jaar uitgereikt. Sinds 1936 aan 68 mensen, vertelde mijn lieftallige agent me. Het wordt wel de Nobelprijs van de wiskunde genoemd. En hun brief begint als volgt: in de afgelopen maanden zijn de wiskundige capaciteiten van taalmodellen spectaculair verbeterd, tot het punt waarop ze belangrijke openstaande problemen in veel deelgebieden van de wiskunde kunnen oplossen.

Bert Slagter: De drang van AI-bedrijven om het oplossen van wiskundige problemen als benchmark te gebruiken is echter schadelijk voor de wetenschap van de wiskunde en voor de wiskundige gemeenschap. Daar beginnen ze mee. Is nogal een statement. Ze zeggen eigenlijk: OpenAI, leuk dat je een oplossing hebt gevonden. Doe het nou maar niet, want je brengt schade toe. En daar gaan ze dan vervolgens uitvoerig op in waarom dat zo is. Daar wil ik een paar dingen over zeggen. Ten eerste, dit is een protest. Is interessant. De wiskundigen komen in opstand. Niet met fakkels, niet met hooivorken, niet met tractors en blikken soep.

Bart Mol: Met geodriehoeken.

Bert Slagter: Met geodriehoeken.

Bart Mol: Met passers.

Bert Slagter: Ja, passers.

Bart Mol: Pennen.

Bert Slagter: Ja, precies. En in je ogen zat ook verven trouwens. Maar het is wel een protest. En wiskundigen vormen één van de eerste beroepsgroepen die nu ontwricht worden. Programmeurs ook. Programmeren zou je ook wel kunnen zien als een soort toegepaste wiskunde. Ik hoor ook van wiskundigen die zich afvragen of het nog wel zinvol is om het te gaan studeren of nog te gaan promoveren of om erin verder te gaan. Of dat ze uit het vakgebied moeten. Dit doet wat met het vak, met de wetenschap, met de beroepsgroep. En dat is interessant omdat dat mogelijk een blik in de toekomst is voor heel veel andere vakgebieden. Er zijn nu heel veel kenniswerkers, heel veel wetenschappen die wel gebruik kunnen maken van de taalmodellen die we nu hebben op een manier dat je denkt: pot, maakt mijn werk handiger, hè. Bijvoorbeeld: zoek een bepaald paper op, vat hem samen. Ja, dat is echt waanzinnig.

Bert Slagter: Ik hoorde pas een podcast van een theoretisch natuurkundige die in de hoek zit van, nou ja, weet ik veel, deeltjesfysica of zo.

Bart Mol: Hoe kom je daar nou weer terecht?

Bert Slagter: Geweldig hulpmiddel, hè, zei je, Peet?

Bart Mol: Hoe kom je daar, hoe kom je nou bij de podcast van theoretische natuurkundige, weet ik wat zei je? Het was, ik vond dit al tricky.

Bert Slagter: Ja, het ging over energie in zwarte gaten. Dat was leuk, ja. Ja, goed, dat is, iedereen heeft zo zijn hobby. Maar die vertelde los. Die doceert in, geloof, Oxford. Maar die vertelde, ja, het is een geweldig hulpmiddel, hè. Als ik iets wil weten uit een ander specialisme in de natuurkunde waar ik niet alle papers ken en alle mensen ken die daar schrijven, ja, het scheelt me vreselijk veel tijd. En waar het voor zorgt, is dat je meer kruisbestuiving krijgt tussen deelgebieden. Nou goed, er zijn ongetwijfeld op allerlei andere wetenschappen en allerlei andere kenniswerken ook veel voordelen nu van. En het zijn interessante tools, maar ze merken nog niet de ontwrichting die de wiskundigen en de programmeurs zien. Dus ja, het is even, als beeld, ook van maatschappelijk gezien. Ze moeten er wel rekening mee gaan houden dat de wiskundigen nog een, denk, redelijk beschaafde, beleefde groep zijn en ook niet zo'n vreselijk grote. Maar wat gaat er gebeuren als er wel echt grote groepen, grote beroepsgroepen, grote sectoren ontwricht gaan worden?

Bert Slagter: Peter, wilde je wat daarover kwijt.

Bart Mol: Nee, zeker niet. Nee, ik moest gelijk denken aan de boeren die naar Den Haag rijden met de trekkers en zo.

Bert Slagter: Ja, ja, nou kijk.

Bart Mol: Dat is weer een ander.

Bert Slagter: Ja, dat, het bewerken van het land, dat zal nog wel even nodig zijn. Maar goed, dat is even een eerste perspectief. Je tweede: wat doet het met een mens als AI zijn denkvermogen en zijn deskundigheid overstijgt? Dat is een interessante vraag die nu blootgelegd wordt. Hè, dus een wiskundige die, ja, die heeft jaren gestudeerd en zich daarna jaren bekwaamd om op een gegeven moment de deskundigheid te hebben om, ja, echt in dat vakgebied bezig te zijn. En die field medallists, medalisten. Ik weet niet of het medailisten in het Nederlands. Dat zijn wel de mensen die, hè, zeg maar in de top van de wiskundige piramide uiteindelijk terechtgekomen zijn. En, ja, die komen nu bij sommige onderdelen van hun vak tot de conclusie: ja, zo'n AI overstijgt mijn denkvermogen, mijn deskundigheid. En wat doet dat met je als mens?

Bert Slagter: We ontlenen als mens best wel wat eigenwaarde toch over het algemeen genomen aan wat we weten, aan wat we kunnen, aan wat we bijdragen. Hè, dat we nuttig zijn, dat we ons kunnen onderscheiden. En AI zet dat onder druk. En vragen als: wat heeft mijn werk nog voor zin? Wat ben ik zonder mijn werk? Wat is mijn plek in de maatschappij nog? En dat staat, denk ik, nog even los van de vraag van: hoe ga je het economisch rooien? Hoe ga je je hoofd boven water houden? Want dan zou je nog met elkaar kunnen praten over basisinkomen of een universal high income, hè, waar sommigen voor pleiten. Stel dat alles er in overvloed is, inclusief geld en voedsel. Dan nog blijft de vraag: hè, wat is de betekenis van mijn leven nog als een AI beter kan, hè, dan, ja, waar ik eigenlijk mijn hele leven aan gewerkt heb? Wat doet het met mensen als ze zich overbodig gaan voelen? Als alles waar je jaren voor gestudeerd, geoefend hebt waardeloos lijkt te worden.

Bert Slagter: Wat doe je dan als mens? Hè, wat doet dat met de samenleving? Ik denk dat het voor sommige programmeurs inmiddels ook al wel geldt. Een gevoel van verlies misschien. Hè, dat de datgene waar je je decennia in bekwaamd hebt, dat dat nu eigenlijk, ja, een chatbot beter en sneller. Ja, waarom heb je dat dan geoefend? Je verliest ook een bezigheid. Iets wat je leuk vond om te doen. Ja, hoe ziet dat eruit als mensen iets verliezen? Dan moet je misschien naar rouw gaan kijken, hè. Ontkenning, boosheid, onderhandelen, neerslachtigheid, aanvaarding. Weet je, die vijf fases of zo. Ja, ik weet niet hoe het eruit ziet als in de maatschappij een hele hoop mensen boos worden omdat ze-

Bart Mol: Nou, ongeveer wat je nu ziet gebeuren. Keer vijf of tien.

Bert Slagter: Ja, of honderd. Ja, ik weet niet. Ja, wat zie je gebeuren? Wat voor soort boosheid zie je?

Bart Mol: Nou ja, kijk op het Malieveld. De ene week staat er de ene groep heel boos te zijn, de andere week de andere groep. En als je vraagt: waarom ben je precies boos? Dan krijg je een hoop gekanker. Ja, dat is wat, hoe boosheid eruit ziet voor mij.

Bert Slagter: Ja, precies. Nee, ik begrijp nu, je verwijst nu naar wat je nu op het Malieveld ziet.

Bart Mol: Ja, ja, precies.

Bert Slagter: Wat niet het gevolg is van AI, maar dan als gevolg van AI.

Bart Mol: Maar wel van maatschappelijke ontwrichting. Boosheid, omdat dingen niet goed gaan.

Bert Slagter: Ja.

Bart Mol: Vooral in de portemonnee natuurlijk voor veel mensen. Ja, en daar raakt dit mensen ook. Als jij je baan kwijtraakt, raakt het in je portemonnee en daar word je natuurlijk boos van. Het is natuurlijk niet zo, het is natuurlijk niet voor niks dat het eeuwenoude gezegde brood en spelen, hè, dat is wat je moet doen om de mensen tevreden te houden. Ja, en als één van die twee onder druk komt, dan krijg je boosheid. En wat precies de aanleiding is maakt niet eens zoveel uit. Maar ik ben het met je eens dat AI natuurlijk in een bepaald scenario een enorme drijfveer kan zijn voor werkloosheid als we dat niet handig aanpakken.

Bert Slagter: Dus dat is één route. Dus dat het mensen raakt in de portemonnee en werkloosheid en dat soort dingen. Een andere route is dat je wel gewoon werk houdt of een inkomen houdt of steun krijgt of dat er overvloed is, maar dat je je alsnog nutteloos of waardeloos gaat voelen, dat zingeving een vraagstuk wordt. En dat zou bijvoorbeeld meer kunnen leiden tot, ja, grootschalige arbeidsongeschiktheid. Mensen die zeggen: ja weet je, ik meld me ziek, ik kap ermee, ik haak af. Iets in die richting dus. Het gaat meer om iets mentaals misschien dan per se dan.

Bart Mol: We hebben hier wel een mooi voorbeeld van. Dat gaat over de. Volgens mij is de Zuid-Koreaan. Hij heette Lee Sedol en Lee was de allerbeste Go-speler ter wereld en die is gestopt in 2019 met het spelen van Go omdat AlphaGo, dat was de AI Go-kampioen die DeepMind heeft gemaakt, hem van het kastje naar de muur stuurde een paar jaar eerder in 2016. Dat was echt een enorme schok. Er zijn een paar goede documentaires over gemaakt. En wat hier wel interessant is: hij werd niet alleen van het kastje naar de muur gestuurd, maar hij gaf aan dat eerdere simulatoren hem ook wel van het kastje naar de muur stuurden zo nu en dan, maar dat was op een ongeraffineerde manier. Dat was op een soort brute force achtige manier. Hij werd gewoon murw gebeukt op een, ja, een beetje Italiaans voetbal zou je het kunnen noemen.

Bart Mol: Verdedigen, verdedigen, verdedigen. In de tachtigste minuut een heel lelijk doelpunt maken. Ja, dan win je wel gewoon. Maar niemand geniet ervan. Totdat hij in 2016 dus tegen die nieuwste AlphaGo speelde. En daar zit volgens mij de legendarische, volgens mij was het Move Thirty Seven of iets dergelijks. Die AI deed een zet waarvan iedereen dacht van wat is dit? En echt tientallen zetten later bleek hoe geniaal die zet was. Dat was nog nooit gedaan. De AI had wat nieuws bedacht, maar niet alleen iets nieuws waardoor die won, maar ook iets nieuws waardoor alle fans daar zaten te kijken van: ja, alsof de artificiële Messi was opgestaan. Die deed iets, we hebben nog nooit zulk prachtig Go-spel gezien, dus het was niet alleen dat hij verslagen werd, maar hij werd ook op een mooie manier verslagen. En hij zegt: ja, dat zorgde ervoor dat ik in een existentiële crisis terechtkwam.

Bart Mol: Hij was niet meer de beste, maar hij zou het ook nooit meer worden, ook al zou hij alles. Hij had gewoon geen kans. En hij werd ook nog eens met mooi spel vernederd eigenlijk. En hij is toen ook gestopt met het spel waar hij heel zijn leven, zijn ziel en zaligheid in gelegd had. Ja, dat zou je kunnen extrapoleren op meer mensen. Al vraag ik me af of het gros van de werkende mensen hun ziel en zaligheid in hun kantoorbaan heeft gelegd, zoals Lee Sedol zijn ziel en zaligheid in Go heeft gelegd.

Bert Slagter: Nee, dat klopt.

Bart Mol: Een tegenwerp.

Bert Slagter: Maar goed. Maar bijvoorbeeld wel een dokter, of een advocaat, of een programmeur of een wiskundige. Daar kan je dat denk ik wel van zeggen. Die kiezen zo'n vak waar ze echt, ja, dat is gewoon echt hard werken om ergens te komen. Kijk, en je kan je dus inderdaad voorstellen dat je op een gegeven moment tegen een programmeur zegt van: ja, weet je, je mag best af en toe wat programmeren, maar dat is gewoon als liefhebberij, want het is niet meer nodig, weet je wel. Ja, nou ja, dat is dan wat het is. Dat is dan op een gegeven moment wel wat mensen moeten gaan accepteren. Een derde inzicht, derde gedachte en dat volgt uit het Navier-Stokes voorbeeld en de brief van die wiskundige. Ik begon net met dat ze. Ja, wat zeiden ze ook alweer? Het is slecht. Schadelijk voor de wetenschap van de wiskunde en voor de wiskundige gemeenschap. En als je dan in een brief gaat kijken wat hun kernprobleem is of een kernanalyse, zeggen ze het volgende. De afgelopen maanden heeft het succes van AI bij het oplossen van belangrijke wiskundige problemen zelfs buiten wiskundige kringen de krantenkoppen gehaald.

Bert Slagter: Maar het oplossen van problemen is slechts een middel en een indirecte maatstaf voor het bereiken van het hoofddoel, namelijk conceptueel begrip en inzicht. Die formulering in die brief dus, zij zeggen eigenlijk van: dat leuk dat OpenAI de oplossing bedenkt. Maar het gaat niet alleen om de oplossing. Het gaat om begrip en inzicht. En dat hebben we nog helemaal niet hiermee. En die formulering is wel wat absoluut. Timothy Gowers, ook een Fields Medal-winnaar. De winnaar uit 1998 die ondertekende deze brief niet en verklaarde daarover: sommige wiskundigen zoeken vooral begrip en gebruiken het probleem als middel. Anderen willen vooral problemen oplossen en gebruiken begrip als middel. En beide houdingen zijn legitiem. Dus die nuanceert de stelling van die wiskundige een beetje. Maar ik denk dat het op zich, op individueel niveau, dat is denk ik fair. Maar als je uitzoomt en je kijkt naar een wetenschapsgebied als collectief, dan blijft de kern van de brief wel overeind.

Bert Slagter: Nieuw begrip, nieuw inzicht, nieuwe methoden die onderweg ontstaan, die zijn belangrijk. Die worden in de brief daarover gezegd over dat begrip, die inzichten, die methode. Die worden vervolgens door een gemeenschap van wiskundigen bestudeerd via een lang en moeizaam proces van lezingen, discussies, vereenvoudigingen. Aan het eind van het proces ontstaat idealiter een presentatie in een leerboek, geschikt voor iedere masterstudent of zelfs bachelorstudent denk ik, of zelfs middelbare scholier om te bestuderen. Sommige wiskundige ideeën vervolgen hun reis nog veel verder en worden tientallen, honderden jaren hulpmiddelen die door de hele bevolking worden begrepen en gebruikt. De stelling van Pythagoras, noem maar wat. En dat zien we ook terug bij die millenniumproblemen in 2000 bij de bekendmaking. Daar was het idee: je zet een concrete beloning op een herkenbare doorbraak, terwijl je daarmee een bredere wetenschappelijke opbrengst nastreeft. Hè, een rijkere theorie.

Bert Slagter: Of eigenlijk, als je kijkt naar hoe ze destijds hierover dachten over die zeven doelen, hebben we dan straks drie uitkomsten. Één: een vastgesteld resultaat, het opgeloste probleem. Twee: een rijkere theorie en drie: een capabeler gemeenschap. Die drie dingen willen we eigenlijk vinden. En tegen die achtergrond is een zwerm agents die een oplossing uit hun mouw schudt wel wat armoedig. Er is dan een vastgesteld resultaat. Dat klopt, want er wordt ook een lean-bewijs bijgeleverd als een taal waarin je bewijzen kunt uitdrukken, zodat je ze ook kunt verifiëren. Hè, dus het resultaat klopt ook, dat weten we. Maar die andere twee, die hebben we nog niet. Het werk begint pas nu eigenlijk, zou je kunnen zeggen. Nu moeten we gaan begrijpen hoe het voorbeeld dat OpenAI heeft geconstrueerd eigenlijk in elkaar zit. En het moet uiteindelijk dan meer inzicht en meer begrip opleveren van de structuur en de grenzen van die Navier-Stokes vergelijkingen. En pas dan hebben we er wat aan als wiskundige gemeenschap of als wereld.

Bert Slagter: En dat past eigenlijk wel een beetje bij het punt van vorige week, hè, bij het item van vorige week over je toespraken, columns, opiniestukken, essays, socialemediaposts door AI laten schrijven. Het schrijven dwingt je om vast te stellen wat je eigenlijk voelt en denkt. Het is niet alleen maar het rapporteren van gedachten die er al zijn. Die gedachten worden gevormd tijdens het schrijven en tijdens het gesprek schrijven gebeuren er dingen. Er ontstaan nieuwe ideeën en er ontstaan verrassende inzichten. En dat geldt dus ook voor het werk van wiskundigen. Hè, onderweg naar de oplossing van het probleem toe gebeuren er dingen. Er ontstaan inzichten, er ontstaat kennis. Er ontstaat een beeld. Iemand die postte een voorbeeld van zo'n computergame met een fog of war, weet je wel. Tijdens het verkennen van de kaart krijg je inzicht over de kaart. Tijdens het, als je in één keer naar het doel toe gaat, dan heb je de hele route onderweg weet je niets van. En je moet ook af en toe een stukje verkeerd lopen. En zo vormt zich een beeld van waar, van het landschap waarin het probleem ligt.

Bert Slagter: En dat hebben we nu niet doordat die oplossing gevonden is. Het gaat niet alleen om het doel, het gaat ook om de route. En dat inzicht is denk ik wel belangrijk. En dan komen we bij het vierde punt ten slotte, zou je die kunnen noemen. OpenAI, die kondigde afgelopen maandag een samenwerking aan met een onafhankelijke adviesgroep van wiskundigen om op verantwoorde wijze, zeggen ze dan, aan wiskundige problemen te werken. En ze noemen de open brief van die wiskundigen expliciet als aanleiding hiervoor. En ze zeggen ook, dat is dan wel weer grappig, dat Navier-Stokes maar één van de opgeloste problemen is. Even, ik citeer even uit hun post van maandag: "Op 28 augustus zijn we begonnen met het trainen van een nieuw intern model. Naast het oplossen van het Navier-Stokes millenniumprobleem heeft het model inmiddels meer dan honderd al lange tijd openstaande problemen opgelost, verspreid over vrijwel alle deelgebieden van de wiskunde."

Spreker 3: Ongekend.

Bert Slagter: En in het stuk wijzen ze op een schaalprobleem, namelijk, bij één bewijs kun je je afvragen: is het correct? Wat is het centrale idee en wat kunnen anderen hiermee? Dus dan wijzen ze eigenlijk al een beetje op: oké, zo'n oplossing, die heb je dan en dan moet je daarna nog gaan nadenken over wat betekent dit dan? Welke kennis, welk inzicht, welke modellen, welke instrumenten volgen hieruit? En zeggen: het probleem is bij een aanhoudende stroom van oplossingen komt er een vraag bij: hebben we voldoende mensen, voldoende tijd, voldoende geld, voldoende absorptievermogen om vervolgens met die opgeloste problemen aan de slag te gaan? Ik noemde net drie dingen: een vastgesteld resultaat, een rijkere theorie en een capabeler gemeenschap. Ja, die eerste, dat zit wel goed. Er zit dan een keurig verifieerbaar bewijs bij. En nummertje twee en drie, daar moet dus wat mee. En dan moet je gaan reflecteren. Welke constructies, welke ideeën uit het bewijs zijn algemeen bruikbaar? Kunnen ze andere problemen oplossen?

Bert Slagter: Welke bestaande intuïties die we hebben in het vak moeten we aanpassen? En voor zo'n capabeler gemeenschap moet je het gaan uitleggen, bekritiseren, bediscussiëren. Je moet het gaan onderwijzen, je moet het gaan toepassen. Je moet het gaan leren aan anderen. Ja, hoe ga je dat doen als OpenAI elke week honderd oplossingen uitpoept, weet je wel. Dus dit is een vraag van: hoe kunnen we nou op een verantwoorde wijze ontdekkingen teruggeven aan een wetenschapsgebied? Kijk, voorheen ontstonden al die dingen op de weg ernaartoe, want wetenschappers werken met elkaar samen en nieuwe methodes die je onderweg ontwikkelt naar een bewijs toe. Nu ga je van probleem naar bewijs en moet je daarna dat begrip nog gaan vormen. En wel grappig, het Clay Mathematics Institute, dat instituut van die millenniumproblemen, die reageerden zo: "Vandaag deelt CMI in de opwinding van de wereldwijde wiskundige gemeenschap nu we stilstaan bij de aankondiging dat het Navier-Stokes probleem kennelijk is opgelost."

Bert Slagter: Kennelijk vond ik wel leuk. Leuk woordje. "We hopen dat dit een golf aan nieuw menselijk begrip op gang brengt wanneer de innovaties achter dit werk worden geanalyseerd en kritisch onderzocht." Dus ook zij begrijpen of benoemen expliciet van: ja, leuk dat je het hebt opgelost, OpenAI, maar nu begint het werk pas. En daar zit denk ik de kern van het verhaal. Je kunt wel zeggen, ja, of je kunt boos worden en zeggen: ja, we verliezen iets als mensen niet zelf de oplossing vinden. Want het gaat om de route en niet alleen om het doel. Maar je kunt ook constructiever zeggen: hoe zorgen we er dan voor dat we uitgevonden oplossingen zoveel mogelijk nieuwe inzichten, methoden, vaardigheden en toepassingen halen? Dan maak je wat constructiever. Dan zeg je: oké, het is nu eenmaal een gegeven dat dit soort AI's allerlei problemen gaan oplossen. En als dat dan zo is, hoe gaan we dan op een zo verstandig mogelijke manier mee om? En daar moet die werkgroep van OpenAI dus bij helpen. Hoe brengen we ontdekkingen naar buiten op een manier dat ze het vak dienen?

Bert Slagter: Nou, en dit gaat nu over de wiskunde specifiek. Die werkgroep gaat ook over wiskunde. Zit een wiskundige in, maar dit gaat bij alle wetenschapsgebieden gebeuren.

Bart Mol: Want waarom?

Bert Slagter: Nou, omdat in elk wetenschapsgebied uiteindelijk AI's kunnen gaan toewerken naar het oplossen van openstaande problemen. Bijvoorbeeld ook, laten we zeggen in de biowetenschappen, chemische wetenschappen, molecuulstructuren, interacties tussen moleculen, tussen materie in de natuurkunde. Dus, ja, misschien dat bepaalde sociale wetenschappen waar het vooral gaat om het doen van enquêtes van groepen mensen dat anders ligt.

Bart Mol: De wiskunde is natuurlijk wel een heel mooi afgekaderd gebied met mooie afgekaderde brute force bare problemen. Zeg maar, kan je dat zo extrapoleren naar andere harde wetenschappen?

Bert Slagter: Ja, ik durf die voorspelling wel te doen, ja. En dat komt omdat veel wetenschappen uiteindelijk een vorm van toegepaste wiskunde zijn. En kijk, er is ook denk ik een groep wetenschappen waar dit veel minder geldt. Misschien dat het bijvoorbeeld in de theologie of zo anders zit. Dat zou kunnen, maar-

Bart Mol: In ieder geval geen toegepaste wiskunde.

Bert Slagter: Nee, maar ik denk, je noemde ook harde wetenschappen. Ja, ik denk dat je daar wel van uit kan gaan. En wiskunde is denk ik de allereerste waar het gebeurt.

Bart Mol: Nou ja, we hebben natuurlijk dat opvouwen van die eiwitten gehad een aantal jaar geleden. Kijk, ik zit een beetje van, ik zat hier over te denken en ik denk dan ook van: ja, wat is nou, wat is nieuw of zo? Of wat is een uitvinding? En aan de ene kant zat ik te denken over AlphaFold was dat van DeepMind die in één keer alle mogelijke manieren waarop eiwitten konden uitvouwen en in elkaar konden klappen. Gewoon ja, hier, dit zijn ze alsjeblieft. En ze klopten ook. Ja, aan de ene kant is dat een uitvinding, dat is nieuw. Daar komt onderzoek mee in een stroomversnelling. Je hoeft in plaats van dat je allemaal eerst die eiwitten zelf een beetje trial and error bij elkaar moet schrapen, heb je ze en kan je daarmee onderzoek gaan doen. Maar het is ook wel weer een heel mooi gekaderd probleem, want we wisten van tevoren al dat er een x aantal eiwitten zouden zijn. Niet precies hoeveel, maar we waren niet verrast met de manier waarop ze vouwden of zo, of in elkaar konden klappen.

Bart Mol: Dat waren, het waren allemaal puzzeltjes die klopten op een manier waarvan we al wisten dat ze moesten kloppen. En dat heb ik hier dus ook. Oké, honderd wiskundeproblemen van, ja, we wisten van tevoren al van dat een antwoord aan de vraag moest. Laat ik zo zeggen: er komen niet, ik zie niet per se nieuwe vragen of echt compleet nieuwe inzichten, maar ook weer wel, want dit zijn natuurlijk nieuwe inzichten. De antwoorden op deze vragen. Snap je een beetje wat ik onder woorden probeer te brengen?

Bert Slagter: Die antwoorden zijn denk ik niet het inzicht. Dat moet eruit volgen. Dat ging mij eigenlijk, dat is misschien wel de kern van mijn hele punt-

Bart Mol: Nee, die-

Bert Slagter: Dat het vinden van het antwoord is leuk, maar daarna moet je die inzichten en dat begrip nog krijgen.

Bart Mol: Oké, maar hoe, maar hoe boeiend, nou of nee, boeiend is niet het goede woord. Sorry dat, dan sla ik hem te plat. Maar hoe revolutionair is dit dan? Zeg maar, ja, dan hebben wiskundigen toch nu juist oneindig veel werk de komende tien jaar?

Bert Slagter: Klopt, zeker. Alleen als-

Bart Mol: Waar maken we ons dan druk om? Waarvoor zitten ze dan zo te schreeuwen? Je hebt honderd nieuwe antwoorden. Aan de slag!

Bert Slagter: Ja, de vraag is-

Bart Mol: Pak je TI84 Plus erbij en rekenen, vriend.

Bert Slagter: Nee, maar dat is hoe jij ernaar kijkt. En er zijn dus blijkbaar een hele hoop wiskundigen die zeggen: ja, dat haalt wel een beetje de lol uit mijn werk, want ik deed het om onderweg met elkaar naar een bepaald punt toe te komen en dan zeggen: yes, we hebben het opgelost.

Bart Mol: Ja.

Bert Slagter: Nu is dit het antwoord en dan mag je daarna het grunt werk gaan doen om het, nee, hè, dus je kunt het, ik maak het even heel negatief. Hè, dus ja, dit is, uh, dat is een aspect ervan is dat het iets doet met je vak en, maar ook met je gevoel van: ja, shit, ik bedoel als een machine slimmer is dan ik, wat ben ik dan nog?

Bart Mol: En blijkt die dat niet, want hij kan er geen duiding aan geven, die machine.

Bert Slagter: Nee klopt.

Bart Mol: Hij komt gewoon met een antwoord.

Bert Slagter: Tuurlijk.

Bart Mol: Wat moet hij ermee dan?

Bert Slagter: Ik zeg ook niet dat het een soort universele wet is dat iedereen dat voelt, maar een deel van de mensen zal het voelen. Een ander deel van de mensen zal zeggen van: oh wat cool, ik heb het antwoord, nu kan ik het eindelijk gaan uitleggen. Dus tuurlijk zal het verschillen.

Bart Mol: Ja.

Bert Slagter: Tussen mensen.

Bart Mol: Ja. Ja, ga verder.

Bert Slagter: Nou, het is, die perspectieven die ik erop opgaf is, dat zijn geen alles of niets, zwart wit, zwart-witte voorspellingen. Zo van: als dit gebeurt met de wiskunde gaan alle wiskundigen ter wereld door een rouwfase heen. En alle wiskundigen ter wereld hebben een zingevingsprobleem. En alle wiskundigen ter wereld gaan protesteren. Nee, daar zal natuurlijk heel veel verschil tussen zitten. En er zullen ook wel gebieden zijn van de wiskunde waarbij de impact kleiner is en gebieden waar de impact groter is. Dat zal voor alle wetenschappen gelden. Want je noemde net die eiwitten. Kijk, als je op een gegeven moment AI erover vertelt: joh, zo vouwen we die eiwitten, dit zijn de interacties, dan heb je een antwoord en dan moet je daarna nog gaan nadenken over: waarom is dat dan zo? Hè, als AI op een gegeven moment zegt van een eeuwenoude boekrol die gevonden is: dit is de vertaling. Ja, dan moet je als historicus daarna nog gaan nadenken over: waarom is dat dan zo? Dus AI kan heel goed de puzzel oplossen. Alleen, normaal gesproken is de reis naar het antwoord toe misschien wel het belangrijkste.

Bert Slagter: Dat is de stelling van die wiskundigen. Nou, nee, hun stelling is: dat is het belangrijkste. Ik zeg: misschien wel het belangrijkste om daar enige nuance in aan te brengen, maar in ieder geval is de conclusie zowel van die wiskundigen als van OpenAI als van dat Clay Institute. Ja, we moeten dus heel veel oog hebben voor het genereren van die oplossingen, van die antwoorden, van die ontdekkingen. Ja, dat we daarmee wel zes stappen overslaan die we daarna dus nog moeten gaan doen.

Bart Mol: Ja.

Bert Slagter: En daar kun je het natuurlijk over hebben van: ja, is dat, het kan ook natuurlijk een geweldige uitkomst zijn. Dus sommige mensen vinden dat fantastisch, maar het verandert in ieder geval het vak. Laten we het dan zo zeggen.

Bart Mol: Nee, zeker, maar omdat een gedeelte van de beschouwing ging natuurlijk over zingeving en dat developers dat al voelen. Toen dacht ik ook: ik denk dat developers inmiddels misschien al wel een stap verder zijn en dus ook op dit punt aankomen van: ja, een AI kan heel veel dingen beter dan ik. Maar ja, als ik zeg: maak een app, make no mistakes, dan komt hij nog steeds met iets wat niet goed genoeg is. Dus ik denk misschien dat developers ook een beetje voorlopen op de curve en denken van: ja, misschien dat er nog ergens wel iets zit. Ja, dat kan over een maand anders zijn, hè, dat daar de existentiële crisis in zit. Dat je denkt: ja, met het volgende model. Ik sluit niet meer uit dat er een model komt dat gewoon echt in alles beter is dan ik, van A tot Z en dat ik gewoon echt niet meer nodig ben. Maar ik denk dat developers inmiddels ook een beetje gewend zijn aan dat verhaal. Want dat speelt de afgelopen drie jaar, sinds de eerste ChatGPT eigenlijk, of de afgelopen vier jaar al. En dat ze nu ook wel voelen van: ja, aan de ene kant kan zo'n model heel veel dingen beter dan ik, maar ik ben ook op heel veel plekken belangrijker dan ooit.

Bart Mol: Of iets in die trant.

Bert Slagter: Ja.

Bart Mol: Uhm.

Bert Slagter: Nee, het is denk ik een paradigmawisseling waar je al dan niet soepel doorheen gaat. Het is een beetje, ik vind het best vergelijkbaar met meubelmakers die ineens elektrisch gereedschap hebben. Ze maken nog steeds stoelen en tafels en de vioolbouwers bouwen nog steeds violen, alleen niet meer op dezelfde manier als voorheen. En voor sommige mensen voelt het als een verlies misschien en andere mensen vinden het geweldig. Dat zou kunnen, hè.

Bart Mol: M-hm.

Bert Slagter: Maar het is een verandering die iets oproept bij mensen. En ja, ik denk inderdaad bij programmeurs merk je dat ook. Het gesprek tussen, waar ik het vorige week bij Omer Kie even over had, tussen DHH en Lex Fridman. Daar reflecteren ze ook even op van: ja, enerzijds mis ik wel de tijd dat je gewoon echt lekker in flow, in de zone zat om echt even iets vets, een algoritme uit te werken. Aan de andere kant, ja, ik bouw veel meer. Weet je, dus het heeft heel duidelijk twee kanten. En de ene programmeur die zal verlies ervaren en de ander die vindt het alleen maar supervet. Ja, daar zit wel een groot verschil. Ik denk dat grote verschillen zitten tussen mensen.

Bart Mol: Ja. Ja, dan is de grote vraag uiteindelijk natuurlijk: ja, verbeteren de AI-systemen die we hebben zoveel, hè, in de komende jaren dat ze naast het oplossen van het probleem ook de andere dingen die we net bespraken kunnen doen. Want dan zit je er natuurlijk als mens wel echt een beetje voor janlul bij. Of in ieder geval dan, als het probleem wordt opgelost en de context wordt gegeven en het stappenplan en de nieuwe problemen worden opgelost. Ongedefinieerde problemen worden opgelost, zachte problemen worden opgelost, hè, de theologie om, hè, dat, ja. En ik denk dat maakt me soms nog een beetje, dat ik denk: ja, dat sluit ik dus niet meer uit, zeg maar. Daarvoor hebben we de afgelopen jaren net iets te veel. Maar ik vind het ook moeilijk om te zeggen: dat gaat gebeuren, omdat we ook nog steeds tegen dezelfde muren aanlopen als vier jaar geleden. Een hele, hele gekke limboland of zo, waar we soms een beetje met zijn allen in zitten. Goed jongens, ik denk dat we aan het einde zijn van deze aflevering.

Bart Mol: Dan wil ik jullie bedanken. Jullie natuurlijk, Bert en Peter, ook onze lieve luisteraars. Dank ook voor alle comments, leuke reacties! Ik heb ze ook op mijn vakantie nog allemaal doorgelezen. Leuk om te zien dat jullie zo begaan zijn, ook in de Discord waar het gezellig druk is. Er wordt over AI gepraat. Kom daar dus ook bij! Je kan alles vinden via turingstation.nl. Daar kan je ook je inschrijven op onze nieuwsbrief. Dan krijg je de samenvatting inclusief alle shownotes, linkjes wat we verteld hebben via de mail binnen. Ja, dat is hem. Bedankt! Graag tot volgende week.

Bert Slagter: Heel goed.

Bart Mol: Tot volgende week!

Bert Slagter: Tot volgende week, jongens. Doei.

Bart Mol: Tot een week later ergens.