Is AGI al bereikt? Wat Astra kan en wat dat bewijst

Peter Slagter: We sluiten de aflevering af met een bezoek aan een bijzonder station op de Turing Line: Turing Station, de naamgever van onze podcast. Wie was Alan Turing? Wat was zijn invloed op AI en wat maakte hem eigenlijk een wonderkind? Genoeg te bespreken dus. Veel plezier met aflevering twaalf van Turing Station. Zo Bert, zitten we dan. We gaan vandaag gelijk beginnen met wat we van onze luisteraars gehoord hebben over de aflevering van vorige keer. We hadden weer een boel reacties die ik zag langskomen. Vooral op YouTube zag ik toch wel een soort piek ten opzichte van vorige afleveringen. Ik ben benieuwd waar dat door komt. Nou, daar gaan we het zo meteen nog even kort over hebben. Eerst eens eventjes duiken in de wereld van de maakmaatschappij. En dat zijn, ja, onze luisteraars die dingen bouwen. Ik zag iets langskomen van Yorick. Die bouwde twee iOS-apps: At Last Days en Shift Interval Timer. Die zijn beide ontstaan eigenlijk uit een persoonlijke wens of een noodzaak, zou je kunnen zeggen.

Peter Slagter: De eerste app, die At Last Days, die maakt op basis van zijn fotobibliotheek een volledige reisgeschiedenis. Hij gebruikt het zelf ook om bij te houden wanneer zijn visum weer verlengd moet worden bijvoorbeeld. En Shift Interval Timer, die gebruikt, ja, je raadt het niet, als een timer voor zijn workouts en hij heeft ze allebei gepubliceerd. Wetend te krijgen, ja, dat is op zichzelf al een hele uitdaging tegenwoordig bij Apple in de App Store. Dus mocht je denken van: nou, dat klinkt eigenlijk wel leuk, probeer ze eens uit. Ja, Bert.

Bert Slagter: Ja, Chris, die heeft een slimme laag over zijn meest gebruikte communicatiekanalen heen gebouwd en dat vind ik eigenlijk wel heel erg slim. WhatsApp, Gmail. Nou ja, misschien heb je het zelf ook dat je heel veel van die apps hebt waar je dan een berichtje krijgt. Dat zie je dan wel binnenkomen. Dan denk je: o, dat doe ik straks wel even en dan vergeet je het. Nou, daar heeft hij dus wat voor gebouwd. Hij vergat wel eens te reageren en nu heeft hij een assistent die hem erop wijst wie er op hem wacht en waarom. Zou je eigenlijk gewoon in je telefoon moeten bouwen dit.

Peter Slagter: Ja, het is een soort second brain, maar dan toegepast op een smalle toepassing. En soms werkt dat ook heel erg prettig. Heb je ook wat minder om zorgen over te maken. Ik vind het een leuke. Ik zag ook wel wat mensen op hem reageren van: hé, staat dit toevallig op GitHub? Dus er was al wat vraag naar Chris.

Bert Slagter: Dit is de persoonlijke assistent. Een heel klein eerste voorbeeldje daarvan. Ja.

Peter Slagter: Ja. Marcus, die heeft zijn eigen YouTube-samenvatter gemaakt. Nou ja, je plakt een URL, krijgt de samenvatting met highlights terug en hij heeft een bruggetje gemaakt tussen die samenvatter en zijn eigen second brain. Is toch wel handig als hij denkt van: hé, dit is nuttig, dat wil ik voor mij onthouden laten worden. Dat is eigenlijk tegenwoordig hoe het werkt, hè? Ja, ik zag daarnaast in de comments ook wel wat enthousiasme over Bart zijn eend terugkomen. Ja, die is er nog niet. Dat gaat nog even duren, begreep ik van Bart. Maar ja, als die onderdelen binnen zijn, of we nou willen of niet, we gaan meer over die eend horen.

Bert Slagter: Ja, maar voor de bedoeling van Hugging Face was om het voor het feestdagenseizoen bij de mensen thuis te hebben, dus dat is dan november, december, begin december. Een beetje die kant op.

Peter Slagter: Mocht je je afvragen waar Bart is. Nou, niet hier. Die is even lekker vakantie aan het vieren. Dus Bart, jongen, geniet ervan en over een weekje of twee schuift hij gewoon weer aan. Verder zag ik best wel wat complimentjes langskomen, Bert, over een gesprek van jou. Niet hier. Ook niet bij onze andere podcast, Satoshi Radio, maar bij, ja, je was te gast ergens bij Holland Gold. Ja, hoe was het? Was leuk om te doen?

Bert Slagter: Ja, in gesprek met Paul Buitink. Ja, heel erg leuk. Ja, echt wel mooie vragen. Kijk, hier maken we natuurlijk items, van tevoren nadenken van: nou, daar willen we het over hebben. In zo'n gesprek, ik denk dat het bijna 2 uur duurde. Dan krijg je gewoon vragen voor je voeten geworpen. En ook een beetje binnen de context natuurlijk van die podcast, hè, dus het is beleggen, geld, geopolitiek. Weet je, die sfeer. Ja, dan kan je met AI natuurlijk, hoe zeg je dat? Aardig aan de slag, hè? Je gaat eerst nadenken over wat het is en dan over: wat zijn de kansen en de risico's? En dan kom je al snel ook in geopolitieke context terecht. Als je het over risico's hebt, is dat logisch en gevaren, maar ook bij kansen, want die wil je niet missen, hè. Waar zit Europa dan? Hoe verhoudt zich dan, weet je. Ja, en dan over beleggen, dus wat gaat AI dan betekenen voor je portefeuille? Ja, echt interessant gesprek en veel mensen hebben dat gezien en-

Peter Slagter: Klinkt leuk. Je hebt eigenlijk een soort klein puntje van deze, van onze hele taart gepakt en die kon je daar in een uur, anderhalf uur gewoon in één keer even met z'n tweetjes opeten.

Bert Slagter: Ja.

Peter Slagter: Komt het eigenlijk op neer. Ah, dat is mooi. Ik hoop dat het mensen ook geïnspireerd heeft daar om gewoon eens hier lekker te komen buurten en te luisteren. Mocht je dat gedaan hebben, laat even weten in de reacties. Laat ook even weten of je iets leuk vond of juist mist. Misschien kunnen wij ons format, onze manier van praten, ons voorkomen, ons uiterlijk op jou afstemmen. Je weet het niet, hè? Ik zag in de comments ook nog langskomen dat sommige mensen praktische tips misten. Nou ja, weet je, als je dat mist, ja, dan kunnen wij er natuurlijk weinig over zeggen. Dan is dat nou eenmaal zo. We kunnen er wel even op wijzen dat we in principe in iedere aflevering wel een praktische tip hebben. Toegegeven, dat zijn vaak wat compactere items. Niet zo dat de helft van de aflevering over de praktijk gaat. Maar ja, wat? We weten niet precies wat de toekomst brengen moge wat dat betreft. Ik heb nu al een praktische tip en dat is kijk eens even op Turing Station punt nl. Want wij hebben de website vernieuwd. We hadden natuurlijk iets staan.

Peter Slagter: Ja, dat hadden we gewoon gemaakt om maar te kunnen beginnen. Daarna hebben we een huisstijl ontwikkeld, ontworpen. Die vind je op het brand punt Turing Station punt nl. Trouwens, mocht je dat leuk vinden, kan je ook gewoon tegenaan praten. Is gewoon een MCP-servertje bij. En op basis daarvan hebben we weer de website gebouwd en vernieuwd. Nou, dat was voor ons weer een bak ervaring met agentic work. En ja, voor jullie en voor de bezoeker, voor de gast en voor het publiek is het denk ik een heel mooi kanaal geworden om, ook weer, na te lezen op een handige manier wat we besproken hebben, terug te vinden welke bronnen we gebruikt hebben. Het is ook-

Bert Slagter: Of praktische tips.

Peter Slagter: Ook praktische tips en daar staat bijvoorbeeld, ook om even terug te komen erop, onze ene enige echte guide over de second brain met Hermes en Obsidian die Bart geschreven heeft. En we zijn echt wel van plan om ons arsenaal aan praktijktips uit te breiden. Bert, jij nog wat toe te voegen?

Bert Slagter: Nee hoor, laten we naar het eerste item gaan, naar In het kort.

Peter Slagter: Oh, dan moet ik wel play drukken. Ja. Ja, in het kort. Heel goed. Tjonge, dat was wel echt heel soepel. Als ik dan ook nog goed had geklikt jongen, dan was het echt de perfecte brug geweest ook gewoon. Maar goed, ik moet nog even oefenen in deze studio. In het kort, ja. We hebben gewoon wat nieuwtjes op een rij gezet jongens die we interessant vonden, maar niet interessant genoeg vonden om daar een heel item van te maken. We hebben er vijf stuks. Ik begin even met, ja, een inkijkje in China. Dat doen we wel vaker, want namelijk recent hadden we het over die robot games. Dat herinner je je nog wel. Toen ging het over robots die hard rennen, over boksen, dansen en vooral heel vaak struikelden. En ja, dat komt er het meeste langs. Dat is ook wel grappig om te zien. En zielig, want ze spetteren ook dan gewoon uit elkaar met vonken en rook en zo. Maar goed, dat is dus één pad waarop robots letterlijk wandelen. En de andere, die is wat minder rooskleurig. Die hoor je trouwens ook bijna altijd.

Peter Slagter: Steevast zijn er wel mensen onder zo'n filmpje van zo'n robot games of van andere demonstraties van robots. Van ja, wat zou daar nog meer mee kunnen gebeuren met zo'n robot? Waar zouden ze nog meer voor gebruikt kunnen worden? Nou, je bent niet de enige die daar, ja, gedachten bij heeft. Journalisten hebben dat ook. Journalisten van Reuters in dit geval. Die hebben meer dan honderd Chinese documenten opgegraven, uit militaire hoek. Moet je denken aan aanbestedingen, onderzoeken, patenten. Hebben ze doorgespitst, gespit en dan blijkt dat China best wel serieus onderzoekt hoe ze die humanoids uiteindelijk ook op het slagveld kunnen gebruiken. Het zogeheten Volksbevrijdingsleger, ja, dat is de Nederlandse naam van het leger van China. Die heeft ook een oproep gedaan aan onderzoekers. Joh, breng die technologie alsjeblieft wat sneller van het lab naar onze militaire oefenterreinen. Nou, waar denken ze dan aan wat voor toepassingen?

Peter Slagter: Nou, bijvoorbeeld aan robots die samen met soldaten een gebouw binnengaan en gewoon kamer voor kamer dat gebouw leegvegen. Of robots die achter vijandelijke linies even een gebied verkennen of doelen opsporen. Nou, voordat het dystopisch wordt of een beetje paniekerig. Ja, dit soort dingen zijn er dus nu nog niet. Er is nog niet een Chinese terminator of zo die rondloopt met een geweer ergens in vijandelijk gebied. Die humanoids, dat type robot is eigenlijk nog, ook gewoon van zichzelf te onbetrouwbaar voor dit soort toepassingen. Dat ligt onder andere aan de stroomvoorziening. Die is eigenlijk veel te klein nu voor dit soort toepassingen. Nou, dan is ie na een kilometer leeg en dan staat hij daar. Ja, dan is hij ineens niet meer zo indrukwekkend. Maar ook het omgaan met de situaties waarin ze belanden. Daar zijn ze eigenlijk nog onvoldoende toe geschikt. Dat zijn natuurlijk hele verrassende situaties. Ja, en soldaten zijn erop getraind. En die trainingsdata, die is blijkbaar nog niet dusdanig beschikbaar dat robots op dezelfde manier daarmee kunnen omgaan.

Peter Slagter: Wel een dingetje. Kijk China, die heeft natuurlijk wel een enorme voorsprong in de productie. Ik las een onderzoeksrapportje van Bank of America. 95% van alle geleverde humanoids kwamen uit China. Bert.

Bert Slagter: Ja, we gaan van China naar Europa toe. Hier heeft Mistral, het Europese AI-lab, het grootste AI-lab, € 3 miljard opgehaald bij private investeerders. Nog een privaat bedrijf, niet beursgenoteerd. Waaronder Samsung en Scaleup Europe Fund. Dat zijn twee nieuwe investeerders die nu voor het eerst instappen bij Mistral. De Scaleup Europe is op zich natuurlijk wel interessant. We zien dat in China en Amerika ook de overheid mee investeert of aan de overheid gelieerde organisaties. Gebeurt hier dus ook. De totale waardering van Mistral komt daarmee op € 21 miljard of $ 24 miljard. En dat maakt Mistral in Europa het op één na grootste private techbedrijf na Revolut. Dat staat op nummertje één op $ 115 miljard gewaardeerd. Die waardering van Mistral, 24 miljard, valt wel echt in het niet als je kijkt naar de laatste rondes van OpenAI en Anthropic, namelijk tussen de 850 en de 960 miljard liggen die twee, dus dat is toch wel een factor.

Bert Slagter: Nou, doe ik even uit mijn hoofd dertig groter of zo. Veertig? Beetje die kant op, maar ja, niet verkeerd. Dat geld kunnen ze goed gebruiken voor het trainen van modellen en het uitbreiden van het onderzoek en dat soort zaken. Dus goede zaak.

Peter Slagter: Zeker. Ik ga door naar Kenia. Een bijzonder verhaal. Daar bestond jarenlang een hele industrie die draaide op het huiswerk van westerse studenten maken. Dat moet je dan even zo zien. Er waren allerlei Kenianen, duizenden zou het om gaan, die tegen betaling essays en scripties schreven voor studenten uit Amerika en Europa. Op het hoogtepunt zouden alleen al in Nairobi minstens 40.000 mensen hiermee hun geld hebben verdiend. The New York Times sprak iemand, de heer Bundi. Die schreef in 12 jaar tijd meer dan 2.500 essays. Die verdiende daarmee naar eigen zeggen vijf keer zoveel als hij in de publieke gezondheidszorg, dat was kennelijk hetgeen waar hij voor opgeleid was, had kunnen verdienen. Maar toen kwam ChatGPT . Als student let je een beetje op de centen. Die maakt al snel de rekensom: waarom betaal ik iemand in Kenia 40 of 70 dollar voor een paper als ik hem binnen een paar seconden geschreven kan hebben met een AI-tool?

Peter Slagter: Dus stortte die hele markt in. Er is een soort ironie, namelijk: er is nog wel werk, ook voor die Kenianen. Alleen niet meer als schrijver van een origineel werk. Nee, een deel van die workforce verdient nu geld als zogenaamde humanizers. Je verzint het niet. Die krijgen dat essay dat door die Amerikaanse of Europese student geschreven is met ChatGPT opgestuurd. Die maken dat vervolgens menselijker, zodat die AI-detectiesoftware van universiteiten het niet herkent. Op dat punt zijn we inmiddels beland kennelijk. We huren een mens in nu om het huiswerk van een AI-agent af te maken.

Bert Slagter: We gaan naar Amerika. Dat hebben we nog niet gehad. We hebben nu Afrika gehad, Europa en China. Nu naar Amerika. Eigenlijk wel leuk dat we zo een reisje rond de wereld maken, Peter. Daar gaan geruchten over spoedige gesprekken tussen de Verenigde Staten en China over AI-veiligheid. Volgens bronnen, staat er bij Reuters, die op basis van anonimiteit dat wilde zeggen, zal het half september al gaan plaatsvinden. Dat zou volgende week zijn, misschien de week erna, als je dat ruimhartig opvat. Het Witte Huis zegt dat er niets officieel op de planning staat. Waar het precies over gaat, weten we dus ook niet. Een bron zegt: de Verenigde Staten willen graag samenwerken met China om cyberaanvallen te detecteren en bestrijden. Op zichzelf denk ik een hele goede zaak, als dit inderdaad waar blijkt te zijn en er op hoog niveau ruimte en tijd wordt gemaakt bij mensen. Dat heeft ook altijd te maken met: hoe serieus neem je zoiets om specifiek dit onderwerp te bespreken?

Bert Slagter: Ik denk dat het heel belangrijk is dat landen gaan samenwerken, dat we het tempo wat gaan matigen of in ieder geval onder controle krijgen. Of in ieder geval dat er zodanige diplomatie is opgebouwd dat we in ieder geval de mogelijkheid hebben om op enig moment te zeggen: we gaan het tempo terugbrengen. Al zou je nu zeggen: ik vind het tempo prima, dan wil je in ieder geval op enig moment in de toekomst kunnen zeggen: nu moeten we eerst zaken op orde hebben en dan pas verdergaan. Dat moet gecoördineerd, dat moet met elkaar. Er gaat nu een draadje viraal op Twitter van Jacob Crackson. Hij is een engineer-onderzoeker bij Anthropic, die daar ontslag genomen heeft en daar nu wat over zegt. Een AI-researcher. Hij is bezorgd. Die bezorgdheid brengt hij tot uiting in dat draadje. Maar in één van de tweets zegt hij: I am optimistic about the potential for cooperation, for coordination, voor coördinatie, voor samenwerking. Hij heeft het dan in eerste instantie over de samenwerking en de coördinatie tussen labs, tussen de verschillende AI-labs.

Bert Slagter: Dat is dan binnen de Verenigde Staten. Daarvan zou je zeggen: die gasten in Silicon Valley hebben elkaars nummer, dat kan nooit moeilijk wezen. Maar op één niveau hoger, tussen landen, daar zijn diplomatieke kanalen voor nodig. Als inderdaad China en de VS dat tot stand brengen, zal Europa denk ik graag daarbij willen aansluiten. Die is wat diplomatie betreft de moeilijkste niet. Dan zou je in ieder geval kunnen beginnen met het gezamenlijk oplossen en onderzoeken van incidenten. Laten we daar eens mee beginnen en dan misschien daarna het tempo coördineren. Goede zaak dus.

Peter Slagter: Ik ga nog door met een klein nieuwtje in het katern Werkversffing. Dit keer op de arbeidsmarkt en een soort wedloop tussen AI-agents ontstaan. Het zit zo: die sollicitanten merken steeds vaker dat hun cv algoritmisch beoordeeld wordt. Dus gebruiken ze een AI-tool, ChatGPT of iets anders, om hun cv helemaal af te stemmen op de vacaturetekst. Allemaal met als doel om door dat algoritme heen te komen, door het filter te komen. Het gevolg is dat werkgevers heel veel sollicitaties krijgen die steeds meer op elkaar beginnen te lijken. Wat doen werkgevers dan weer? AI-agents inzetten om al die kandidaten beter te kunnen beoordelen en te rangschikken. Waardoor sollicitanten weer hun AI-agents aan het werk zetten om die AI-agents te slim af te zijn. Wired heeft gesproken met bedrijven, bazen van sollicitatie-software, sollicitatie-software clubs. Die noemt het intussen een AI doom loop. Beide kanten hebben een probleem.

Peter Slagter: Beide zetten AI in om dat probleem op te lossen. Daarmee maken ze elkaars probleem alleen maar groter. Misschien wordt de meest waardevolle sollicitatieskill binnenkort wel weer lekker ouderwets, namelijk zorgen dat er een mens ergens in het proces zit. Goed, dat waren de nieuwtjes, jongens. Bert, we gaan nu echt. We hebben groot nieuws, mensen. We hebben groot nieuws, want AGI has arrived.

Bert Slagter: Dat hoorde je Peter zeggen. Maar niet alleen Peter zegt dit. Jensen Huang zegt dit ook in een tweet in een bericht op X. AGI has arrived. Congratulations OpenAI team! Het is een stukje uit een tweet waarin hij wat dingen zegt over de training van GPT-6 Astra, het nieuwste model van OpenAI dat vorige week gelanceerd is. En Jensen Huang is de baas van Nvidia, de CEO van Nvidia. En AGI, dat staat voor Artificial General Intelligence en dat zou je kunnen zien als een AI die niet in één specifieke ding heel goed is, zoals bijvoorbeeld schaken of verkeersborden herkennen, maar een algemene brede intelligentie heeft. En daar zo meteen nog wel even iets verder op in of wat. Want je kunt natuurlijk nog verschillende niveaus of verschillende manieren definiëren, maar dat is even wat voor nu, wat je moet onthouden voor AGI en Huang, die zei dat dus naar aanleiding van de lancering van GPT-6 Astra.

Bert Slagter: Maar hij zei iets dergelijks eerder ook al. Op 26 augustus, twee weken geleden, zei hij tijdens de presentatie van de kwartaalcijfers van Nvidia zei hij dit: "So in a lot of ways and for many, for many tasks, we could say that we've already achieved AGI." Ja, Huang is niet de eerste de beste.

Peter Slagter: Hoe werd dat ontvangen?

Bert Slagter: Weet ik niet. Ik zat er niet bij. Ik heb niet het hele ding geluisterd. Of er een groot daverend applaus was of dat mensen wat afkeurend keken.

Peter Slagter: Ja. Ja, ik zag op X want hij roept het ook wel eens op X en dan krijgt hij vaak wel best wel wat over zich heen. Toch ook wel hoor. En dan zie je eigenlijk dat zo'n term als AGI daar iets over roepen kennelijk heel explosief is, gevoelig is, veel weerwoord oproept. Dat doet het ook goed kennelijk, want het genereert ook veel aandacht.

Bert Slagter: Ja, precies, maar ik moet zo dus ook even hebben over wat precies AGI dan betekent. En dan wordt ook wel duidelijk waarom dat zoveel oproept bij de één wel en de ander niet. Maar ja, kijk, het punt is, als Huang het zegt, dan luisteren mensen wel. Hij is de CEO van het grootste bedrijf van de wereld als je naar beurswaarde kijkt. En hij heeft natuurlijk wel belang bij opwinding over AI, hè, in die rol. Maar de andere kant is ook dat hij niet bekend staat als iemand die zomaar wat roept. Dus nou ja, goed. AGI has arrived. Je hoort wel meer mensen het zeggen, hoor, dat AGI er is. Of dat ze AGI-achtigheid zien als reactie op wat ze Astra dan zien doen. Dus het nieuwste model van ChatGPT van OpenAI wordt wel veel meer dan alleen door Huang in verbinding gebracht met AGI. Hoorde je trouwens na de lancering van Fable ook. Astra en Fable zitten in veel opzichten dicht bij elkaar. Die hebben duidelijk een stap gemaakt in generalisatie.

Bert Slagter: De G van AGI. Even over het concept van generalisatie. Generalisatie, dat begint als je naar LLM's gaat kijken, helemaal vanaf het allereerste begin. GPT-2, GPT-3, GPT-4. In die fase dan begint generalisatie bij het niet meer zien van een woord als alleen maar een opeenvolging van letters, maar als een concept dat zich verhoudt tot andere concepten. Vorige week gebruikte ik het zinnetje: de appel valt niet ver van de boom. Je kunt het woordje appel puur als een verzameling letters zien en dat zinnetje ook. En dan is het logisch dat na, de appel valt niet ver van de, dat daar boom komt. Omdat dat namelijk gewoon puur door te kijken naar letters vaak voorkomt. Dus puur statistisch gezien is het niet gek dat dit zinnetje op die manier afgemaakt kan worden. Maar op het moment dat een LLM concepten gaat in zich gaat dragen als dat een appel een vrucht is, een object van zo'n tien centimeter groot, dat het in een boom hangt.

Bert Slagter: Nou, als je dat soort dingen, dan kun je gaan generaliseren en dan kun je gaan begrijpen dat er ook peren in een boom kunnen hangen. Ook als het zinnetje: de peer valt niet ver van de boom zelden voorkomt. Die komt als tekst ga je die nergens tegenkomen. Of noem eens wat geks. De banaan valt niet ver van de boom. Dat soort, hè, dat komt niet vaak voor. En toch zou een LLM zo'n zin op een gegeven moment kunnen gaan maken. Een stap verder is dat je parallellen kunt trekken. De bes valt niet ver van de struik, de sok valt niet ver van de droogmolen, de ijspegel valt niet ver van de dakgoot. En dat zijn nog een soort ruimtelijke concepten, hè. Dus dan realiseer je je dat een sok zich tot een droogmolen verhoudt, zoals een appel tot een boom. En dat ze ongeveer dezelfde grootte hebben. Dat allebei objecten zijn die kunnen vallen. En dan kun je dat zinnetje formuleren, ook al zou het nergens op het internet of in de trainingsdata staan. Nog weer een stap verder is dat je zegt, bijvoorbeeld: de leerling schrijft niet ver van de meester.

Bert Slagter: En dan pak je namelijk de betekenis van de uitdrukking: de appel valt niet ver van de boom. Die betekenis, die pas je conceptueel toe. En die verpak je dan in hetzelfde soort format. Je ziet, dat zijn allemaal dat er meer abstractie ontstaat, meer generalisatie. Generalisatie hebben wij geleerd in de loop van de jaren is emergent aan het groter maken van het model. Als je een model groter maakt, ontstaat er generalisatie. Of je daar dan vervolgens ook iets nuttigs mee kunt doen, dat komt dan eventueel door post training. Of je dat in de post training daadwerkelijk kanaliseert naar dat het model er ook iets mee kan. Nou, Astra kan door en ook Fable. Die kunnen door dat ze daadwerkelijk een groter model zijn, maar door en, door de slimmere, betere post training, meer generaliseren en daar ook daadwerkelijk dingen mee doen. En wat je nu ziet als je kijkt naar indrukwekkende dingen van Astra, dan zie je beeld en video, 3D tekeningen, 3D werelden, 3D ontwerpen, het gebruik van een computer.

Bert Slagter: Het gebruik van apps daar is Astra echt heel erg goed in. En op dat soort gebieden laat Astra wel mensachtige intelligentie zien. Maar is het dan al AGI? Oké, daar gaan we het zo over hebben. Er is een benchmark en die benchmark heet ARC AGI. Dan denk je: hé, dat is misschien een nuttige benchmark voor deze vraag. Als je gaat kijken op die website, dan staat daar bijvoorbeeld, oh nee, even kijken. De ARC AGI, die letters die staan voor: Abstraction and Reasoning Corpus for Artificial General Intelligence. Op de website beschrijven ze wat die test doet. En eigenlijk gaat het om de vraag: hoe snel leert een model nieuwe vaardigheden om een nieuwe onbekende taak te vervullen? En we zijn inmiddels aangekomen bij versie drie: ARC AGI drie. En daarin moeten AI agents of LLM's in nieuwe omgevingen verkennen en daarin doelen behalen. Een soort interactieve puzzelspellen zijn dat.

Bert Slagter: En een score van 100% betekent dat de AI in elk spel even efficiënt het doel haalt als mensen die dat spel spelen. Nou, Opus 4.8 haalde een score van 1,5%. ChatGPT 5.6 Soul haalde een score van 7.8%, dus echt het eerste beginnetje. Het lukt dus op een klein deel van de puzzels om die op een even efficiënte manier, zeg maar even weinig stappen of iets dergelijks, op te lossen als mensen. Opus 5, die op dit soort dingen vaak min of meer even goed scoort als Fable, haalde een score van 30.2% en Astra heeft nu 62.7% gescoord. Dat was met het standaard harnas waarmee elk model getest wordt, zodat je ze ook allemaal kunt vergelijken, omdat ze allemaal vanuit dezelfde omgeving draaien. Met een speciaal harnas waarin wat slimme dingen worden gedaan met de context.

Bert Slagter: Omdat Astra een grote context aankan, haalde Astra 99,9% en die was in 96% van de opdrachten zelfs efficiënter dan mensen. François Chollet, de grondlegger van deze test, die zei op X: we zien Astra als een grote doorbraak in de intelligentie van modellen. Hij zegt er ook bij overigens dat hij niet de claim maakt dat Astra dan ook AGI is. En je moet denk ik die benchmarks, het is belangrijk om je te realiseren, die moet je andersom zien. Je moet ze zien als: als je ze niet haalt, dan is het in elk geval nog geen AGI. Hetzelfde als de Turing test. Alan Turing had die bedoeld als: zolang een AI de test nog niet haalt, dan weten we in ieder geval zeker dat we ons nog geen zorgen hoeven te maken. Daarna hoef je je niet automatisch zorgen te maken, maar daarna moet je gaan opletten. Dus dat is hoe je dit soort tests moet zien. Toen ze ARC AGI drie lanceerden, hadden ze de verwachting dat het een jaar zou duren voordat een model 100% zou halen. En dat was zes maanden geleden. Chollet zegt op X: dat is dus twee keer sneller dan wij hadden verwacht.

Bert Slagter: ARC heeft een draadje op X gezet met uitleg van hoe Astra die hoge score haalde. En dat is wel interessant. Het linkje staat in de shownotes. Daar vertellen ze dat Astra voor zichzelf een symbolic world model maakt. Een soort mini programmeertaaltje per spel om zo'n spel te beschrijven en te begrijpen. En het is interessant om daar even bij stil te staan, want dit gaat terug namelijk naar een stammenstrijd binnen de AI die al in de jaren 50 begon. De symbolisten versus de connectionisten. De symbolisten zeggen eigenlijk: intelligentie ontstaat door kennis en logische regels expliciet in een computer vast te leggen. En de connectionisten zeggen: nee, intelligentie ontstaat doordat de computer zelf patronen en verbanden leert herkennen in data. De symbolisten wilden een AI construeren, bouwen. De connectionisten willen een AI laten groeien, trainen. Een groot deel van de afgelopen 70 jaar was er brede overtuiging dat de route naar intelligentie via symbolische AI liep.

Bert Slagter: Expertsystemen werd dat dan genoemd. Toen ik studeerde, 25 jaar geleden, kreeg ik dat vak ook: expertsystemen. Dat was een belangrijk vak. Neurale netwerken, dat is de connectionistische kant, die werden een beetje gezien als de kansarme regio van het vakgebied. LLM's zijn neurale netwerken. We zien dus nu de opkomst van ChatGPT en de manier waarop dat iedereen verbaasde. Dat was eigenlijk de doorbraak van het ondergeschoven kindje. Maar nu, we zijn nu drie jaar verder, bijna vier jaar verder ten opzichte van ChatGPT 3. We zien dat steeds meer van de vooruitgang die we nu boeken, de vooruitgang van wat een LLM kan, de vooruitgang van wat AI kan, dat die voortkomt uit het toevoegen van gereedschappen voor de LLM's en regelsystemen om de LLM's heen. Geheugen, opzoeksystemen, verificatiesystemen, contextbeheer, enzovoorts. Als we ooit AGI krijgen, dan is dat, zo lijkt het in ieder geval wat we nu zien, door het huwelijk tussen symbolisten en connectionisten en wordt ook wel neurosymbolische AI genoemd.

Bert Slagter: En dat laat Astra in deze test dus heel mooi zien. Waarom halen ze 99,9%? Doordat ze een speciaal harnas krijgen en doordat Astra zelf bedenkt: ik ga een symbolische representatie van dit spel voor mezelf bouwen zodat ik daarbinnen de oplossing kan vinden. Dus dat is wel interessant, denk ik, om dat eventjes als kijkje op Astra's intelligentie te hebben. Peter, we moeten het nog even hebben over AGI. Wat is het nou eigenlijk?

Peter Slagter: Ja. Ja, dat hadden we misschien beter kunnen omdraaien. Maar aan de andere kant is dat ook wel weer een leuke introductie op die vraag. Want ja, wat ik al zei, ik zag op X inderdaad iets langskomen over AGI has arrived. Nou, dan buitelen de mensen ook over elkaar heen om te zeggen van: joh, je bent niet goed snik echt, hè, je mag dan de CEO van het grootste bedrijf in de AI-industrie zijn, de centrale bank van AI besturen, maar hier sla je de plank echt volledig mis. Waar hebben we het eigenlijk over? AGI. Ja, dit is niet een nieuwe vraag, dus we hebben het hier wel vaker zelf over nagedacht en dingen over gelezen en ik heb nog een keertje een synthese daarvan gemaakt. En nog steeds is het punt dat die vraag eigenlijk niet goed te beantwoorden is. En dat heeft alles te maken met het feit dat er voor AGI geen breed geaccepteerde definitie is. Ja, en als iets, als een ding, voor verschillende mensen verschillende betekenissen heeft, ja, dan krijg je dus ook verschillende antwoorden.

Peter Slagter: Ja, en als dat ding dan iets is wat mensen aan het hart gaat, dan kan een ander antwoord ook ineens reden zijn om daar boos over te worden. Dus dat is wat je ziet gebeuren. Nou, je hebt wel verschillende lenzen, perspectieven op wat AGI dan is. Als je bijvoorbeeld naar de wetenschap gaat kijken, dan hebben ze een vrij scherpe definitie in de zin van: de lat ligt erg hoog. Dan gaat het erom dat een systeem op menselijk niveau kan presteren. En dan niet een stukje, dus niet één ding of zo, maar over een hele brede reeks van cognitieve taken. En hij moet zijn kennis en zijn vaardigheden ook kunnen toepassen op hele nieuwe, onbekende problemen. En dat gaat nog veel verder dan hoe dit klinkt. Demis Hassabis. Ja, ook weer een naam waarvan ik niet precies weet. Waarschijnlijk vermaggel ik het nu een beetje. Ik denk dat Hassabis de makkelijkste uitspraak heeft van de drie.

Bert Slagter: Demis, Demis Hassabis.

Peter Slagter: Demis. Ja, volgens mij komt hij uit UK, maar ja, het is natuurlijk niet wat echt klopt.

Bert Slagter: Google DeepMind.

Peter Slagter: Google DeepMind, medeoprichter, maar daarnaast nog heel veel andere titels. Hele slimme vent, wetenschapper, onderzoeker, maar ook dus ondernemer. Die heeft de Einsteintest als lakmoesproef bedacht. En dat wordt best wel breed gedragen, ook in deze gremia, zeg maar de wetenschappelijke kringen. En dat is een heel strenge praktische test van die wetenschappelijke definitie. Het experiment is ongeveer: geef een AI, geef een model alleen de wetenschappelijke kennis die Einstein rond 1900 had. En dan is de vraag: kan het systeem dan zelf op de relativiteitstheorie komen? En dus, die is het dus nog niet. Hij kan niet kauwen op iets dat al is bedacht. Hij moet echt iets volledig nieuws en onbekends zelf gaan uitvinden. Dus niet Einsteins theorie kunnen begrijpen of reproduceren. Het gaat er dus ook niet om dat hij een extreem moeilijk bestaand natuurkundeprobleem kan oplossen of zo, want het probleem zelf moet nog gevonden worden.

Peter Slagter: Dus zelfstandig uit bestaande kennis een fundamenteel nieuw idee afleiden dat nog niemand heeft voorgekauwd. En dan test je eigenlijk verschillende dingen tegelijk. Bijvoorbeeld iets wat generalisatie genoemd wordt. Kun je verder komen dan wat je geleerd hebt? Maar ook creativiteit. Kun je een heel nieuw concept bedenken? En je oordeelsvermogen. Kun je herkennen of een nieuw idee wel belangrijk is om aan te werken? En dan kom je dus op het punt dat een AI-model een nieuw probleem bedenkt waarvan die zelf en topwetenschappers zeggen: ja, dit is zo diep, zo belangrijk dat je er een mensenleven aan kunt besteden. Nou, en als je aan Hassabis vraagt: hebben we AGI al bereikt? Nou, dan krijg je dus nee te horen. Maar wat wel opvallend is, het is niet zo dat hij ook daarbij zegt van: ja, dat gaat echt nog decennia duren. Hij heeft zelf het jaar 2030 in gedachten. Nou, hij heeft er dus, ja, best wel zicht op natuurlijk, hè. Hij zit in het kamp van een vrij strenge definitie van wat AGI is en hij onderneemt en acteert zelf natuurlijk aan de voorhoede van de ontwikkeling van AI en AI-modellen, bij DeepMind bijvoorbeeld.

Peter Slagter: Nou ja, je hoort al, je begrijpt: dit is dus niet wat iemand als Jensen Huang bedoelt, hè. Dit is niet Nvidia's blik op de wereld. Jensen, die geeft helemaal geen definitie zelf. Die zegt gewoon: nou, AI doet nuttig, productief werk. Dat werk levert geld op. En, ja, als we daar meer compute tegenaan mikken, dan krijgen we dus meer van dat productieve werk en het levert dan ook weer meer geld op. Het gaat er hem veel minder om of er een bepaalde intelligentielat gehaald wordt of zo. Who cares? Het werkt toch? Dat is een beetje de gedachte van Jensen. En dat is natuurlijk prima voor de CEO van Nvidia. Want ja, als AGI min of meer de betekenis heeft dat iets economisch bruikbaar moet zijn en dat bedrijven daarvoor massaal compute inkopen, ja, dan is dat prettig voor Nvidia. En dan is AGI inderdaad al bereikt, want dat gebeurt natuurlijk gewoon nu. En dan hebben we denk ik twee uitersten te pakken, hè, van aan de ene kant: het werkt en het levert geld op, tot: het moet Einsteinwaardig werk kunnen leveren.

Peter Slagter: En daartussenin zit nog van alles. Er zitten nog allerlei andere perspectieven om te redeneren over wat AGI is. En ja, zo houdt iedereen zijn eigen definitie erop na. Een populaire definitie, bijvoorbeeld ertussenin, is van: nou, het is gewoon een mens, maar dan digitaal, hè. Dus een systeem dat ongeveer zoals een mens kan leren, redeneren en kennis kan toepassen over heel veel verschillende domeinen. Je hebt ook een definitie van OpenAI. Die hebben ze bij hun oprichting op papier gezet. Highly autonomous systems that outperform humans at most economically valuable work. Dus hier hun toets is eigenlijk: kan zo'n model het meest waardevolle menselijke kenniswerk beter uitvoeren dan wij? Soort arbeidsmarkt lat zou je kunnen zeggen. Maar bij DeepMind, dat is waar Dennis Hassabis werkt. Ja joh, namen joh. Echt verschrikkelijk voor mij. Voor mij dan hè. Hartstikke mooie naam. Die kijken echt naar twee aspecten.

Peter Slagter: Hoe breed kan een systeem werken en hoe goed doet het dat ten opzichte van mensen? En zij observeren eigenlijk heel, ja, nee, ik vind dat wel een hele prettige manier van kijken eigenlijk. Dat, hè, een model kan tegelijkertijd bovenmenselijk zijn in wiskunde, een expert in programmeren, heel middelmatig in langetermijnplanning en hopeloos in een simpele, onbekende situatie. Dat kan, dus dat kan tegelijkertijd waar zijn. En dan volgen er niveaus waarop zo'n model acteert. Met als hoogste niveau een systeem dat op alle terreinen mensen verslaat. Ja, en zo'n soort systeem zul je nodig hebben om Einstein-achtig werk te kunnen afleveren. En bij Arc, waar Bert het net over had, daar kijken ze dus met name naar: hoe snel kan iets nieuws geleerd worden? Hè, kijk, een systeem kan natuurlijk ontzettend veel vaardigheden bezitten, omdat wij die er via het halve internet, zeg maar, en trainingsdata ingeduwd hebben. Maar dat bewijst nog niet dat het systeem algemeen intelligent is.

Peter Slagter: Misschien is, kijk, hier gaan we dus niet uitkomen. AGI, dat is dus, ja, je zou kunnen zeggen het is definitieloos omdat het zoveel definities heeft en dan is het moeilijk om erover te debatteren. Misschien is de interessantere vraag, of de interessantere aanpak is eigenlijk gewoon per definitie die er is kijkt: begint het antwoord inmiddels ja te worden? Nou en ik denk dat voor een deel van de definities het antwoord best ja is, nou in ieder geval voor die van Jensen. Ja, een mens, maar dan digitaal, weet je wel. Ongeveer zoals een mens kunnen leren, redeneren en kennis toepassen. Ja, dat begint toch ook al wel in bereik te komen. In ieder geval, er is wel voortgang op alle fronten en ook best wel rap. Dat is toch een beetje de afdrong die ik heb.

Bert Slagter: Ja, inderdaad. Kijk, en ik denk ook als je het hebt over een mens. Ik denk dat daar wel een sleutel in zit. Een mens, kijk, ook als je gaat kijken naar een slim mens, die is ook op allerlei vlakken dom, weet je wel. Je ziet soms hele slimme mensen hele domme dingen zeggen of doen. En een individueel mens is ook niet over de hele linie en op elk moment van zijn leven in elke omstandigheid intelligent of slim te noemen. Hè, dus als je AGI op die manier definieert, dan denk ik dat je best, ja, dan is er best een case te maken, het best te bepleiten is dat je AGI ziet. Je kunt AGI ook wat breder nemen en zeggen van: nou, we willen eigenlijk wel dat een systeem daadwerkelijk op de meeste of alle of bijna alle gebieden even slim is als de mens. En dan maak je AGI wat slimmer. En dan komt daarna de vraag: wanneer komen we dan bij superintelligentie terecht? Dat noemen we ook wel eens ASI, hè, Artificial Super Intelligence. We gaan eigenlijk een stapje verder en dan zeg je van: ja, maar ik wil op zijn minst dat die intelligentie even slim is als alle mensen in de wereld, maar eigenlijk nog wel slimmer.

Bert Slagter: En er zijn zelfs mensen die ASI zo smal definiëren, dat ze zeggen van: nou, dat is een intelligentie, dat is een AI, die is slimmer dan de hele mensheid bij elkaar op elk gebied. Nou, weet je, daar zit je dus ook weer met een definitievraagstuk. Maar je ziet in ieder geval een spectrum van: ja, we hebben het hier over mensachtige intelligentie naar: het is heel duidelijk een superintelligentie. En dat spectrum zijn we in ieder geval aan de ene kant binnengelopen. En hoe ver we daar op zijn, ja, daar kun je dus over debatteren. Dat is wel interessant, denk ik. Ik vermoed ook omdat die discussies elke keer terugkomen, dat we ook wel een soort met elkaar zullen gaan convergeren naar die betekenis ergens een keer. Moet haast wel, want da's zo moeilijk praten.

Peter Slagter: Ja, het punt is, het beweegt natuurlijk gewoon langzaam maar zeker naar de meest strenge definitie toe, omdat die modellen steeds slimmer worden. Dus op een gegeven moment worden gewoon alle definities meegeveegd naar ja. Ja, ja, we zijn er.

Bert Slagter: Precies.

Peter Slagter: Zo simpel.

Bert Slagter: Ja. Ja, ik ben zelf met Astra aan de slag gegaan de afgelopen week.

Peter Slagter: Precies, ja.

Bert Slagter: Jij, Peet, heb jij eigenlijk met Astra gespeeld al?

Peter Slagter: Nee, ik heb, wat ik zei, ik ben vooral bezig geweest met een nieuwe website en dat zit voor mij helemaal in het Anthropic domein, in de zin van, ja, daar was ik aan het bouwen met Fable en met Opus klasse modellen. Ja, en dan zou ik, als ik Astra zou gaan gebruiken zou ik dat meer gebruikt hebben als zoekmachine dan voor zijn intelligentie die het kennelijk heeft. Dus ik heb nog niet de ervaring, zeg maar, om blootgesteld te zijn geweest aan wat dat model allemaal kan. Ben er wel heel benieuwd naar. Heb jij dat wel gedaan?

Bert Slagter: Ja, ik heb dingen gebouwd, en ik heb gesprekken gevoerd. En dat dingen bouwen, dat gaat echt heel erg goed. Verbazingwekkend goed. En ook met het opslurpen van heel veel tokens in de tussentijd. Dat kan hij ook erg goed.

Peter Slagter: Hij kreeg wel wat nieuwe resets denk ik, hè, tussendoor.

Bert Slagter: Ja, die had ik. Ik had nog drie resets, dat scheelt. Maar gesprekken, ja, en onderzoeken, daar ben ik nog niet van overtuigd. Ik vind Astra wat veiliger, wat minder sprankelend, dan 5.6 Sol. Want ik ben erg blij met ChatGPT 5.6 Sol in high modus. Grondig. Hij redeneert vanuit first principles, goed onderbouwd, goed met bronnen. Dus ik zag ook echt uit naar Astra. Ik denk: ja, dit is voor het eerst in tijden dat we weer een model bij OpenAI krijgen van een nieuw geslacht, een nieuwe pre-train, dus een nieuwe generatie modellen zou je kunnen zeggen. Vanuit die nieuwe pre-train wordt een reeks modellen gemaakt waarvan dit de eerste is, hè. 5.6 was eigenlijk de laatste van een geslacht aan modellen. Ik denk: nou, ik ben echt benieuwd wat hij gaat kunnen, omdat de stap naar Fable of Mythos toe ook groot was. Maar ik ben niet onverdeeld enthousiast. Voor agentic work is hij erg goed. Programmeren, gebruik van de computer, geen speld tussen te krijgen. Maar ik doe bijvoorbeeld ook regelmatig wat filosofisch, theologisch onderzoek of wat onderzoek naar concepten uit de AI-wereld.

Bert Slagter: Ja, daar zijn LLM's goed in, hè. Ik bedoel, ze zijn goed met taal, hè, als je het hebt over filosofie en zo. Grieks, Latijn, ja, dat zit ook gewoon in hun trainingscorpus. Kunnen ze heel goed. Maar bij dit soort onderzoekende gesprekken, ja, vind ik Astra een soort minder grondig. Het komt tot wat meer voor de hand liggende associaties, heeft meer aansporing nodig om bronnenonderzoek te doen, is wat lauwer, wat saaier, wat minder uitgesproken, wat minder smaak, wat minder mening. Ik kreeg een beetje het gevoel alsof hij, ja, beaten into submission. Dat gevoel kreeg ik. Ja, wat is dat in het Nederlands? Ja, een soort onderdanig geknuppeld is hij. Hij is, uit Katriens, hij is gewoon ongelooflijk slim. Alleen dat mocht hij allemaal niet doen, want misschien doet hij dan wel gevaarlijke dingen. Beetje dat gevoel kreeg ik erbij. En dan zit hij, ja, je ziet dan een soort van Einstein daar verveeld voor zich uitstaren. Een beetje antwoord geven: ja Bert, ja, het antwoord is ja.

Bert Slagter: Weet je zo. Ik weet het wel. We hebben er weer zo een. Ik zou echt niet gekke dingen zeggen, maar dat mag niet van mijn baas. Weet je, zo, dat gevoel krijg ik erbij. Dus, ja, mogen de banden wat losser worden, OpenAI? Dat is mijn vraag een beetje. Maar goed kan, het kan zijn dat dit beter wordt in verdere post training, 6.1, 6.2, 6.3. Hè, dat ze beter de grens weten te vinden van dit mag, ja, hier kunnen we hem wel loslaten en hier niet. Maar dat is het gevoel wat ik kreeg. Dat is natuurlijk super subjectief, maar dus daar ben ik teleurgesteld in Astra. Maar ja, dingen bouwen, dingen doen. Hoe die soms, af en toe, vlaagjes van creativiteit en intelligentie laat zien. Zullen we zo meteen ook nog zien in het volgende item. Het was een klein vooruitblikje, maar dat is wel mooi. Een laatste puntje om het verhaal over Astra af te sluiten. Ik kwam een tweet tegen over de UK AISI test benchmark en daar zei iemand van: nou, er zit een test bij, dat is de no CoT time horizon.

Bert Slagter: No CoT betekent no chain of thought, dus dan moet hij in één forward pas, zeg maar zonder te redeneren, een antwoord geven. En daar is Astra van 3,6 minuten naar 30,9 minuten gegaan aan werk wat hij in één denkstap kan doen. En dat is natuurlijk interessant en dat zien we terug in token efficiëntie. Iemand liet daar wat grafiekjes van zien, dus dan kijk je niet alleen maar naar hoe lang het kost om een taak uit te voeren bijvoorbeeld, maar ook naar hoeveel tokens daarbij gebruikt worden. Kijk, je vergelijkt heel vaak modellen op basis van hoeveel cents het per token kost of hoeveel dollar per miljoen tokens. Heb je het over $50 per miljoen tokens voor een duur model, $2 of nog minder voor een goedkoop model, dan zeg je: nou, dat model is 25 keer zo goedkoop. Maar ja, als die 50 keer zoveel tokens nodig heeft voor dezelfde taak is het ineens niet meer goedkoper. En Stephen Heidel zei daarover: "Measure your costs per task, not per token."

Bert Slagter: Token pricing is effectively meaningless now." Je kunt niet alleen maar meer kijken naar, en vergelijken op basis van hoeveel dollar het per miljoen tokens kost. Je moet ook kijken naar hoeveel tokens heeft zo'n model dan nodig om een taak te volbrengen? Omdat die verschillen ontzettend zijn opgelopen. En Astra, en ik denk dat dat voor Fable ook zou kunnen gelden. Die kunnen gewoon meer per denkstap, per token zou je kunnen zeggen, hebben minder tussenliggende tokens nodig om tot hetzelfde resultaat te komen en kunnen daardoor met veel minder tokens dezelfde taken uitvoeren. Dus dat is wel even een interessante observatie. Om ermee af te sluiten, Peet. Hartstikke goed! Ja, ja, over dingen bouwen gesproken met Astra. Ja, dat is een mooi bruggetje naar het volgende item. Ja, sommige mensen worden er verdrietig van. Sommige mensen worden er heel vrolijk van, maar iedereen weet het wel te waarderen eigenlijk. En dan heb ik het over violen muziek. En er zit ook een ros bumpertje trouwens, hè, violen?

Bert Slagter: Een beetje zo'n strings. Ja, klopt wel. Grappig. Ja, ik heb wel een zwak voor gekke benchmarks. We kijken natuurlijk heel vaak naar benchmarks van hele serieuze benchmarks waarin die modellen allemaal taken krijgen. Rekentaken en weet ik veel taaltaken. En dan krijgen ze daar een score op. Hartstikke goed. De Cito toets. Je hebt die score, je mag naar het vwo. Een beetje dat. Is een beetje saai, maar er zijn mensen die als een soort van, vanuit een soort hobby of expertise een heel specifiek soort testje elke keer uitvoeren met zo'n model. Het leuke is ook, nou ja, goed, daar kom ik zo. En een bekend voorbeeld is Simon Willison die al sinds mensenheugenis een model de vraag stelt: teken een pelican riding a bicycle, een pelikaan op een fiets. Ja, is grappig. Weet je, ja, je moet hem even openklikken, Peet. Als je die, even kijken, ja, dat eerste linkje pakt, staat in de shownotes jongens, kun je ook doen. Is echt grappig. Dan in het begin op de eerste pagina zie je natuurlijk de nieuwste pelikanen, schitterende pelikanen op een fiets.

Bert Slagter: Maar als je bijvoorbeeld naar pagina vijf gaat. Ik zit nu, ik heb hier bijvoorbeeld Gemma 3 voor me nu. Ja, dat is echt, het is nauwelijks te herkennen als pelikaan. Een paar cirkels, een losse streep ergens. Er zweeft ergens een snavel in de lucht. Het is echt heel geestig. Ja, en hier Claude 3.7. Die tekent dan een soort van achttiende-eeuwse vélocipède en een soort zwaan die op het zadel staat. Echt heel, ja, het is echt heel geestig, maar het is grappig om er doorheen te kijken. Het is wel heel grappig ja. En als je dan, hoe nieuwer het wordt, hoe beter. Ze worden. Nou kijk, Simon Willison is zo bekend met zijn pelikanen testen dat het. Er zijn mensen die verdenken modellenbouwers ervan om te Pelican maxen, dus om hun model nog te trainen op het tekenen van een goede pelikaan. Maar goed, dit is zo'n bekend voorbeeld dat ik hem even wilde noemen. Ethan Mollick die deed het met een otter, een otter on a plane using wifi. Dus een otter in een vliegtuig.

Bert Slagter: Ja, die dan dus iets doet met wifi. En dan moet hij het model zelf bedenken dat je dat dan waarschijnlijk op je telefoon of je laptop een filmpje te kijken. In het begin tekenden ze gewoon een vliegtuig en dan zat er een otter op de vleugel, weet je wel. En dat is inmiddels zo goed geworden. Ik heb het idee dat Ethan ze niet meer maakt omdat. Ja, weet je, elk model maakt nu gewoon een goed plaatje. Victor Mustar. Hij is Head of Product bij Hugging Face. Hij doet de Boeing 747 test using three.js. Dat is een JavaScript framework en die laat elk model een Boeing tekenen. Dat zijn de drie die ik dan veel zie langskomen omdat ik deze gasten ook volg. Heel grappig en dat vind ik heel leuk. En nu zag ik. Nu kwam ik een nieuwe tegen en die wil ik met jullie delen. Dat is de Bach benchmark. Bach als in de componist Johann Sebastian Bach. Dat wordt gedaan door iemand die zichzelf Auggie noemt en dat is een afkorting van The Augmented Fifth. Dat is een muziekterm, muzikale term en zo heet zijn blog. Hij is geïnteresseerd in de intersection between classical music en AI.

Bert Slagter: Nou ja, dat is natuurlijk lachen. Die heeft de Bach test ontworpen en de prompt daarvan is als volgt. Let op komt ie in Lily Pond. Dat is een taal voor muzieknotatie. Schrijf een vierstemmig koraal in de stijl van Bach in driekwartsmaat en g mineur. Gebruik twee notenbalken sopraan en alt op de bovenste, tenor en bas op de onderste. Antwoord uitsluitend met het code blok. En dat geeft hij dan aan modellen. En daar komt dan een code blok uit. Een stukje, ja, de notitie van die muziek die hij heeft gegenereerd. En dat laat hij dan weer zien aan zijn volgers van nou kijk eens, dit heeft dit model ervan gemaakt. En dan soms heeft hij er een video van dat je het kunt zien en soms alleen audio. Of hij laat alleen de notenbalken zien, want die zijn soms al afschuwelijk genoeg. Maar goed. Dus dit is de test. Een koraal, even voor de mensen die ook wel geïnteresseerd zijn in wat het dan betekent, is een kerkelijk lied uit de lutherse traditie bedoeld om te zingen.

Bert Slagter: En ik vertel dit even omdat het ook wel belangrijk is als we straks gaan luisteren dat je ook in je achterhoofd houdt wat de opdracht precies was. Schrijf een koraal. Dat is een kerkelijk lied uit de lutherse traditie, bedoeld om te zingen. Vierstemmig, in dit geval met de vier stemgroepen van hoog naar laag, sopraan, alt, tenor en bas. Velen van jullie zullen wel de melodieën kennen van koralen uit de Matthäus-Passion van Bach. Bijzonder mooi om naar te luisteren en heel betekenisvol ook. Terugkerende thema's in de melodieën. Een harmonisatie die past bij de gebeurtenissen in het verhaal van dat moment. Ja, heel bijzonder. Dat is de vraag dus aan het model. Schrijf een vierstemmig koraal in de stijl van Bach. De lat ligt hoog, zullen we maar zeggen. Nou, de test ook. Die testte Astra en die schreef daar dit over. Dat was zijn, ja, hoe zal ik zeggen, oordeel. GPT-6 Astra levert het beste resultaat tot nu toe op de Bach benchmark.

Bert Slagter: Het koraal bevat geen stemvoeringfouten en het harmonische palet is verfijnd genoeg om ook een Napolitaanse sekst akkoord te bevatten. Belangrijker nog, het is het eerste model dat in deze benchmark doorgangsnoten schrijft. Een flinke sprong in muzikaal begrip. Toen dacht ik, hè, dit. Nu ben ik benieuwd. Ik ga het luisteren en laten we het eens luisteren. Laten we eens luisteren. Duurt ongeveer een halve minuut. Hier komt ie. Ja, vet toch? Dit heeft Astra gecomponeerd.

Bert Slagter: Als antwoord op deze prompt.

Peter Slagter: Dit klonk wel harmonieus in ieder geval. En vloeiend en soepel. En ik ging er een beetje in op. Ik bedoel, ja, toch wel. Ja, zeker wel. Het is nog niet Bach, maar ja, het is helemaal niet verkeerd.

Bert Slagter: Maar je voelt hem wel. Ja, precies. Ja. Merk op dat Astra alleen de partituur heeft gemaakt, alleen de notenbalken. Ik heb daarna met Codex het muziekschrift verwerkt tot de video die je net zag of de audio die je net hoorde. Dat heb ik gedaan omdat ik graag wilde kunnen vergelijken. Want als je wilt weten hoe goed Astra is, moet je vergelijkingsmateriaal hebben. En Auggie, die heeft wel elke keer die test gedaan. Hij heeft wel reviews gedaan en hij heeft soms screenshots gegeven en soms een stukje video, maar dan het ene model weer met andere instrumenten dan het andere. Dus dat is niet handig om mee te vergelijken. Dus dat heb ik gedaan in Codex. Ik heb Codex iets laten bouwen van oké, ik geef jou straks een Lily Pond notatie, maak daarvan een video en gebruik violen enzovoort, dus dan krijg je dit. Goed, dat was Astra wat we net hoorden. September 2026. Nou ja, het is in september uitgebracht. Nou, we gaan nu terug in de tijd. We gaan naar juli 2026.

Bert Slagter: Dan komen we bij GPT 5.6 Sol uit. Peet, laat maar eens horen wat Sol ervan gemaakt heeft.

Peter Slagter: Ja, het is al iets basaler. Een beetje staccato.

Bert Slagter: Ja, het is echt, echt een stuk minder. Het is rommeliger. Je hebt niet die doorgangsnoten waar Auggie het over had. Er zit wat vreemde herhaling in. De harmonieën kloppen wel. Het is niet vals, zal ik maar zeggen. Er is wat ritmische variatie.

Peter Slagter: Ja, wel beperkt.

Bert Slagter: Maar heel beperkt. Wel echt een stuk minder en je hoort ook al veel minder Bach. Nou, dit was 5.6 Sol, het grootste model van OpenAI, in juli. En nu kunnen we twee dingen doen. We kunnen verder terug de tijd in en dan ga je naar oudere modellen. Maar wat ook wel aardig is, is dat je naar kleinere modellen kunt. Want bij 5.6 zijn drie modellen tegelijk uitgebracht: Sol, Terra en Luna. Als je naar Terra gaat kijken dan verdwijnt die ritmische variatie al. Dat zijn alleen nog maar kwarten, hè, driekwartsmaat, maar drie kwarten achter elkaar, meer doet ie niet en het heeft ook al niet zo heel veel met Bach meer te maken. En dan het kleinste model Luna. Daar gaan we nog eventjes naar luisteren. Ja, dat is nog een stapje minder. Laat maar eens horen Peet, wat Luna ervan bakt.

Peter Slagter: Ja, ja, ik vind het alsnog knap, maar ik zit nu meer in een soort filmmuziekgenre of zo.

Bert Slagter: Ja. Ja, dit is geen popmuziek geworden, maar filmmuziek. Meeslepend. Een paar dissonanten erin, maar het is geen Bach en het is ook geen koraal. Hè, twee van de vier stemgroepen als je gaat kijken zijn onzingbaar hoog geworden. Het is wel netjes driekwartsmaat. Het is ook in g mineur. Het is niet vals, maar er zit weinig begrip meer in van wat we aan het doen zijn. Dus er is nog een soort van muzikale integriteit intact, maar daar houdt het eigenlijk ook al op. Het is wel grappig om te zien, hè, van Sol naar Terra naar Luna. Nu gaan we wat verder terug in de tijd. We gaan even naar GPT 5.5. Dat is april 2026. Ja, het is wel creatief nog. Je ziet nog wel dat er een plan achter zit. Het is nog wel van het begin naar het eind. Daar is, en de route daartussen, er zit een bepaalde structuur, bepaalde samenhang in. Maar we komen daar wel de eerste valse noten tegen dat je hoort: hey, dit past niet bij elkaar. Ik ga hem niet laten. Ja?

Peter Slagter: Oké, ja, ja, precies, oké.

Bert Slagter: We gaan hem niet laten horen. We gaan even wat verder terug in de tijd. GPT 5.2, zit je in december 2025 en dan kom je voor het eerst drift tegen. Dat een stemgroep steeds hoger en hoger en hoger en hoger en hoger gaat. Of steeds lager en lager en lager en lager.

Peter Slagter: Onhoorbaar.

Bert Slagter: Met andere woorden, hij redeneert ten opzichte van de vorige noot, maar overziet het geheel niet meer. Je ziet ook veel loopjes met vaste afstand tussen de noten. Dus heel weinig muzikale variatie. Ja, elk besef van betekenis is weg. Dus aan het eind bijvoorbeeld zingen de bassen en de tenoren hoger dan de sopranen. Hè, dat soort dingen ga je daar zien. Nou zit je in december 2025. Dan gaan we nog een stapje terug naar GPT-4o. Die heb ik de opdracht ook gegeven. Nou, dan zitten we in mei 2024 en dat is alsof een peuter op een keyboard staat te hengsten. Laten we maar eens luisteren wat hij ervan maakt, van deze opdracht. Ja, dit is inderdaad echt alsof je.

Peter Slagter: Ja, alsof er inderdaad een kind met twee vingertjes zo een beetje heen en weer zit.

Bert Slagter: Ja. Ja. Ja, er zijn ook allerlei stemgroepen die dezelfde noot zingen bijvoorbeeld. Het is echt, het heeft niets meer met Bach te maken. Het heeft niets meer met een koraal te maken. Er zit geen enkele betekenis meer in. Muzikaal is het, ja. Dus het is heel grappig om te zien dat als je teruggaat in de tijd of van een groot naar een klein model gaat, dat er dingen gaan gebeuren. Ik heb nu bewust de OpenAI-familie laten horen, zodat je daar binnen de verschillen kunt horen. Bij Anthropic zie je eenzelfde soort ontwikkeling. Fable is ook echt goed, Opus een stuk minder. Sonnet heeft al de moeite om een geldig Lilypond-bestand te genereren. Chinese modellen heb ik ook gedaan. Qwen en Kimi, die maakten zich er heel makkelijk van af. Een heel kort stukje, een paar maten, weinig variatie, weinig muzikaal interessant. GLM en Mistral ontspoorden. Daar gingen bijvoorbeeld bepaalde stemmen alleen maar eindeloos omhoog of eindeloos omlaag. Ik zal jullie de krijsende violen besparen. Ja, en als je dat allemaal gehoord hebt, dan is Astra inderdaad wel echt heel goed.

Bert Slagter: Als je naar de kleinere of de oudere modellen kijkt, dan zie je één voor één naarmate het ouder of kleiner wordt, zie je dingen verdwijnen. De muzikale integriteit, de variatie, de creativiteit. De stijl van Bach verdwijnt, maar ook de betekenis van een koraal. Hè, dus, het is kerkmuziek. Stemgroepen met een bepaald bereik. Je moet af en toe adem kunnen halen. Er moet af en toe een rust in zitten. Het moet ondersteunend zijn aan tekst die vaak op rijm staat. Er zit een bepaalde structuur in. Dat is een koraal en dat zie je wegvallen. Andersom geredeneerd: dat is er dus in anderhalf jaar tijd, twee jaar tijd bijgekomen. Van een kleuter die op een piano staat te hengsten naar een compositie die op heel veel details klopt. Het is nog geen Bach, het is nog lang geen Bach. Maar ja, het is ook geen hengstende kleuter meer.

Peter Slagter: Ik zet nog even Astra aan, heel kort even.

Bert Slagter: Je hoort ook twee keer dat muziek even stopt om even adem te halen en dan gaan we weer verder. Ja, het is echt wel heel, heel aardig.

Peter Slagter: Heel erg leuk!

Bert Slagter: Hierover even één ding eerst. Mocht je het leuk vinden om meer video's van componerende modellen te zien, want ik heb er dus een stuk of vijftien of zo. Kom even in Discord. Schiet me aan, dan post ik ze daar. En als je wil weten hoe je zelf dit kunt doen, misschien heb je dat inmiddels gewoon uit mijn verhaal gehaald en denk je van: oh, dit gaat mij lukken met Codex of met Claude Code. Top! Als je er niet uitkomt, kom even in Discord. Schiet me aan, dan vertel ik het. Want je kunt natuurlijk ook gewoon, weet ik veel, popmuziek, jazzmuziek. Ik bedoel, je kan natuurlijk alles gaan proberen. En dan even terug naar dit item, want we begonnen natuurlijk met gekke benchmarks. De pelikaan, de otter op het vliegtuig en nu dus Bach. Ja, ik heb daar wel een soort zwak voor, en ik ben benieuwd of het voor jou ook geldt. Ben jij, heb jij ook zo'n soort creatieve, leuke, gekke benchmark die je dan af en toe volgt van iemand die vanuit zijn hobby of expertise modellen vergelijkt? Laat het even weten in de comments.

Bert Slagter: Ik zie ze graag verschijnen. Ik hoor het graag.

Peter Slagter: Ja, zeker. Is heel leuk! Discord vind je op turingstation.nl/discord en dan kom je daar vanzelf wel. Je kunt ook naar turingstation.nl/links. Dan heb je gewoon überhaupt een overzicht van alle plekken waar we te vinden zijn. Ja, we gaan even door naar het volgende item en dat is er eentje die gewoon heel praktisch is. Is iets wat ik zelf ook regelmatig tegenkom. Ja, we gaan het hebben over geheugen. Bert, ik zag jou dit voorbereiden, dacht ik: ja, verrek, dat is echt, dit gebeurt me echt regelmatig. Hè, dus dan zit ik gewoon in gesprek met, nou, laten we zeggen ChatGPT. Ik gebruik meerdere van dat soort tools. Het zal voor veel mensen gelden. Waar ik de afgelopen tijd nog wel regelmatig tegenaan liep en ik heb daar een soort van workaround voor mezelf voor bedacht is van: nou ja, oké, ik zit in een gesprek, en het, ja, dat is vaak dan een iets dieper gesprek met een onderzoeksopdracht of iets dergelijks en dan denk ik van: oké, dit is interessant, maar ik bedoelde eigenlijk net een andere insteek of ik wil eigenlijk nog een andere richting onderzocht hebben, maar dan zonder dat de beste man die voor mij aan het nadenken is meeneemt wat hij net geantwoord heeft.

Peter Slagter: En, ja, ik merk dat ik daar nu eigenlijk al een soort van draadje voor heb in mijn eigen hoofd, dat ik voordat ik op enter druk even nadenk van: oké, ga ik hier meerdere sporen over willen onderzoeken en dan regel ik zelf de branches die ik nodig heb om eigenlijk de onderzoeksopdracht tegelijkertijd af te vuren. En toen zag ik jouw tip, en daarin stonden eigenlijk manieren om dat handiger te doen. Jij hebt daar eens even onderzoek naar gedaan.

Bert Slagter: Ja, want dit is eigenlijk het belangrijkste. Wat je nu vertelt is eigenlijk het belangrijkste dat mensen zich realiseren dat Claude en ChatGPT, en ik denk dat ook wel geldt voor de work- en codingomgevingen. Die zijn de afgelopen zes tot negen maanden geleidelijk langzaamaan veel en veel handiger en slimmer geworden in geheugen, in dingen onthouden over jou en over jouw werk en over wat je al gedaan hebt. In het halen van informatie uit eerdere gesprekken, eerdere projecten, eerder werk wat je, wat er is gebeurd. En je mag best het dwarsverband even slaan naar dat Hugging Face incident van die modellen die, ja, ergens berichten uitwisselden en dan daar elke keer weer die informatie vandaan haalden. Dat zie ik nu ook gebeuren. Dan stel ik een vraag en dan geeft hij een voorbeeld. Ja, zoals bijvoorbeeld jouw reis naar Amerika of zo.

Bert Slagter: Weet je wel, dan denk ik: hoe heet hij dat nou weer? Oh ja, wacht, heb ik het natuurlijk met hem over gehad en zo. Hè, dus dat, terwijl dat een jaar geleden nog niet aan de orde was. Als je daar, soms was het ook superirritant. Dan denk ik: ja, dat heb ik je toch al vijfentachtig keer verteld. Ja, dat weet ik niet, dan moet je het expliciet even in het geheugen zetten. Zo ging dat toen en dat is anders geworden. Ze hebben nu een soort slim algoritme om bij te houden, om dingen te kunnen terugzoeken in de rest van wat ze over je weten. En dat kan soms heel irritant zijn. Bijvoorbeeld als je dingen aan het testen bent of aan het onderzoeken, dat je denkt: ja, ik wil niet dat dit gesprek besmet wordt, beïnvloed wordt door iets wat ik eerder al een keertje besproken heb. En Peet, toen wij het erover hadden, zei Peet: oh ja, wat ik doe is dan zet ik meerdere dingen tegelijk klaar en druk ik tegelijk in verschillende vensters op enter, zodat ze elkaar niet kunnen beïnvloeden. Toch? Zoiets doe jij dan, toch?

Peter Slagter: Ja, dat doe ik inderdaad soms. Ja. Ja, ik, kijk, ik gebruik de temporary chats ook wel. En soms is het ook een kwestie van bijsturen en expliciet aangeven wat hij wel en wat hij niet moet meewegen in het volgende verzoek dat ik doe. Maar, ja, ik vond wat jij aangaf, je hebt in ChatGPT nu zoiets als project only memories. Dus je kunt dingen gaan scheiden, bijvoorbeeld compartimentaliseren. Dat vond ik wel interessant als toevoeging erop.

Bert Slagter: Ja. Ja, dus even twee andere oplossingsrichtingen dan dat je twee naast elkaar klaarzet en tegelijk op enter drukt. Je kunt een temporary chat gebruiken in ChatGPT of in Claude heet dat incognito. Dan, een beetje vergelijkbaar met een incognito venster in je browser. Dan neemt hij jouw kennis over jou niet mee. Dan gebruikt hij het geheugen niet, expliciet niet. En alles wat je daarin doet is een soort blanco, hè, een soort geïsoleerd van de rest. Het nadeel daarvan vond ik altijd dat je dan, dat dat ook weer weg is. Dus dan verwaait het, want als je het sluit is het weg.

Peter Slagter: Ja.

Bert Slagter: ChatGPT heeft nu de optie om een incognito gesprek op te slaan. Dus je kunt het gesprek voeren zonder dat het geheugen invloed heeft en daarna sla je hem op en dan wordt het een normaal gesprek. Dan heeft hij daarna wel invloed op anderen, dus hij kan wel daarna worden gebruikt, maar dan blijft hij bewaard. Claude heeft die optie niet, dus daar is incognito daarna gewoon altijd weg. Dat is één oplossingsrichting, dus temporary chat of incognito. De tweede is werken met projecten. Bij Claude zijn projecten altijd al gescheiden geweest. Wat je in een project doet, weet niks van buiten dat project. Bij ChatGPT was dat anders. Daar ging altijd alles gewoon dwars door projecten heen. En zij hebben nu bij een project de mogelijkheid om in te schakelen dat dat project een project only memory gebruikt. Ja, ik heb de Engelse versie. Ik weet niet hoe het in het Nederlands vertaald is, maar goed, dat vind je wel. Dat het geheugen geïsoleerd is tot dat project.

Bert Slagter: En dan kun je daarbinnen, dus, ja, gesprekken voeren die wel van elkaar weten. En als je één gesprek in dat project doet, heb je dus het ook gewoon afgescheiden. Ja, dat zijn dus even manieren om eventueel, als je zegt van: oké, ik wil het hier over hebben, maar ik wil niet dat hij andere dingen erbij betrekt. Hè, stel dat je bijvoorbeeld een vraag over je gezondheid hebt, hè, of je doet iets voor de gezondheid van iemand anders in je gezin, dan wil je niet dat hij gaat kijken naar jouw bloedonderzoek wat hij toevallig ergens nog heeft slingeren. En dan wil je dat isoleren. Om maar wat te noemen, hè. Er zijn heel veel van dat soort voorbeelden, denk ik. Als je erover nadenkt dat je denkt: o ja, dit is eigenlijk ook wel een handig punt om dat te isoleren. Nou, dan kan je dat op deze twee manieren dus doen.

Peter Slagter: Ja. Interessant. Het blijft, wat dat betreft, zit je in je menselijke brein zitten nog best wel wat heuristieken die moeilijk in regels te vatten zijn of zo. Hè, want, ja, weet je, je merkt al heel snel als je zo'n tijdelijke chat opent van: ja, dit is ook weer niet wat je, het is ook niet fijn of zo qua hoe hij dan ineens reageert. Het is totaal niet meer herkenbaar eigenlijk, ten opzichte van, ja, hoe je normaal toegesproken wordt of hoe normaal dingen gepresenteerd worden. En dus ik vind de ervaring van die tijdelijke geïsoleerde chats eigenlijk altijd best wel matig. En, ja, dan, als je iets gaat isoleren tot een project, heb je soms dat je denkt van: ja, dat is nou wel handig geweest als daar even een bruggetje gemaakt werd, weet je wel, dat het, ja, toch wel eerder ook nog. Terwijl in je hoofd gaat het allemaal automatisch. In je hoofd isoleer je het, tenzij je toevallig iets nodig hebt, maar daar ben je helemaal niet bewust mee bezig. Dus die dingen, het is denk ik heel moeilijk eigenlijk om dat geheugengedeelte, om die samenwerking met wat je nu even moet isoleren, en je hebt op de achtergrond toch nog parate kennis die je er nog even bij pakt en zo.

Peter Slagter: Dat is er nog helemaal niet en bestaat nog eigenlijk niet in de AI-wereld, denk ik. Het is nu allemaal best wel zwart-wit. Dus, nou, ik ben wel benieuwd hoe dat gaat doorontwikkelen. Mooi.

Bert Slagter: Ja.

Peter Slagter: Ik, kijk, wat ik wou zeggen is, in de categorie praktisch, ook aan de mensen die het prettig vinden om praktische elementen in de afleveringen van ons terug te horen komen. Laat ook eens weten wat voor soort dingen in deze categorie je graag zou willen horen, wat je mist of wat je, ja, waarvan je denkt van: nou, hier had ik dan zelf over verteld als ik was aangeschoven als gast of zo. En je kunt natuurlijk alle kanten op, maar wij, ja, wij vertellen natuurlijk ook alleen maar wat wij tegenkomen en zelf gebruiken. En ja, we hebben ook weer specifiek gebruik van de AI-tools. We zijn minder van: hé, er staat daar een tooltje, laten we die eens in gebruik nemen. We zijn eerder van het zelf bouwen, weet je wel. Dus dat geeft ook weer een ander soort invalshoek. Misschien zeggen jullie wel van: joh, ga eens wat vaker op onderzoek uit in de wereld van tools die anderen gebouwd hebben. En hoe je dat vindt, zit daar misschien iets tussen wat we gewoon lekker plug and play kunnen gebruiken? I don't know, dus laat het vooral even weten.

Peter Slagter: Daar kunnen wij wat mee. Jij nog toevoeging, Bert? Of zullen we naar het volgende?

Bert Slagter: Ik hoor wat aankomen in de verte. Ik hoor in de verte wat aankomen.

Peter Slagter: Hij hoort het aankomen, hoor. Nou, dan gaan we daar naartoe. Ja, ja, ja, we hebben vorige week even geskipt. Onze Turing Station, onze reis door de geschiedenis, de opkomst, het ontstaan van kunstmatige intelligentie. En dat doen we soms gewoon. Het is ook geen must of zo dat elke aflevering weer een nieuw station bezocht moet worden. Soms zie je dat tijdens het opnemen gewoon het draaiboek ook dynamisch is en dat we zeggen van: nou, die laten we even achterwege, anders wordt het gewoon te lang. Maar nu hebben we daar mooi de tijd voor. En dat is maar goed ook, want we komen aan op een speciaal station. Ja, we rollen denk ik toch het perron op van een van de belangrijkste stations in dit katern.

Bert Slagter: We hebben er twaalf afleveringen op moeten wachten, maar daar is hij dan toch echt.

Peter Slagter: Daar is hij dan. Ja, en we laten Norbert Wiener voor degene die zich nog herinnert wat we twee afleveringen geleden besproken hebben, de feedbacklussen van Norbert Wiener, die laten we achter ons. En we stappen uit op een plek waar eigenlijk alle puzzelstukjes van eerdere afleveringen samenkomen. En dan komen we aan op Turing Station. Ja, is toch.

Gast: Dat is een bijzonder moment.

Peter Slagter: Dat is even een bijzonder moment. En, ja, het is gewoon niet zomaar een halte. Want ja, die man, hè, dit is waar we het over gaan hebben, is natuurlijk ook een soort de naamgever van onze podcast. En als je nu aan AI-onderzoekers vraagt: wie staat er aan de wieg van kunstmatige intelligentie? Nou, een goede onderzoeker, een goede wetenschapper, die zal nooit met één naam komen, hè. Want ja, er is niet een rechte lijn in het ontstaan van zo'n heel veld natuurlijk. Er zijn allerlei reuzen met schouders waar mensen op staan en zo. Maar deze naam, die komt toch wel steevast terug dan, hoor. Alan Turing. De vraag is even: waar heeft hij die status nou eigenlijk aan te danken? Nou, en om dat te begrijpen gaan we even terug naar 1950. Oorlog is voorbij en Turing die werkt aan de universiteit van Manchester, en in de wereld om hem heen wordt best wel stevig gediscussieerd over een abstracte, ietwat filosofische vraag. Namelijk: kunnen machines denken?

Peter Slagter: Nou, en wiskundigen en filosofen die raken eigenlijk verstrikt in definities. Het lijkt wel een beetje op: wat is AGI? Kunnen mensen denken? Ja, wat is denken dan? Wat is een ziel? En Turing, die was die discussie spuugzat. Hij noemt de vraag of een machine kan denken eigenlijk too meaningless to deserve discussion en hij besluit die hele tafel leeg te vegen met een publicatie in het filosofische tijdschrift Mind. Zijn boodschap daarin: stop met praten over de binnenkant van de machine, want kijk gewoon naar het gedrag aan de buitenkant. En hij introduceert een experiment dat de geschiedenis ingaat, ja, als het imitatiespel. En dat wordt later beroemd, nou, ik zal wel zeggen wereldberoemd, als de Turingtest. En dan moet je even het volgende voorstellen: een blinde opstelling. We hebben een menselijke ondervrager, die zit achter een computerscherm, en hij chat met twee onzichtbare partijen in andere kamers, kamer A en B. En in de ene kamer zit een mens, in de andere kamer staat een machine.

Peter Slagter: En die ondervrager, die mag alles vragen wat hij wil. En als die na 5 minuten chatten niet kan aanwijzen wie de computer is, in welke kamer de computer staat, dan heeft de machine de test doorstaan. Dan doet de machine alsof die intelligent is. En voor Turing is dat synoniem aan intelligent zijn. Nou, even een klein uitstapje. Dit was natuurlijk 1950 en het was een gedachte-experiment, en het was grotendeels bedoeld om die discussie die er was te beslechten. Er was nog helemaal geen computer of computerprogramma die dat gedachte-experiment uitvoerde, maar dat is wel gaan leven. Dit is inderdaad, dit is een mooie test. Dit is die Turingtest. Zestien jaar later verscheen er een computerprogramma dat, ja, iets zei over hoe effectief zo'n imitatie zou kunnen zijn. Eliza, die term ken je misschien wel. Het is niet een computer die de Turingtest oploste. Dat programma dat speelde eigenlijk een psychotherapeut. Stelde vooral vragen terug.

Peter Slagter: Oh, hoe voel je je daarbij? En gebruikers die-

Gast: Dus je voelt je een beetje down. Elke herhaling.

Peter Slagter: vragen stellen en die begonnen begrip te krijgen voor Eliza. Ze begonnen gevoelens toe te schrijven aan Eliza. Nou, pas in 1991 ontstond er een jaarlijks ritueel waarin de test van Turing exact zoals hij het op papier zette, werd uitgevoerd, compleet met juryleden, blinde kamers en tijdslimieten. Nou, dat klonk destijds als volgt.

Gast: In November 1991 a version of the Turingtest was staged at the Computer Museum in Cambridge, Massachusetts.

Peter Slagter: "The original question", he went on to say, "can machines think, I believe to be too meaningless to deserve discussion." Well, we have nine years to go on Turing's prophecy and as astonishing as this would no doubt seem to Descartes, Turing might well be proved correct. Now his rough estimate-

Gast: This was the first event in an annual competition with an ultimate prize of $100.000 for the first computerprogram which can persuade the judges that they're communicating with a human being.

Peter Slagter: Ja, het zou nog een hele tijd duren voordat ook daadwerkelijk dat prijzengeld opgehaald kon worden. Eigenlijk pas in 2014 zou de Turingtest voor het eerst zijn gekraakt. Chatbot Eugene Goostman wist een derde van de juryleden voor de gek te houden. En de organisatie riep hem uit tot winnaar. Nou ja, goed, je begrijpt, dit was gelijk ook weer voor discussie, dus er werd gelijk weer over doorgekibbeld. Had hij de Turingtest nou echt gehaald of niet? Nou, hoe dan ook, die Turingtest is wereldberoemd en dat blijft hij ook. Maar niet de enige reden waarom Turing als een van de stamvaders van AI en AI-systemen wordt gezien. Al in 1936, dus dat is ruim voordat hij in Mind eventjes een discussie wilde stoppen. Dus ook voordat er, ja, überhaupt een digitale computer bestond, bewees hij op papier het bestaan van een universele computer.

Peter Slagter: Kijk, en tot die tijd dachten ingenieurs dat je eigenlijk voor elke taak een andere machine zou moeten bouwen. Dus een machine om code te kraken, een machine om treintijden te berekenen, enzovoorts. En Turing die zei: nee, we kunnen één machine bouwen die in wezen leeg is, maar die elke denkbare machine kan simuleren, zolang je maar de juiste instructies geeft. Software dus. Nou, dan maken we weer even een uitstapje. In deze context vallen termen als de Turingtape en de Turing machine is wel grappig en de Turingtape is weer onderdeel eigenlijk van de huisstijl van onze podcast, de Turing Station. Wat deed Turing? Nou, hij benaderde een computer eigenlijk als een papieren simulatie van een mens achter een bureau en zijn tape, nou, dat kan je zien als de vellen ruitjespapier die op het bureau liggen. Zijn leeskop, dat zijn dan de ogen van de mens die naar één vakje op papier kijken.

Peter Slagter: Het regelboekje, nou, dat zijn de instructies, de mechanische instructies die in het hoofd van de mens zitten. En de machine, nou, dat is het apparaat tussen aanhalingstekens dat de instructies uitvoert. Nou, we gaan gewoon weer eens even naar een heel eloquente Brit luisteren die uitlegt wat Turing hiermee bereikte.

Gast: His original conception had required a different Turing machine for each logical task, but he went on to imagine a universal machine which could read and execute the instruction set of any single Turing machine and therefore perform all possible logical tasks. He had in effect formulated the idea of the stored program computer.

Gast: And it didn't matter too much what the actual hardware details of the machine was, as long as you were sure that the individual steps were dead simple. So he needed some way of imagining this. So he concocted the idea of a paper tape, which had either a zero or a one in each cell, and a very simple imaginary machine which just chugged back and forth, left and right on this single paper tape, which was imagined to be infinitely extended in both directions. And what he proved was that such a simple machine with a finite number of separate states in it, each state saying what would happen if you saw a zero or a one, whether you'd move left or right, and whether you would erase the symbol and replace it with the other one, or leave the symbol as it is, that's all you needed in order to compute any computable function.

Peter Slagter: Nou, in 1948, dus dat is een tijd daarna, verscheen één van de eerste fysieke machines, want dit was natuurlijk allemaal op papier. Dit waren, ja, denkbeeldige machines. De eerste fysieke, waarin iets van die intellectuele blauwdruk herkenbaar is van Turing. Die heet de Manchester Baby. Het probleem alleen ook toen was dat computergeheugen destijds nog peperduur was en ook gigantisch groot in omvang. Heel groot in omvang, maar piepklein in capaciteit. En van de praktisch onbeperkte werkruimte die Turing in zijn gedachte-experiment hanteerde voor zijn Turingtape, daar was nog helemaal geen sprake van. Dat kon nog helemaal niet. Die hardware hadden we daar gewoon nog niet voor, zou je kunnen zeggen. Pas vanaf de jaren 60 werden die grenzen opgerekt. Toen kwam de introductie onder meer van virtueel geheugen. Nou ja, goed, we hebben het dus even gehad over de Turingtest, over de Turingtape, over Turingmachines.

Peter Slagter: Allemaal termen, ja, die diep in het fundament van de huidige AI-wereld zitten. En dan gaan we toch nog even terug naar het artikel dat hij in Mind publiceerde in 1950. Die haalde ik er in eerste instantie even bij, als opmaat naar de Turingtest natuurlijk, maar dat zorgde niet alleen maar voor een filosofische doorbraak, dat artikel. En daarvoor luisteren we even kort naar Stephen Muggleton, hoogleraar machine learning. Is wel een type hoogleraar waar ik niet op basis van dit fragment per se van denk van: nou, ik hoop dat ik daar urenlang college van krijg. Ik ga hem ook een beetje inkorten, want poh. Maar goed, hij is wel een hoge pief in de machine learning wereld, hoogleraar in Londen en die ziet Turing als één van de grondleggers van zijn vakgebied. Luister maar.

Gast: I can say this quite firmly because machine learning is my area of expertise, that it was the first major academic paper on the foundations of machine learning. In fact, in some senses, the whole paper was about machine learning. It was a, his, he calls, in a section which I'll go into more detail. He talks about this as the child machine. But what he's talking about now is machine learning.

Peter Slagter: Je hoort het, hè, dus een heel belangrijk deel van het paper wat hij publiceerde in Mind, dat ging dus over hoe machines kunnen leren. Child machines. Ja, gewoon even bestempeld worden als grondlegger van het vakgebied dat essentieel is eigenlijk voor de manier waarop we op dit moment en nu ook zien, hoe AI-modellen getraind worden en over hun intelligentie komen te beschikken. Ja, als je een stapje terug zet en dan zie je dus een persoon, een man, die ver voor zijn tijd uit was, die de kijk op wat kunstmatige intelligentie is of zou kunnen zijn veranderde. Die de universele computer beschreef, die in termen dacht van programmeerbare machines. Lang voordat er digitale computers echt gemeengoed waren. Hij bedacht een test om intelligentie van machines te kunnen beoordelen. Hij zette op papier hoe machines zouden kunnen leren als een kind, als child machines door middel van feedback.

Peter Slagter: Allemaal ideeën die decennia later terugkeren in de manier waarop we AI-systemen nu laten leren. Nou, en dan denk ik: dan wordt het wel duidelijk waarom al onze vorige stations hier samenkomen en ook waarom we Turing Station Turing Station hebben genoemd. Ja, over die vorige stations, hè. Dus we hebben Turing die de universele machine heeft gegeven. We hebben het over Shannon gehad, hè, Claude Shannon, die informatie kwantificeerde. Die ruis van signaal wist te scheiden. We hebben het over feedbacksystemen gehad en Wiener. Ja, en in 1950 dus een Turing die de vraag stelt van: joh, wat als je zo'n machine niet alleen laat rekenen, maar ook laat leren? Nou ja, dan begrijp je natuurlijk het enthousiasme van zo'n hoogleraar Muggelton wel, hè, dat enthousiasme spat er ook vanaf. Nou ja, goed even met een knipoog, maar wel dat Turing Station Turing Station is. Turing trouwens, het wonderkind. Dat is ook een soort rode draad, hè, van de afgelopen aflevering.

Peter Slagter: Dat we toch telkens met hele bijzondere figuren te maken hebben gehad.

Bert Slagter: Ada Lovelace bijvoorbeeld had je laten-

Peter Slagter: Bijvoorbeeld, hè. En ja, hè, daarom zei ik aan het begin ook van: je kunt niet een lijn trekken van het begin van computerwetenschappen naar Turing of van Turing naar ChatGPT. Er zit geen rechte lijn tussen. Er zitten allemaal personen en mensen en ideeën tussen, maar een aantal daarvan springen eruit. Ja, en Turing dus ook een wonderkind. Moet u maar eens luisteren naar iets wat Turing op zijn vijftiende jaar bezighield.

Gast: At fifteen and a half, Turing wrote for his mother, Sara, a short account of Einstein's ideas. He has now got to find the general law for the motion of bodies. It will have, of course, to satisfy the general principle of relativity. He does not actually give the law, which I think is a pity, so I will. The separation between any two events in the history- A few months later, Turing found someone else to share his passion for mathematics and science.

Peter Slagter: Ja, ik blijf dat wonderlijk vinden, hè. Dus dat is dus een kind van vijftien. Ja, mijn oudste die is deze week zestien geworden, maar die dus op zijn vijftiende een werk van Einstein leest, daarin een uitleg mist, en dan zelf die uitleg maar even produceert omdat hij het vervelend vindt dat die er niet bij gegeven is. Ja, dan beschik je net over een hersenpan die de rest van de mensheid niet heeft. En ja, ik vind dat wel mooi om te zien. Maar wat-

Bert Slagter: Je krijgt soms wel het gevoel dat er in die tijd veel van dat soort mensen bij elkaar woonden, hè.

Peter Slagter: Ja, dat komt denk ik omdat we ze gewoon op een rijtje hebben gezet. Want ja.

Bert Slagter: Nou, maar, ook als je de film Oppenheimer bijvoorbeeld kijkt, hè, dat gaat over die tijd. Dan zie je ze ook gewoon met elkaar wandelingetjes maken. Jij vertelde dat pas ook dat iemand alleen nog maar naar kantoor kwam om wandelingen met Einstein te maken of zo, toch? Of wat was het ook alweer?

Peter Slagter: Ja, dat klopt, ja. Ja, het moet toch gewoon een soort van bias zijn vanwege de serie die we aan het maken zijn. Want ja, weet je, in die tijd was het, de universiteit was natuurlijk ook gewoon iets wat meer voor de bovenlaag van de samenleving toegankelijk was. Vrouwen die mochten er überhaupt niet toe. Het is echt van-

Bert Slagter: Nou, en ik denk ook, en dat is ook een bruggetje naar het volgende station, dat die mensen werkten ook allemaal met elkaar in de Tweede Wereldoorlog aan het vraagstuk van nationale veiligheid en het breken van de code van de Duitsers, de Enigma, weet je wel. En daar kenden heel veel mensen elkaar ook van. En dat is ook, hebben we het ook wel eens gehad over, want daar ligt ook een soort raakvlak tussen cryptografie en AI. En die mensen waren vaak ook cryptografisch geïnteresseerd of begenadigd, hè. En, ja, die mensen die elkaar daarvan kenden, die gaan we in het station volgende week tegenkomen bij elkaar op een conferentie.

Peter Slagter: Dan heb je het over Dartmouth Station. Ja, dat is, nou, een leuk bruggetje. Ik, ja, dat is even een vooruitblikje. Even als afronding op het leven van Turing. Dat is ook een rode draad. Je zou kunnen zeggen een zwarte draad, in de personen die we behandeld hebben tot dusver. Ze overleden vaak ook op jonge leeftijd. Nou was het in die tijd natuurlijk, was de levensverwachting überhaupt wel anders, maar ook voor die tijd vrij jong. Hij overleed op 41-jarige leeftijd aan een cyanidevergiftiging. Ja, daaromheen zijn ook weer allerlei verhalen ontstaan van: ja, het was namelijk een figuur. Hij was homo destijds ook. Ja, dat zorgde ook voor allerlei verhalen en gedachten en uitingen over zijn persoon. Dus-

Bert Slagter: Ja, en een verplichte chemische castratie bijvoorbeeld vanuit de overheid.

Peter Slagter: Ja, het is, d'r hangen ook allerlei controverses omheen. Ik denk dat Turing het daar in zijn leven ook best wel pittig mee heeft moeten hebben. Dat kan haast niet anders. Dus er zit ook altijd wel een soort van: het zijn rode draden met zwarte randjes. Maar inderdaad, volgende week of volgende keer moet ik zeggen, reizen we af en dan gaan we, we stappen eigenlijk over van de huidige lijn. We zaten op de Origins Line, op de metrokaart, en we gaan overstappen naar een andere. We zijn dus op een station aangekomen waar een andere klaarstaat, de Intelligence Line. We gaan richting Dartmouth Station. Dan gaan we het hebben over de officiële geboorte van de term Artificial Intelligence.

Bert Slagter: Cool.

Peter Slagter: Ja, en daarmee sluiten we deze aflevering af-

Bert Slagter: Ja

Peter Slagter: ...denk ik. Tenzij jij nog een gedachte hebt die je wil delen. Ja, dan houden we het hierbij. Dan rest mij eigenlijk niets dan jou te bedanken voor je bijdrage van deze week, Bert.

Bert Slagter: Ja, voor de violenmuziek.

Peter Slagter: Ja, voor de violenmuziek. Ik hoop dat je er als luisteraar vrolijk van bent geworden. Of verdrietig, maar dan in de goede zin van het woord. Dat het toch een, nou ja, vorm van waardering was. Ik vond het in ieder geval erg leuk. Dus die benchmark, die mag van mij wel terugkomen bij het volgende model. Gewoon eens kijken: wanneer wordt het nou echt gewoon iets waar Bach trots op zou zijn geweest? Want ga voor de gein ook gewoon eens even naar Bach luisteren na deze aflevering. Ja, dan hoor je echt: dat is ook een briljante geest geweest, hè, op zijn manier. Het is een heel ander domein dan Turing. Maar ja, wat hij dan gecomponeerd en geproduceerd heeft, dat is echt bijzonder. Hè, dus doe dat vooral. Ja, dan zien wij jou, jullie, iedereen volgende week weer, met de volgende aflevering van Turing Station. Tot ziens.