Gaat AI ons uitroeien, Omarchy als agentic OS en de AI-teksten van Jetten

Beluister Turing Station op Spotify | Apple Podcasts | YouTube.

Gaan we allemaal dood? Het klinkt als een clickbait-vraag, maar mensen die bij de frontier labs werken stellen hem deze week bloedserieus. "We really do earnestly believe AI could kill all humans," schreef een onderzoeker van Anthropic. Wij nemen de tijd om die claim serieus te ontleden — zonder er depressief van te worden. Maar eerst kort nieuws.

TL;DR

• [00:06:44] In het kort: Siri AI komt voorlopig niet naar EU-iPhones, een nieuw EU-rapport concludeert dat Europa volledig onvoorbereid is op AI, en Typesafe.ai lanceert Jeff — een beslismodel dat 20 tot 200 keer sneller is dan generatieve modellen.
• [00:15:04] Gaat AI de mensheid uitroeien? Van Turing in 1951 tot de noodkreten van nu: we ontleden de routes naar catastrofe, de vier beleidsopties en waarom wij denken dat er eerst een digitale atoombom ontploft voordat er echt wordt samengewerkt.
• [01:08:35] Bert installeerde Omarchy, het agentic besturingssysteem van DHH dat zijn eigen wifi-drivers repareert — ruim 300.000 downloads en $15 miljoen aan donaties in een maand.
• [01:22:10] Premier Jetten liet AI persoonlijke berichten schrijven over onder meer Westerbork. Wie is dan nog de 'ik' in die tekst? Over signaalinflatie en AI als perfecte bullshitmachine.

In het kort: Siri AI, een EU-rapport en beslismodel Jeff

Apple rolde een grote AI-upgrade uit: een taalmodel geïntegreerd in het besturingssysteem, multimodal, grotendeels lokaal op je apparaat, met Private Cloud Compute (een samenwerking met Google en Gemini) voor zwaardere taken. Alleen: op EU-iPhones kan het niet, omdat Apple van de EU andere partijen dezelfde toegang moet geven tot het besturingssysteem als de eigen diensten. Bert vat het droog samen: de Europese Commissie beschermt ons nu tegen AI met privacy. Verder verscheen er een EU-rapport dat concludeert dat Europa volledig onvoorbereid is op de AI-transformatie — met als aanbeveling meer commissies en meer beleid. Peter vraagt zich hardop af of het niet juist een idee is om de markt de ruimte te geven in plaats van rapport nummer twintig te schrijven. Tot slot lanceerde Typesafe.ai het model Jeff: geen genereermachine maar een beslismachine, bedoeld voor classificatie en beslissingen in software. Het komt 20 tot 200 keer sneller tot een antwoord dan generatieve modellen en is 40 tot 400 keer goedkoper — snel genoeg om Doom te spelen met tien beslissingen per seconde.

Gaat AI de mensheid uitroeien?

Het beeld van robots met geweren in de straten is een karikatuur. De echte routes naar catastrofe zijn subtieler: AI als krachtig instrument waarmee mensen schade aanrichten (biowapens, cyberaanvallen), een misaligned AI die kritieke systemen hackt — drinkwater, elektriciteit, ziekenhuizen — en uiteindelijk een superintelligentie die zichzelf verbetert en structureel slimmer en machtiger is dan de mensheid bij elkaar. Nieuw is dit gesprek niet: Alan Turing waarschuwde in 1951 al op de BBC-radio dat denkende machines ons zouden kunnen overstijgen. "At some stage therefore we should have to expect the machines to take control." Het verschil is dat mensen bij de labs nu zeggen dat het gevaar niet theoretisch maar urgent is.

Wij schetsen het speelveld met drie aannames: staten geloven dat superintelligentie haalbaar is, dat het strategisch voordeel oplevert, en ze weten dat andere staten dat ook begrijpen. Dan blijven er vier beleidsopties over: verbieden, vertragen (pacing), verspreiden via open weights, of versnellen. Verbieden en vertragen zijn ineffectief zolang anderen doorgaan, verspreiden loopt tegen het proliferatieprobleem aan — je wilt niet dat je buurman een atoombom in zijn schuurtje bewaart. Blijft over: versnellen, de enige optie die je eenzijdig kunt nemen. Precies daar strandt het voorstel van Dario Amodei om gecoördineerd te vertragen: hij wil China eerst harder afremmen dan Amerika zichzelf afremt, en China noemde dat prompt een Cold War playbook. De reacties vielen keurig in stereotypen: de scepticus (Yann LeCun, Gary Marcus), de remmer (Amodei), de samenwerker (Musk), de verspreider (Zuckerberg) en de versneller (Trump: "whoever wins AI wins").

Onze afdronk: dit is een prisoner's dilemma zonder vertrouwen, dus kiest iedereen voor eigen gewin. Onze voorspelling: net als bij de fysieke kernbom komt er pas echte wereldwijde coördinatie nadat meerdere grootmachten over extreem krachtige AI beschikken — en nadat er ergens één of meer digitale atoombommen zijn ontploft. Uitgeroeid worden we in de tussentijd waarschijnlijk niet, denken wij, maar grote schade is reëel. Wat we nu zien is hooguit een klein rukje aan het Overton venster.

Omarchy: het agentic besturingssysteem van DHH

Bert viste zijn oude MacBook Pro uit 2016 uit een verhuisdoos en installeerde Omarchy, het op Linux gebaseerde besturingssysteem van David Heinemeier Hansson (DHH) met AI-agents diep geïntegreerd. Installatie: één minuut 44. Je kiest een standaard agent — Claude, Codex, Copilot, noem maar op — en die kan bij zo'n beetje alles: audio, bluetooth, klembord, drivers. Crasht een app? Eén klik en je agent stelt een diagnose. Berts wifi was traag; zijn agent zocht uit dat de driver het probleem was, vond een al gemergde fix op GitHub en bood aan het direct op te lossen. En iemand anders zette zijn laptop met kapot beeld voor een spiegel en liet de agent via de camera de driverfout herstellen.

Het is nog niet zo gepolijst als macOS, maar beoordeel het dynamisch: hoe snel wordt het beter? De momentum is er: de nieuwste versie werd in een maand ruim 300.000 keer gedownload, er is meer dan $15 miljoen gedoneerd door onder anderen Tobi Lütke, Patrick Collison, Michael Dell, Jack Dorsey, Drew Houston en Brian Armstrong, en Meta stelde $1,5 miljoen aan tokenbudget beschikbaar. Bert is enthousiast: heb je nog een oude laptop liggen, probeer het eens op een zondagmiddag.

Jetten en de inhoudsloze bagger: wie is de 'ik' in een AI-tekst?

De Volkskrant ontdekte via detectiesoftware Pangram dat berichten van premier Rob Jetten op sociale media door AI zijn geschreven — inclusief een persoonlijk verslag van een bezoek aan Westerbork. Nieuwsuur liet 77 toespraken van bewindspersonen controleren: vijftien bevatten AI-fragmenten, vijf waren volledig door AI geschreven, waaronder speeches van Yesilgöz en Boswijk. Bert noemt inhoudsloze AI-bagger respectloos naar je publiek: jij schrijft één keer, maar het wordt een miljoen keer gelezen — die asymmetrie negeer je als je het uitbesteedt. En er is signaalinflatie: een tekst zei vroeger iets over de schrijver — de moeite, de aandacht, het denkwerk. AI maakt die signalen haast gratis. Een LLM is bovendien de perfecte bullshitmachine in de zin van Harry Frankfurt: geoptimaliseerd op effect, onverschillig voor oprechtheid.

Tegelijk is dit geen pleidooi tegen AI bij het schrijven — Peter gebruikt het zelf ook. Het gaat mis als je het dénken uitbesteedt: welke verbanden, welke emotie, welke redeneerlijn. Doe je het eigen denkwerk en laat je AI het tikwerk doen, prima. Maar wie een AI laat opschrijven wat hij "voelde" in Westerbork, slaat het waardevolste over: de reflectie zelf. Je kunt iemand inhuren om je te helpen sterker te worden, maar niet om namens jou sterker te worden.

Bronnen

In het kort

• Apple lanceert Siri AI – behalve in de EU
• Tweakers: Apple werkt aan integratie van andere AI-diensten
• Nieuw EU-rapport adviseert versnelling van AI
• Typesafe.ai lanceert Jev
• AI speelt Doom

Gaat AI de mensheid uitroeien?

• Post op X van Hilbertspaess
• Post op X van Evan Hubinger
• Springer: wetenschappelijk artikel over AI-risico's
• BBC: The Third Programme (video)
• Turing-archief: lezingen voor de '51 Society
• Dario Amodei: 'We must pace the frontier'
• Forbes: China verzet zich tegen AI-vertragingsgesprekken
• TASS: Russische reactie op AI-vertraging
• Zo werd het in Nieuwsuur besproken (post op X)
• Feb 2019: OpenAI over betere taalmodellen (GPT-2)
• Juni 2020: OpenAI lanceert de API
• Maart 2023: Open brief om AI-experimenten te pauzeren
• Mei 2023: Verklaring over uitstervingsrisico door AI
• Mei 2024: Jan Leike bekritiseert OpenAI om veiligheidscultuur
• Dec 2024: Anthropic-rapport (PDF)

Omarchy, een OS speciaal voor AI

• Podcast: DHH te gast bij Lex Fridman

Jetten publiceerde inhoudsloze bagger

• Volkskrant: honderden social-mediaberichten van Jetten en D66 door AI geschreven
• Instagram: Rob Jetten over Kamp Westerbork

Timestamps

[00:00:00] - Intro
[00:06:44] - In het kort
[00:15:04] - Gaat AI de mensheid uitroeien?
[01:08:35] - Omarchy
[01:22:10] - Jetten publiceerde inhoudsloze bagger