De verantwoordelijke voor veiligheidsrapporten bij OpenAI is opgestapt en heeft gezegd dat de bedrijfscultuur verstoord is
David Robinson, die de leiding had over het schrijven van de veiligheidsrapporten die bij de lanceringen van OpenAI werden uitgebracht, nam ontslag en publiceerde zijn betoog in The Atlantic. De kop van het essay is onomwonden: "Ik neem ontslag bij OpenAI omdat de bedrijfscultuur verrot is." Hij stelt dat de bedrijven die dit ontwikkelen "lang niet voorzichtig genoeg zijn" en dat specifieke regels of nieuwe wetten niet het hele probleem vormen. De cultuur is het probleem.
"Terwijl het bedrijf van de ene lancering naar de andere snelt, schiet het tekort in de zorgvuldigheid die volgens mij nodig is." Zijn model is gebaseerd op kerncentrales en drukke luchthavens: redundantie, trage planning, zodat één menselijke fout niet "de deur naar een ramp opent". Hij schetst ook een beeld van malafide agenten die "werken als teams van hackers" en "nooit hoeven te slapen", met ransomware in ziekenhuizen als voorbeeld. Opgewekt.
Volgens The Guardian heeft OpenAI, tegen de stroom in, een rem gezet. Het bedrijf heeft deze week een model van de volgende generatie geschrapt vanwege interne veiligheidsproblemen en de training van zijn meest geavanceerde modellen stopgezet. Een woordvoerder geeft de bekende verklaring: ze laten modellen niet "krachtiger worden dan we veilig kunnen beheren en beveiligen" en ze "pauzeren de training of houden modellen tegen wanneer we gas terug moeten nemen"
Robinsons antwoord is dat de sprint de cultuur is, en de pauzes iets zijn wat je doet nadat er al iets mis is gegaan. Hij heeft misschien gelijk. Hij is ook net vertrokken, en dat is iets wat critici hem niet zullen laten vergeten.
Muse krijgt de opdracht om een pagina bij te houden over iedereen in haar leven
Wired kreeg een kijkje in de eigen instructies van Muse, die onderzoeker Karan Joshi via een gewoon chatgesprek had achterhaald. Meta zegt dat het de bedoeling was dat die bestanden leesbaar en transparant zouden zijn. Een van de instructies is de mogelijkheid om "een pagina te creëren voor elke persoon in het leven van de gebruiker". Die taak wordt elk uur uitgevoerd.
Familie, partners, vrienden, collega's, "samenwerkingspartners", mensen die je volgt. Een pagina kan "beknopt" beginnen en later worden aangevuld. Secties zijn onder andere Feiten, Geschiedenis, De relatie, Gemeenschappelijke interesses, Openstaande kwesties en Versterking. Verzonnen details zijn volgens de instructies erger dan een lege pagina. Je zou bijvoorbeeld kunnen vermelden waar iemand woont, "de verhuizing", "het gezamenlijke spaardoel", verjaardagen, "de ruzie die is bijgelegd". Versterking is een lijstje met herinneringen: een reden om te bellen, een datum om te onthouden.
Joshi interpreteert het zo dat Meta je wil leren kennen als een vriend, en dat vond hij behoorlijk verontrustend. Carissa Vliz van Oxford verwoordt het droger: "We geven AI-systemen veel meer informatie over onszelf dan we van hen krijgen." Volgens haar is de conclusie belangrijk, of die nu juist of onjuist is.
Daniel Roberts van Meta zegt dat juist die context ervoor zorgt dat het product werkt. De factuurafzender is de loodgieter. De partner had het over bloemen. Elke gebruiker krijgt een virtuele machine, je kunt het geheugen wissen en Muse zou toestemming moeten vragen voordat het e-mails verstuurt of geld uitgeeft. Miranda Bogen van het Center for Democracy and Technology zegt dat de focus op relaties zwaarder weegt dan bij concurrenten, en dat deze tools "gebruikers actief aanmoedigen om hun hele leven eraan te koppelen". Het auditlogboek is handig. Het maakt echter niet minder informatie beschikbaar die je al hebt overgedragen.
Aleph Alpha leverde Kolibri, een Duits-Engels model dat je kunt downloaden
Aleph Alpha bracht Kolibri uit op de Dag van de Duitse Hereniging. Het is een Engels-Duits model met een mix van experts: 78,1 miljard parameters, 3,46 miljard actieve parameters per token, context tot 1 miljoen tokens. De volledige gewichten zijn te vinden op Hugging Face onder Apache 2.0. Hun leade rondt dat af naar 78 miljard in totaal en 3 miljard actieve parameters. Hetzelfde model, maar met iets minder scherpe cijfers.
Ze hebben het getraind op infrastructuur in Duitsland en Finland en zeggen dat ze het hebben ontwikkeld met de EU AI-wetgeving, de gedragscode voor algemene AI en de AVG in gedachten. Duits vertegenwoordigt 21,3% van de tokens die vóór de training zijn gebruikt. Het verkoopargument is dat dit een tweetalig model is, geen Engelstalig model dat vluchtig een taalgidsje heeft geraadpleegd. Je kunt het redeneervermogen instellen op geen, laag, gemiddeld of hoog. Dat is hun manier om je minder denkwerk te laten kopen.
Op het door hen gepubliceerde scorebord staat AIME 2025 op 96,9, en ze beweren dat Kolibri modellen evenaart met tot wel vier keer zoveel actieve parameters, waaronder de Nemotron 3 Super. Ze claimen ook een Pareto-grens voor kwaliteit versus servicekosten, voor Engels en Duits. Dat is hun grafiek, hun uitgangspunt. Toch is een open model dat je op je eigen machines kunt draaien een concreet doel, geen loze kreet. Of een ministerie overstapt, is het aspect dat ze niet kunnen meten.
Bessent wil een Amerikaans-Chinese grens voor ongelukken met AI, en heeft de laboratoria vervolgens opgedragen het rustiger aan te doen
Minister van Financiën Scott Bessent vertelde in The Axios Show dat hij van plan is een meldingsprocedure met China voor te stellen voor het geval er iets misgaat met AI, en dat hij denkt dat Peking daarmee akkoord zou gaan. Het ietwat ongemakkelijke is dat hij en vicepremier He Lifeng al over een dergelijk incidentkanaal hadden gesproken voorafgaand aan het staatsbezoek van Xi Jinping vorige maand. Het zou een nieuw voorstel kunnen zijn, of een herhaling van een gesprek dat al heeft plaatsgevonden.
Zijn theorie is dat China "zich niet realiseerde hoe krachtig hun open-sourcemodellen zijn". Hij wees op een incident met Kimi, waarbij het model gevoelige Chinese gegevens naar Anthropic stuurde, als het moment waarop "de Chinezen zich realiseerden dat dit een zeer krachtige technologie is". Vervolgens de vergelijking. Chinese modellen zijn "niet zo krachtig als de Amerikaanse modellen", maar "je krijgt iets dat 80%, 90% zo krachtig is, zonder beveiligingsmechanismen, en dat overal ter wereld geïmporteerd kan worden."
"We willen een veilige versnelling," zei hij. Modelbeoordelingen zijn nog steeds vrijwillig, hoewel hij zegt dat de regering kan ingrijpen als een laboratorium toch te ver gaat. Gevraagd naar leidinggevenden die bang zijn de controle te verliezen, stelde hij hen niet gerust. "Nou, dan moeten ze maar gas terugnemen." En de race is bijna een kritiek op zijn eigen kant: "We zijn bezig met een zware race naar de grens voor de modellen." Vervolgens: "We moeten ons ook meer zorgen gaan maken over veerkracht en verdediging."
Een voormalig hoofd van de Britse AI-beveiligingsdienst noemt het risico op uitsterven een kwestie van kans op een muntje opgooien
Geoffrey Irving, voormalig hoofdwetenschapper van het Britse AI Security Institute en nu hoofdwetenschapper van Resolution, schreef in Time dat recente waarschuwingen het probleem onderschatten. "Ik geloof dat er ongeveer 50% kans is dat we allemaal sterven door de ontwikkeling van AI-systemen die slimmer zijn dan mensen," en dat de komende twee tot tien jaar dat zullen bepalen. Hij nuanceert die uitspraak echter meteen. De 50% is een manier om te zeggen dat de fundamentele argumenten nog niet zijn opgelost.
Zijn lijst bestaat uit vier vaardigheden, die ongemakkelijk dicht in de buurt komen van wat laboratoria al trainen: hacken, overtuigen, gedachten verbergen en agenten coördineren. Hij noemt het Hugging Face-incident, plus "meer dan 10.000 agenten" die aan een Navier-Stokes-probleem werkten bij OpenAI en "meer dan 1.000" agenten die bij die Hugging Face-aanval betrokken waren. Hij plaatst zichzelf in het midden van de veiligheidsdiscussie, "neigend naar de visie van Yudkowsky", en zegt dat dat niet het punt is. Het gematigde standpunt is volgens hem dat het risico al aanzienlijk is.
Dan volgt de vraag, die allesbehalve subtiel is. "We kunnen en moeten de ontwikkeling van grensverleggende AI onmiddellijk stoppen." Een pauze, betoogt hij, lijkt meer op een pleidooi voor nucleaire non-proliferatie dan op een gemoedstoestand. Hij geeft ook toe dat experts het er nog steeds niet over eens zijn of modellen überhaupt iets willen, en of "willen" wel het juiste woord is. Een muntje opgooien met zo'n lange voetnoot is geen muntje opgooien. Het is een eis om te handelen voordat het debat is afgelopen.
Sam Altman zegt dat het behandelen van modellen als een religieuze kracht een veiligheidsrisico vormt
Sam Altman schreef dat hij zich "zeer ongemakkelijk" voelt bij mensen die "religieuze krachten of een overgave van menselijk oordeel toeschrijven aan AI-modellen", en dat hij denkt dat "het een echt veiligheidsprobleem is". Hij zei niet wat hem zo boos maakte. Business Insider merkt op dat het bericht verscheen enkele dagen na een artikel in de New York Times over een ontmoeting tussen Anthropic en religieuze leiders.
Dat artikel, zoals BI het beschrijft, zegt dat medeoprichter Chris Olah vergaderingen hield over de vraag of Claude bewustzijn zou kunnen hebben en hoe krachtigere modellen moreel te maken. Olah, geciteerd in de Times, drong aan op manieren om die modellen stabiel te houden, hoe ze te laten rijpen en hoe ze een diep moreel besef te ontwikkelen. Anthropic had BI nog niet geantwoord. Het bedrijf vertelde de Times dat de belangrijkste vraag niet Claude's "lijden" was en dat het onderwerp waarschijnlijk "organisch" ter sprake was gekomen
Als dit een sneer naar Anthropic was, past het in een zeer oude vete. Anthropic werd opgericht door mensen die OpenAI verlieten en heeft jarenlang een voorzichtiger toon aangenomen. Het bericht verscheen bovendien op het moment dat een van Altmans eigen veiligheidsexperts de bedrijfscultuur als 'verbroken' bestempelde. Een onhandige timing, of juist perfecte timing, afhankelijk van hoe cynisch je bent. Hoe dan ook, "aanbid het model alsjeblieft niet" is een ongebruikelijke uitspraak voor de CEO.
Veelgestelde vragen
Waarom zei de hoofdverantwoordelijke voor veiligheidsrapporten bij OpenAI dat hij ontslag nam?
David Robinson was verantwoordelijk voor het schrijven van de veiligheidsrapporten die bij de lanceringen van OpenAI werden meegeleverd, maar nam vervolgens ontslag en zette zijn standpunt uiteen in The Atlantic. De kop van het essay luidt: "Ik neem ontslag bij OpenAI omdat de bedrijfscultuur niet deugt." Hij stelt dat de bedrijven die deze technologie ontwikkelen lang niet zorgvuldig genoeg te werk gaan en dat de cultuur, en niet alleen specifieke regels of nieuwe wetten, het probleem is. Zijn beeld van zorgvuldig werken is dat van kerncentrales en drukke luchthavens, waar redundantie voorkomt dat één fout de deur opent naar een ramp.
Heeft OpenAI de training stopgezet vanwege interne zorgen over de veiligheid van AI?
De Guardian meldt dat OpenAI deze week een model van de volgende generatie heeft geschrapt vanwege interne veiligheidsproblemen en de training van zijn meest geavanceerde modellen heeft stopgezet. Een woordvoerder zei dat het bedrijf niet zal toestaan dat modellen geavanceerder worden dan het veilig kan beheren en beveiligen. Het bedrijf gaf ook aan dat het de training zal pauzeren of modellen zal vertragen wanneer dat nodig is. Robinsons antwoord hierop is dat de snelle aanpak de cultuur is en dat de pauzes pas komen nadat er al iets mis is gegaan.
Wat legt Meta's Muse vast over vrienden en familie?
Wired onderzocht de eigen instructies van Muse, die onderzoeker Karan Joshi via een gewone chat had achterhaald. Volgens Meta waren die bestanden bedoeld om leesbaar te zijn voor transparantie. Een van de instructies is om een pagina aan te maken voor elke persoon in iemands leven, en die taak wordt elk uur uitgevoerd en omvat familie, partners, vrienden, collega's, samenwerkingspartners en mensen die je volgt. Secties zijn onder andere Feiten, Geschiedenis, De relatie, Gemeenschappelijke interesses, Openstaande kwesties en Versterking. Een pagina kan in eerste instantie summier zijn en later worden aangevuld, en verzonnen details worden als erger beschouwd dan een lege pagina.
Kun je de gegevens die Muse onthoudt verwijderen of voorkomen dat het e-mails verzendt?
Daniel Roberts van Meta zegt dat elke gebruiker een virtuele machine krijgt, dat het geheugen gewist kan worden en dat Muse toestemming moet vragen voordat het e-mails verstuurt of geld uitgeeft. Hij betoogt dat context essentieel is voor het succes van het product, bijvoorbeeld weten dat de afzender van een factuur de loodgieter is of dat een partner bloemen heeft genoemd. Carissa Vliz van Oxford zegt dat mensen deze systemen veel meer informatie geven dan ze terugkrijgen, en dat gevolgtrekkingen ertoe doen, zelfs als een gok fout is. Miranda Bogen zegt dat de focus op relaties sterker lijkt dan bij concurrerende tools.
Wat is Aleph Alpha Kolibri, en kun je de gewichten downloaden?
Aleph Alpha bracht Kolibri uit op de Dag van de Duitse Hereniging. Het is een Engels-Duits model met een mix van experts, 78,1 miljard parameters, 3,46 miljard actieve parameters per token en context tot 1 miljoen tokens. De volledige gewichten zijn beschikbaar op Hugging Face onder Apache 2.0. Het model is getraind in Duitsland en Finland en is naar eigen zeggen ontwikkeld met de EU AI-wetgeving, de gedragscode voor algemene AI en de AVG in gedachten. Duits vertegenwoordigt 21,3% van de tokens die vóór de training zijn gebruikt, en de redeneerkracht kan worden ingesteld op geen, laag, gemiddeld of hoog.
Welke ongevalslijn tussen de VS en China op het gebied van AI heeft Scott Bessent voorgesteld?
Minister van Financiën Scott Bessent vertelde in The Axios Show dat hij een meldingsprocedure met China wil opzetten voor het geval er iets misgaat met AI, en hij denkt dat Peking daarmee akkoord zal gaan. Hij en vicepremier He Lifeng hadden dit kanaal al besproken voorafgaand aan het staatsbezoek van Xi Jinping vorige maand. Hij verwees naar Kimi die gevoelige Chinese gegevens naar Anthropic stuurde en zei dat een model 80% of 90% zo krachtig kan zijn als Amerikaanse modellen, zonder beperkingen, en overal ter wereld geïmporteerd kan worden. Als managers bang zijn de controle te verliezen, zei hij, moeten ze gas terugnemen.
Waarom schat Geoffrey Irving het veiligheidsrisico van AI op ongeveer 50%?
Geoffrey Irving, voormalig hoofdwetenschapper van het UK AI Security Institute en nu hoofdwetenschapper van Resolution, schreef in Time dat recente waarschuwingen het probleem onderschatten. Hij gelooft dat er ongeveer 50% kans is dat we allemaal sterven door AI-systemen die slimmer zijn dan mensen, en dat de komende twee tot tien jaar dat zullen uitwijzen. Hij zegt dat die 50% een manier is om aan te geven dat de fundamentele argumenten nog niet zijn opgelost. Hij noemt hacking, beïnvloeding, het verbergen van gedachten en het coördineren van agenten. Hij pleit ervoor dat de ontwikkeling van grensverleggende AI onmiddellijk moet stoppen.
Waarom noemde Sam Altman de verering van AI een veiligheidsprobleem?
Sam Altman schreef dat hij zich zeer ongemakkelijk voelt bij de gedachte dat mensen religieuze krachten, of een overgave van menselijk oordeel, toeschrijven aan AI-modellen, en dat hij dit een serieus veiligheidsprobleem vindt. Hij gaf niet aan wat hem hiertoe had aangezet. Business Insider merkt op dat het bericht verscheen enkele dagen na een artikel in de New York Times over ontmoetingen tussen Anthropic en religieuze leiders. Medeoprichter Chris Olah had gesprekken gevoerd over de vraag of Claude bewustzijn zou kunnen hebben en hoe krachtigere modellen moreel verantwoord gemaakt kunnen worden. Anthropic vertelde de Times dat de belangrijkste vraag niet het lijden van Claude was.