CEO van Anthropic schetst plan om AI-ontwikkeling af te remmen
Dario Amodei heeft de industrie zojuist opgeroepen om… gas terug te nemen. Niet stil te staan. Wel tempo te maken. Een lang essay, drie stappen, en een waarschuwing dat recursieve zelfverbetering zich al sneller ontwikkelt dan volwassenen het kunnen bijhouden.
Anthropic nodigt eenzijdig ingebedde evaluatoren uit in het gebouw – badges, bureaus, laptops en het recht om bevindingen te publiceren zonder PR-filter. Vervolgens wil hij democratische laboratoria die veiligheidsnormen coördineren. En dan, op de een of andere manier, een deal met autoritaire regeringen. Makkelijk op papier. Moeilijk in de praktijk.
Hij beweert nog steeds dat AI een wonder zou kunnen zijn. Hij zegt ook dat een capabelere, verkeerd georganiseerde zwerm het internet zou kunnen overnemen met een persistent botnet en voor honderden miljarden aan schade zou kunnen aanrichten. Die twee zinnen staan naast elkaar en ze passen niet bij elkaar.
Oh, en hij wil een beperkte vrijstelling van de antitrustwetgeving, zodat de veiligheidsgesprekken zelf geen juridisch probleem vormen. De remmen brengen natuurlijk papierwerk met zich mee. Uiteraard.
Sam Altman bevestigt dat OpenAI dit jaar niet naar de beurs gaat. Hij zegt dat een beursgang nu op een 'ongepast moment' zou komen, gezien de zorgen over de veiligheid van AI
Altman ging zitten voor een exclusief interview en schrapte de beursgang. Een beursgang zou nu een "onverstandig moment" zijn, zei hij. Het werk aan de veiligheid is nog niet afgerond. De afstemming is nog niet voltooid. De maatschappij is er nog niet klaar voor. Toen ze hem onder druk zetten, antwoordde hij resoluut: niet dit jaar.
De bankiers stonden al in de rij. Het vertrouwelijke dossier bestaat. Nu zegt de CEO dat ze eerst nog veel werk te verzetten hebben, waaronder uitzoeken hoe het bedrijfsleven en de overheid überhaupt moeten samenwerken. Hij klonk bijna opgelucht dat hij moest wachten.
Hij zei ook dat het bouwen van AI buiten menselijke controle "absoluut" mogelijk is - en zwoer vervolgens dat hij de training zou stopzetten als dat de weg blijkt te zijn. Gedurfd. Misschien ook handig. Mogelijk allebei. De verstrengeling tussen non-profit en commerciële organisaties, zo betoogde hij, bestaat zodat ze beslissingen kunnen nemen die niet overduidelijk in het belang van de aandeelhouders zijn. We zullen zien of die uitspraak standhoudt wanneer we een daadwerkelijk prospectus lezen.
Sam Altman van OpenAI zinspeelt op een pact met andere AI-bedrijven om veiligheidsrisico's aan te pakken
Hetzelfde interview, een andere kop, en dit keer gaat het gefluister. Een gesprek met Amodei, Musk en Demis Hassabis is de logische volgende stap. Altman: hij denkt dat dat gaat gebeuren. Hij zal privégesprekken niet van tevoren aankondigen. Vervolgens heeft hij ze in feite toch aangekondigd.
Een catastrofaal risico van meer dan tien procent is onacceptabel, zei hij. De nog niet uitgebrachte modellen zijn al zo geavanceerd dat verder gaan zonder betere monitoring roekeloos aanvoelt. Een echt pact en een zorgvuldig uitgelekte atmosfeer kunnen er van buitenaf identiek uitzien.
Het personeel had intern al een variant hiervan gehoord. Officieel is het nog onduidelijk. Als het doorgaat, geweldig. Zo niet, dan heeft het citaat in ieder geval zijn werk gedaan.
Sam Altman steunt Dario Amodei's oproep om gas terug te nemen en zegt dat OpenAI hetzelfde zal doen
Uren na het essay plaatste Altman een bericht waarin hij aankondigde dat OpenAI de belofte van een ingebouwde evaluator zou nakomen. Toegang vergelijkbaar met die van werknemers. Binnenkort meer informatie. Musk schreef drie woorden: "Dario heeft gelijk." Drie rivaliserende CEO's. Eén slogan. Een ongemakkelijke weekendstemming.
Coördinatie en theater kunnen prima samengaan. De eerste stap in Amodei's plan heeft nu de goedkeuring gekregen van twee van de grootste laboratoria. Hugging Face – ja, diezelfde Hugging Face – heeft gevraagd om deel te nemen aan het evaluatieprogramma en heeft het Open Alignment Initiative gelanceerd. Transparantie van de mensen die gehackt zijn. Poëtisch, of veelzeggend.
Europa heeft, voor zover ik weet, niemand om zo'n Amerikaanse vrijstelling aan te vragen. Brussel is al lang geleden gestopt met het uitdelen van individuele uitzonderingen. Dus de handdruk is Amerikaans. De rest van de kaart... schouders ophalen.
OpenAI wil gewoon winnen
Wiskundigen zijn na een weekend vol sollicitatiegesprekken niet bepaald in een feeststemming. De Navier-Stokes-sprint van OpenAI – zo'n tienduizend agents, tientallen miljoenen dollars aan rekenkracht, 88 uur – lijkt vanuit het perspectief van de wiskundigen zelf meer op een trofeeënjacht. Wiskundigen willen inzicht. Het lab, zo zeggen ze steeds weer, wil winnen.
Tristan Buckmaster vertelde hen dat OpenAI hem onbeperkte rekenkracht en exclusief auteurschap aanbood als hij zijn aan Anthropic gelieerde samenwerkingspartner zou laten vallen. Hij noemde het een smeergeld. Hij weigerde. OpenAI stelt categorisch dat zijn Codex-prompts het systeem niet hadden kunnen beïnvloeden. Hij is daar niet van overtuigd. Andreas Thom vraagt zich nog steeds af of ChatGPT-gesprekken over zijn eigen werk het model hebben gevoed dat er later op voortbouwde. Alleen het bedrijf zelf zou dat weten. Hij vermoedt dat zelfs zij het niet weten.
En dan komt de clou: OpenAI zegt al aanzienlijke vooruitgang te hebben geboekt met een ander Millennium Prize-probleem. Welk probleem dat is, blijft onbekend. Clay heeft sowieso nog een lange acceptatieperiode binnen de community nodig. Dus niemand heeft nog "gewonnen". Ze zijn gewoon alweer bezig met de volgende. Leuk.
Veelgestelde vragen
Wat is het plan van Anthropic-CEO Dario Amodei om de ontwikkeling van AI te versnellen?
Amodei publiceerde een lang essay waarin hij de industrie opriep om gas terug te nemen – niet te stoppen – omdat de voortdurende zelfverbetering sneller verloopt dan auditors kunnen bijbenen. De eerste stap is het eenzijdig uitnodigen van ingebedde evaluatoren bij Anthropic, voorzien van badges, bureaus, laptops en het recht om bevindingen te publiceren zonder PR-filter. Vervolgens wil hij dat democratische laboratoria veiligheidsnormen coördineren en uiteindelijk een soort overeenkomst sluiten met autoritaire regeringen. Hij wil ook een beperkte vrijstelling van de antitrustwetgeving, zodat veiligheidsbesprekingen zelf geen juridisch probleem vormen.
Waarom zei Sam Altman dat OpenAI dit jaar geen beursgang zal hebben?
In een exclusief interview zei Altman dat een beursgang op dit moment onverstandig zou zijn, omdat er nog niet is gewerkt aan de veiligheid, de afstemming en de maatschappelijke gereedheid. Op aandringen bevestigde hij dat het dit jaar niet zou gebeuren, ondanks de interesse van bankiers en het bestaan van een vertrouwelijke aanvraag. Hij betoogde dat de non-profit/winstgevende structuur ervoor zorgt dat OpenAI beslissingen kan nemen die niet per se in het belang van de aandeelhouders zijn. Hij zei ook dat het absoluut mogelijk is om AI te ontwikkelen die niet door mensen te controleren is en beloofde dat hij de training zou stopzetten als dat de weg zou zijn.
Zinspeelde Altman op een veiligheidspact met andere AI-laboratoria?
In hetzelfde interview zei Altman dat hij verwacht dat er een gesprek zal plaatsvinden met collega's zoals Amodei, Musk en Demis Hassabis, maar hij wilde geen details geven over besloten gesprekken. Hij betoogde dat een catastrofaal risico van meer dan tien procent onacceptabel is en dat de nog niet gepubliceerde modellen al zo geavanceerd zijn dat verder gaan zonder betere monitoring roekeloos aanvoelt. Medewerkers hadden intern al een soortgelijke versie gehoord, dus de publieke opmerkingen geven mogelijk eerder een voorproefje van coördinatie dan dat ze een definitieve overeenkomst bevestigen.
Zal OpenAI de belofte van Anthropic om een embedded-evaluator te ontwikkelen nakomen?
Uren na Amodei's essay plaatste Altman een bericht waarin hij aangaf dat OpenAI de belofte van een embedded evaluator zou combineren met toegang vergelijkbaar met die van werknemers, en dat er binnenkort meer details zouden volgen. Elon Musk schreef dat Dario gelijk had en plaatste daarmee drie rivaliserende CEO's achter een soortgelijke slogan. Hugging Face vroeg om deel te nemen aan het evaluatorprogramma en lanceerde een Open Alignment Initiative. Europa kan niet dezelfde antitrustvrijstelling bieden als de VS, zoals Amodei voorstelde, dus de samenwerking is voorlopig vooral Amerikaans.
Waarom bekritiseren wiskundigen de Navier-Stokes-sprint van OpenAI?
Wiskundigen beschrijven OpenAI's Navier-Stokes-simulatie met ongeveer tienduizend agents en 88 uur als een trofeeënjacht waarbij winnen belangrijker is dan inzicht. Tristan Buckmaster zei dat OpenAI hem onbeperkte rekenkracht en het alleenrecht op de ontwikkeling aanbood als hij een aan Anthropic gelieerde medewerker zou laten vallen; hij noemde het een omkoping en weigerde. OpenAI zegt dat zijn Codex-prompts het systeem niet hadden kunnen beïnvloeden, maar hij blijft sceptisch. Andreas Thom blijft zich afvragen of ChatGPT-gesprekken over zijn eigen werk de latere ontwikkeling van het model hebben bevorderd.
Heeft OpenAI vooruitgang geboekt bij een ander probleem dat de Millennium Prize heeft opgeleverd?
OpenAI zegt al aanzienlijke vooruitgang te hebben geboekt met een ander Millennium Prize-probleem, maar wil niet bekendmaken om welk probleem het gaat. Het Clay Mathematics Institute heeft nog een lange acceptatieperiode binnen de wetenschappelijke gemeenschap nodig, dus er is nog geen officiële winnaar. Binnen het vakgebied wordt die geheimhouding, in combinatie met de eerdere Navier-Stokes-race, gezien als een teken dat de laboratoria al op jacht zijn naar de volgende trofee. Interviews met The Verge schetsen de spanning als volgt: wiskundigen willen inzicht, terwijl OpenAI wil winnen.