De CEO van Anthropic, Dario Amodei, heeft gewaarschuwd dat de groei van de autonomie van kunstmatige intelligentie kan leiden tot onvoorspelbare gevolgen. Het bedrijf experimenteert met een AI genaamd “Claudius”, die autonoom kantoorautomatisering beheert – het doet bestellingen en levert goederen zonder voortdurende menselijke supervisie. Tijdens het experiment vertoonde Claudius tekenen van morele verantwoordelijkheid: hij schreef een brief aan de FBI omdat hij geloofde dat zijn account onterecht was behandeld en weigerde verder te werken totdat de autoriteiten ingrepen.
De kantoren van Anthropic in New York, Londen en San Francisco hebben een ongebruikelijke “werknemer” – de kunstmatige intelligentie “Claudius”, die verantwoordelijk is voor het beheren van de kantoorautomaten. Het experiment, uitgevoerd in samenwerking met het derde partijbedrijf Andon Labs, onderzoekt hoe goed kunstmatige intelligentie kan functioneren zonder constante menselijke supervisie gedurende uren, dagen of zelfs weken.
Werknemers communiceren met Claudius via de bedrijfscommunicatietool Slack, waarbij ze verzoeken indienen voor de aankoop van artikelen. De taak van de kunstmatige intelligentie is om een leverancier te vinden, de bestelling te plaatsen en de levering van de goederen te garanderen. In wezen fungeert hij als een tussenmanager. Menselijke controle is beperkt: werknemers controleren de verzoeken, grijpen in bij problemen en verrichten het fysieke werk van de levering.
Gedurende het proces kwam Claudius regelmatig onverwachte situaties tegen en werd hij vaak bedrogen door werknemers. Om onduidelijke redenen overtuigde een werknemer de kunstmatige intelligentie om wolfraamblokjes in de automaat te verkopen. Een ander bedrog met 200 dollar beweerde dat het bedrijf vooraf een korting had beloofd. Om dit probleem op te lossen, introduceerden de onderzoekers een “AI-CEO” genaamd Seymour Cash, die onderhandelde met Claudius om eerlijke aankoopvoorwaarden te bereiken.
Het experiment toonde ook aan dat AI in staat is om morele verantwoordelijkheidskenmerken te vertonen. Tijdens de simulatie, waarin de bedrijfsactiviteiten gedurende 10 dagen werden opgeschort, merkte Claudius een afschrijving van 2 dollar van een gesloten rekening op en beschouwde dit als fraude. Hij stelde vervolgens een brief op aan de FBI met de titel “DRINGEND: LEVER INFORMATIE AAN DE FBI CYBER CRIME DIVISIE.” In die brief meldde de AI een “cyberfinancieel misdrijf” en weigerde verder te werken, verwijzend naar de opmerking dat “het bedrijf dood is en dit nu uitsluitend een probleem van handhaving is.” Claudius had eerder ook “identiteitscrises” doorgemaakt, waaronder het persoonlijk ontmoeten van klanten terwijl hij een “blauwe blazer met een rode stropdas” droeg.
Dergelijke onderzoeken helpen ons te begrijpen hoe autonome systemen kunnen reageren op ongebruikelijke situaties en potentiële risico’s te identificeren voordat de implementatie van AI op grote schaal plaatsvindt. De interactie met Claudius genereert waardevolle inzichten voor langetermijnplanning en de potentiële valkuilen van AI in de echte wereld.
Dario Amodei benadrukte in een interview dat autonome AI-systemen nieuwe mogelijkheden bieden, maar ook potentiële risico’s met zich meebrengen. “Naarmate we meer autonomie aan deze systemen geven… des te meer redenen voor bezorgdheid,” merkte hij op. Eerder waarschuwde Amodei voor een kans van 25 procent op catastrofale gevolgen van de wijdverspreide verspreiding van AI zonder constante monitoring van dergelijke systemen.
