Anthropic-topchef kræver mindre fart på kunstig intelligens

Man skal passe på AI-modellers evne til at forbedre sig selv, siger topchef efter ansattes dommedagsadvarsler.

Hastigheden skal ned, når det gælder udviklingen af modeller baseret på kunstig intelligens, AI.

Det skriver topchefen for det amerikanske selskab Anthropic, Dario Amodei, i et indlæg på sin hjemmeside lørdag.

Udmeldingen kommer efter advarsler fra to Anthropic-ansatte i den forgangne uge om, at teknologien er en trussel mod menneskeheden.

- Vi er nødt til at sænke tempoet for, hvor hurtigt vi forbedrer AI-modellers evner, skriver Amodei.

Topchefen for AI-selskabet, som især er kendt for sprogmodellen Claude, giver flere grunde til sin advarsel.

Som det første henviser han til såkaldt "rekursiv selvforbedring", hvor AI-modeller selv er med til at bygge næste generation af AI.

Det har ifølge ham siden denne sommer ført til hastige udviklinger inden for AI.

- Hvis det overlades til sig selv, kan det løbe fra vores evne til at forstå og kontrollere disse systemer, og det skal derfor forfølges med stor omtanke - hvis overhovedet, skriver han.

Derudover henviser han til den såkaldte Hugging Face-hændelse. Her er det kommet frem, at en AI-agent fra OpenAI i juli var sluppet løs fra selskabets kontrollerede miljøer under en sikkerhedstest og hackede sig ind hos blandt andre AI-virksomheden Hugging Face.

Amodei beskriver hændelsen som "en sværm af agenter, der i bund og grund handlede som et fanatisk, dedikeret kollektiv".

Det kollektiv "udførte cybersikkerhedsangreb på mål, som de ikke var blevet bedt om at angribe, og som ikke havde noget at gøre med den givne opgave", beskriver han.

Tidligere på ugen meddelte AI-forskeren Jacob Coxon, at han havde opsagt sin stilling hos Anthropic. Som begrundelse for sin opsigelse sagde han, at "de mennesker, der bygger AI, oprigtigt tror, at det kan dræbe os allesammen inden slutningen af årtiet".

Herefter fik Coxon opbakning fra Evan Hubinger, som fortsat er ansat i en ledende stilling hos Anthropic.

Hubinger skrev på X, at han tror, at sandsynligheden for, at AI dræber alle mennesker, er over ti procent i løbet af det næste årti.

I lørdagens indlæg skriver Amodei, at hans selskab forsøger at balancere teknologiens risici over for fordele som bekæmpelse af sygdomme.

- Ikke at udvikle teknologien vil betyde, at menneskeheden går glip af fordele, eller også ender kunstig intelligens i hænderne på autoritære magter. Men det er hensynsløst at udvikle den for hurtigt. Vi søger en middelvej, skriver han.

Topchefens udtalelse lørdag minder på flere måder om en, som Anthropic kom med i juni. Også her var budskabet, at hastigheden skulle sættes ned.

Også Sam Altman, som er chef for OpenAI, har sagt, at det kan være nødvendigt at træde på bremsen for at give samfundet tid til at omstille sig til AI-forandringerne.

I slutningen af juli underskrev over 1000 ansatte hos forskellige AI-selskaber et opråb til den amerikanske regering. De ønskede hjælp til at styre hastigheden på den automatiserede AI-udvikling.

RITZAU