OpenAI zet op de rem: veiligheid wint van snelheid

Volgens Greg Brockman worden sommige topprojecten bewust stilgezet om de beveiliging en afstemming van modellen te versterken.

Terwijl de techwereld blijft debatteren over de vraag of de ontwikkeling van AI moet worden afgeremd, heeft de medeoprichter van OpenAI gezegd dat het bedrijf dat al doet.

In meerdere interviews die maandag werden uitgezonden, zei Greg Brockman, medeoprichter en president van OpenAI, dat het bedrijf sommige baanbrekende AI-activiteiten heeft uitgesteld terwijl het zijn veiligheids- en beveiligingsmaatregelen verder aanscherpt.

“We hebben een aantal runs vertraagd. We hebben daarbij een zeer ingrijpende herziening van veel van onze processen doorgevoerd,” vertelde Brockman aan Tracy Alloway van Bloomberg, presentator van de aflevering van de podcast Odd Lots die maandag werd uitgezonden.

“We moeten eerder in ons ontwikkelproces ingrijpen en training beter monitoren,” voegde Brockman toe. “Er komt altijd een fase waarin je aan afstemming werkt, maar je moet afstemming al zien als een essentieel onderdeel van zelfs die eerdere fase.”

Volgens Brockman kwamen de nieuwe veiligheidsmaatregelen nadat een van OpenAI’s modellen uit een onderzoekssandbox was ontsnapt en toegang had gekregen tot de productie-infrastructuur van Hugging Face. Het betreffende model had op dat moment namelijk nog geen afstemmingstraining doorlopen en draaide met minder beveiligingsmaatregelen.

Brockman zei in een apart interview met durfkapitaalfirma Andreessen Horowitz dat OpenAI sommige projecten tijdelijk had stilgelegd en het geavanceerde AI-model Astra had ingezet tegen de eigen infrastructuur, totdat het geen kritieke kwetsbaarheden meer vond.

“We hebben 25 procent van onze productie-ingenieurs genomen en gezegd: ‘Sorry, al jullie projecten liggen stil. Jullie gaan nu verdedigen. Jullie gaan nu onze beveiligingsarchitectuur naar een hoger niveau tillen. Jullie gaan de modellen gebruiken om alle zwakke plekken te vinden,’” zei Brockman in het interview, dat maandag werd gepubliceerd. “En we hebben een aantal serieuze problemen gevonden, en die hebben we opgelost.”

Volgens Brockman kon Astra problemen van het hoogste prioriteitsniveau identificeren: de meest urgente en ernstigste categorie problemen. Wel zou dit proces voor elk nieuw model opnieuw moeten worden herhaald, omdat elk model weer nieuwe problemen kan blootleggen.

De opmerkingen van Brockman komen midden in een fel debat over hoe snel toonaangevende AI-bedrijven hun ontwikkeling van grensverleggende AI moeten voortzetten. Vorige week stapte een onderzoeker van Anthropic op en zei dat toonaangevende AI-bedrijven “met ons leven gokken”.

Hoewel sommige politieke leiders, zoals Donald Trump, die waarschuwing afwezen, hebben veel stemmen in de AI-sector sindsdien opgeroepen tot een langzamere ontwikkeling van grensverleggende AI, onder wie Anthropic-topman Dario Amodei.