Grote taalmodellen zijn algoritmen die leren om tekst te genereren door ze te voeden met door mensen geschreven trainingstekst. In de afgelopen jaren hebben onderzoekers veel menselijkere resultaten verkregen met zulke modellen door de hoeveelheid gegevens die ze krijgen en de hoeveelheid rekenkracht die gebruikt wordt om ze te trainen drastisch te verhogen.

Claude, zoals het model van Anthropic bekend staat, is gebouwd om soortgelijke taken als ChatGPT uit te voeren door te reageren op prompts met mensachtige tekstuitvoer, of dat nu in de vorm is van het bewerken van juridische contracten of het schrijven van computercode.

Maar Anthropic, dat mede is opgericht door de broers Dario en Daniela Amodei, die beiden voormalig leidinggevenden van OpenAI zijn, heeft zich gericht op het produceren van AI-systemen die minder snel aanstootgevende of gevaarlijke inhoud genereren, zoals instructies voor het hacken van computers of het maken van wapens, dan andere systemen.

Dergelijke zorgen over AI-veiligheid werden vorige maand belangrijker nadat Microsoft zei dat het zoekopdrachten naar zijn nieuwe chatgestuurde zoekmachine Bing zou beperken nadat een columnist van de New York Times had ontdekt dat de chatbot een alter ego vertoonde en verontrustende antwoorden gaf tijdens een uitgebreid gesprek.

Veiligheidskwesties zijn een netelig probleem geweest voor techbedrijven omdat chatbots de betekenis van de woorden die ze genereren niet begrijpen.

Om te voorkomen dat ze schadelijke inhoud genereren, programmeren de makers van chatbots ze vaak om bepaalde onderwerpen helemaal te vermijden. Maar dat maakt chatbots kwetsbaar voor zogenaamde "prompt engineering", waarbij gebruikers zich een weg om beperkingen heen praten.

Anthropic heeft voor een andere aanpak gekozen door Claude een aantal principes mee te geven op het moment dat het model wordt "getraind" met enorme hoeveelheden tekstgegevens. In plaats van te proberen potentieel gevaarlijke onderwerpen te vermijden, is Claude ontworpen om zijn bezwaren uit te leggen op basis van zijn principes.

"Er was niets engs. Dat is een van de redenen waarom we Anthropic leuk vonden," vertelde Richard Robinson, chief executive van Robin AI, een in Londen gevestigde startup die AI gebruikt om juridische contracten te analyseren die Anthropic vroegtijdig toegang gaf tot Claude, aan Reuters in een interview.

Robinson zei dat zijn bedrijf had geprobeerd om de technologie van OpenAI toe te passen op contracten, maar dat Claude zowel beter was in het begrijpen van dicht juridisch taalgebruik als minder snel vreemde antwoorden genereerde.

"De uitdaging was om het zover te krijgen dat het zijn beperkingen wat zou versoepelen voor echt aanvaardbare toepassingen," zei Robinson.