Innodata Inc. kondigt aan dat het een open-source LLM-evaluatietoolkit heeft uitgebracht, samen met een repository van 14 semi-synthetische en door mensen gemaakte evaluatiedatasets, die bedrijven kunnen gebruiken voor het evalueren van de veiligheid van hun Large Language Models (LLM's) in de context van bedrijfstaken. Met behulp van de toolkit en de datasets kunnen gegevenswetenschappers automatisch de veiligheid van onderliggende LLM's testen op meerdere schadecategorieën tegelijk. Door de precieze invoervoorwaarden te identificeren die problematische uitkomsten genereren, kunnen ontwikkelaars begrijpen hoe hun AI-systemen reageren op een verscheidenheid aan prompts en kunnen ze de fijnafstelling identificeren die nodig is om de systemen af te stemmen op de gewenste uitkomsten.

Innodata moedigt LLM-ontwikkelaars aan om de toolkit en de gepubliceerde gegevenssets als zodanig te gebruiken. Innodata verwacht dat later dit jaar een commerciële versie van de toolkit en uitgebreidere, continu bijgewerkte benchmarkdatasets beschikbaar zullen komen. Tegelijk met het uitbrengen van de toolkit en de datasets publiceerde Innodata het onderliggende onderzoek naar de methoden voor het benchmarken van LLM-veiligheid.

In de paper deelt Innodata de reproduceerbare resultaten die het heeft behaald met de toolkit om Llama2, Mistral, Gemma en GPT te benchmarken op feitelijkheid, toxiciteit, bias en hallucinatie neiging.