Bij het in ontvangst nemen van een "Test Of Time" prijs voor zijn paper uit 2014 met Oriol Vinyals en Quoc Le van Google, zei Sutskever dat er een grote verandering aan de horizon van AI aankomt.
Een idee dat zijn team tien jaar geleden had onderzocht, namelijk dat het opschalen van gegevens om AI-systemen "voor te trainen" ze naar nieuwe hoogten zou sturen, begon zijn grenzen te bereiken, zei hij. Meer gegevens en rekenkracht hadden geresulteerd in ChatGPT dat OpenAI in 2022 lanceerde, tot groot enthousiasme van de wereld.
"Maar de pre-training zoals wij die kennen, zal ongetwijfeld eindigen," verklaarde Sutskever voor duizenden aanwezigen op de NeurIPS-conferentie in Vancouver. "Terwijl de rekenkracht groeit," zei hij, "groeit de data niet, omdat we maar één internet hebben."
Sutskever gaf een aantal manieren om ondanks dit dilemma de grenzen te verleggen. Hij zei dat de technologie zelf nieuwe gegevens zou kunnen genereren, of dat AI-modellen meerdere antwoorden zouden kunnen evalueren voordat ze het beste antwoord voor een gebruiker kiezen, om de nauwkeurigheid te verbeteren. Andere wetenschappers hebben hun zinnen gezet op gegevens uit de echte wereld.
Maar zijn toespraak culmineerde in een voorspelling voor een toekomst van superintelligente machines die volgens hem "duidelijk" afwacht, een punt waar sommigen het niet mee eens zijn. Sutskever was dit jaar mede-oprichter van Safe Superintelligence Inc in de nasleep van zijn rol in het kortstondige ontslag van Sam Altman bij OpenAI, waarvan hij binnen enkele dagen zei dat hij het betreurde.
AI-agenten waar al lang aan gewerkt wordt, zullen volgens hem in dat toekomstige tijdperk tot bloei komen, een dieper begrip hebben en zelfbewust zijn. Hij zei dat AI problemen zal oplossen zoals mensen dat kunnen.
Er zit een addertje onder het gras.
"Hoe meer het redeneert, hoe onvoorspelbaarder het wordt," zei hij.
Het doorrekenen van miljoenen opties kan elke uitkomst onvoorspelbaar maken. AlphaGo bijvoorbeeld, een systeem gebouwd door DeepMind van Alphabet, verraste experts van het zeer complexe bordspel met zijn ondoorgrondelijke 37e zet, op weg naar het verslaan van Lee Sedol in een wedstrijd in 2016.
Sutskever zei op dezelfde manier: "de schaak-AI's, de echt goede, zijn onvoorspelbaar voor de beste menselijke schakers".
AI zoals wij die kennen, zei hij, zal "radicaal anders" zijn.