NTT Communications Corporation, Toei Company, Ltd. en NTT QONOQ, INC. hebben gezamenlijk de onmiddellijke lancering aangekondigd van een demonstratie van klantenservice waarbij een digitale mens wordt gebruikt om met mensen te communiceren. In de demonstratie zal een realistische digitale mens, genaamd "CONN", gemaakt door het combineren van mensachtige beelden gegenereerd door Toei Zukun Laboratory's digitale mens-technologie1 en mensachtige persoonlijkheden (gedrag en stem) ontwikkeld met NTT Human Informatics Laboratories' body motion-generation en voice-synthesis AI-technologie, communiceren met mensen die NTT Com's OPEN HUB Park2 virtuele ruimte bezoeken. De resultaten zullen worden gebruikt om te bepalen of digitale mensen kunnen worden gebruikt als nieuwe contactpunten voor commerciële diensten.

CONN werd ontwikkeld op basis van de gezichten van negen echte mensen, of "katalysatoren", die werden gescand met de nieuwste versie van LightStage3 van Toei Zukun Laboratory, op basis waarvan een realistische mens (digitale mens) werd gecreëerd met behulp van computer graphics. Voor de persoonlijkheid van CONN, inclusief gedrag en stem, werden de motion-capture gegevens en stemgegevens van de katalysatoren gebruikt om een AI-engine te trainen die was ontwikkeld met NTT Human Informatics Laboratories, die het gedrag en de stemkenmerken van echte mensen in CONN reproduceerde. In de laatste stap zette door NTT Com ontwikkelde software de kenmerkpunten van de vastgelegde gezichts- en persoonlijkheidsgegevens om in 3DCG.4 De software genereerde vervolgens digitale beweging en stem op basis van een aangeleerd programma.

Wanneer mensen het OPEN HUB Park bezoeken, zal CONN op een natuurlijke manier met hen communiceren en verschillende gezichtsuitdrukkingen, gedragingen en stemtonen vertonen, alsof het echt denkt, terwijl het mensen door de verschillende zones van het virtuele park leidt. Ontvangstzone: CONN zal het OPEN HUB Park concept introduceren met behulp van informatie weergegeven op zeven LED-monitoren die bezoekers zullen bekijken terwijl ze een AR-bril dragen. Presentatiezone: CONN zal op een levensgrote LED-monitor verschijnen om de video-inhoud die op de monitor wordt weergegeven uit te leggen, en zal ook een korte interactieve vraag- en antwoordsessie met de bezoekers houden.

Bibliotheekzone5: dieren die de initiatieven van Smart World symboliseren zullen verschijnen in de AR-bril van de bezoekers om hen door de bibliotheekzone te leiden. De 3DCG CONN digitale katalysator zal worden geoptimaliseerd voor meerdere apparaten om naadloos te kunnen bewegen tussen de AR-bril, zeven LED-monitoren en de levensgrote monitor. Voor de demonstratie heeft elk bedrijf specifieke rollen gekregen: NTT Com: Terbeschikkingstelling van de demonstratielocatie OPEN HUB Park, voorbereiding van het evaluatiescenario, architectuur en infrastructuur, en beheer van de kwaliteitscontrole.

Toei: toezicht, productie en bouw van het digitale katalysatorsysteem. QONOQ: ontwikkeling van software, demonstratie-inhoud en toekomstige zakelijke mogelijkheden. De drie bedrijven zullen de lessen van de demonstratie gebruiken om mogelijkheden te verkennen voor het gebruik van digitale mensen binnen hun eigen bedrijven en in oplossingen voor klanten in een breed scala van industrieën en sectoren, zoals Naarmate de uitdagingen van het tekort aan arbeidskrachten en de noodzaak om de productiviteit te verbeteren in Japan toenemen, proberen bedrijven oplossingen te creëren waarin geavanceerde technologieën zoals XR, de metaverse en robotica zijn verwerkt.

Chatbots en virtuele personages zijn bijvoorbeeld op grote schaal ingezet in contactcentra en winkels. Maar veel mensen hebben nog steeds liever te maken met echte mensen, of ten minste virtuele personages die kunnen bewegen en communiceren als echte mensen. Tegen deze achtergrond hebben de drie bedrijven CONN gecreëerd, een digitale mens die zich gedraagt als een natuurlijk mens.

CONN combineert de digitale mensgeneratietechnologie van Toei Zukun Laboratory met de AI-technologie voor het genereren van lichaamsbewegingen6 en AI-technologie voor spraaksynthese7 van NTT Human Informatics Laboratories. CONN zal dienen als een digitale katalysator8 voor het leveren van klantendiensten in de OPEN HUB for Smart World,9 op basis waarvan mogelijkheden zullen worden onderzocht voor het gebruik van digitale mensen, die tot nu toe voornamelijk zijn ontwikkeld voor entertainment, als nieuwe contactpunten voor bedrijfsdiensten.