WiMi Hologram Cloud Inc. heeft de ontwikkeling aangekondigd van een HRI-systeem op basis van machine learning-algoritmen. Het multimodale HRI-systeem combineert stem en gebaren, waardoor de stem van de gebruiker en de gebaren worden omgezet in commando's die de robot kan uitvoeren. Het gebruik van gebaren voor HRI is ideaal. Gebaren geven namelijk een rijke semantiek weer en zijn gemakkelijk te herkennen.

Spraakinteractie op basis van het begrijpen van natuurlijke taal is het meest direct en handig. Het HRI-systeem, gebaseerd op algoritmen voor machinaal leren, gebruikt een combinatie van gebaren en stem om de robot te besturen. Spraak wordt gebruikt als natuurlijke interactiemethode om de robot te besturen, en gebaren worden gebruikt als aanvulling op spraak om de nauwkeurigheid van commando's te verbeteren.

De combinatie van gebaren en spraak vermindert de nadelen van het gebruik van gebaren of spraak alleen en maakt de communicatie tussen mens en robot natuurlijker, efficiënter en nauwkeuriger. Door spraakinteractie begrijpt de robot wat mensen zeggen en communiceert hij met mensen met emotie. Het dialoogsysteem mens-robot heeft menselijke en intelligente interactiekenmerken.

Gebaarherkenning is gebaseerd op het bewegingstraject van menselijke handen en simuleert beelden of lettergrepen volgens de verandering van gebaren. Zo worden bepaalde betekenissen of woorden gevormd om gedachten duidelijk uit te drukken, zodat de robot menselijke taal kan begrijpen en ermee kan interageren. Met de geleidelijke volwassenheid van HRI en de toepassing van stem-emotieherkenning in het leven van mensen, is de behoefte aan machine-intelligentie om menselijke emoties te begrijpen dringender geworden.

Het HRI-systeem van WiMi biedt een snellere, efficiëntere en meer diverse interactie-ervaring door het samenvoegen van multimodale conceptuele informatie. Door gebaren en spraak te gebruiken voor realtime parallelle interactie, worden visuele communicatie en spraakinformatie tijdens de interactie in realtime met elkaar in verband gebracht en gedeeld. Meerdere interactiemodi vullen elkaar aan om een compleet interactiesysteem te vormen.

Het systeem leidt de geleidelijke ontwikkeling van HRI in de richting van intelligentie en humanisering en helpt een harmonieuze en natuurlijke mens-robotomgeving op te bouwen.