Fujitsu Limited en de Carnegie Mellon University hebben de ontwikkeling aangekondigd van een nieuwe technologie om verkeerssituaties te visualiseren, inclusief mensen en voertuigen, als onderdeel van gezamenlijk onderzoek naar Social Digital Twin dat in 2022 begon. De technologie transformeert een 2D-scènebeeld dat is vastgelegd door een monoculaire RGB-camera in een gedigitaliseerd 3D-formaat met behulp van AI, die de 3D-vorm en positie van mensen en objecten inschat, waardoor een zeer nauwkeurige visualisatie van dynamische 3D-scènes mogelijk wordt. Vanaf 22 februari 2024 zullen Fujitsu en de Carnegie Mellon University veldproeven uitvoeren met gegevens van kruispunten in Pittsburgh, VS, om de toepassingen van deze technologie te verifiëren.

Deze technologie is gebaseerd op AI die getraind is om de vorm van mensen en objecten te detecteren door middel van deep learning. Dit systeem bestaat uit twee kerntechnologieën: 3D Occupancy Estimation Technology (3D-bezettingsschattingstechnologie) die de 3D-bezetting van elk object alleen op basis van een monoculaire RGB-camera schat, en 3D Projection Technology (3D-projectietechnologie) die elk object nauwkeurig lokaliseert binnen 3D-scènemodellen. Door gebruik te maken van deze technologieën kunnen beelden die gemaakt zijn in situaties waarin mensen en auto's dicht op elkaar staan, zoals op kruispunten, dynamisch gereconstrueerd worden in de virtuele 3D-ruimte, waardoor een cruciaal hulpmiddel ontstaat voor geavanceerde verkeersanalyse en mogelijke preventie van incidenten die niet door bewakingscamera's vastgelegd zouden kunnen worden.

Gezichten en nummerplaten worden geanonimiseerd om de privacy te beschermen. Fujitsu en de Carnegie MellonUniversity willen deze technologie in het fiscale jaar 2025 op de markt brengen door het nut ervan niet alleen in de transportsector, maar ook in smart cities en verkeersveiligheid te verifiëren, met als doel het toepassingsgebied uit te breiden. In februari 2022 begonnen Fujitsu en Carnegie Mellon University'sSchool of Computer Science en College of Engineering hun gezamenlijke onderzoek naar Social Digital Twin-technologie, die complexe interacties tussen mensen, goederen, economieën en samenlevingen dynamisch in 3D nabootst.

Deze technologieën maken het mogelijk om objecten met hoge precisie in 3D te construeren uit meerdere foto's van video's die vanuit verschillende hoeken zijn gemaakt. Naarmate het gezamenlijke onderzoek vorderde, bleek echter dat bestaande videoanalysemethoden technisch ontoereikend waren om dynamisch vastgelegde beelden te reconstrueren naar 3D. Er waren meerdere camera's nodig om dit te reproduceren, en er waren problemen met privacy, werkbelasting en kosten, die een barrière vormden voor sociale implementatie.