Wierny skan twarzy - ze zwykłego smartfona

Aby stworzyć dokładną rekonstrukcję 3D ludzkiej twarzy, potrzeba drogiego sprzętu i specjalistycznej wiedzy. Do niedawna tak było. Naukowcy z Uniwersytetu Carnegie Mellon dokonali tego wyczynu nagrywając wideo zwykłym smartfonem. Dwuetapowy proces odtworzenia 3D twarzy, z pomocą algorytmów głębokiego uczenia się wykorzystuje dane z chmury. Eksperymenty zespołu pokazują, że można tą metodą osiągnąć submilimetrową dokładność.

Cały proces rozpoczyna się od nakręcenia 15-20 sekund filmu. Naukowcy wykorzystali do tego iPhone'a X w trybie slow-motion, stosując technikę zwaną wizualną lokalizacją symultaniczną i mapowaniem (visual simultaneous localization and mapping - SLAM). Trianguluje ona punkty na powierzchni w celu ustalenia jej kształtu, a jednocześnie wykorzystuje te informacje do określenia pozycji kamery. Tworzy wstępną geometrię twarzy, ale brakujące dane pozostawiają luki w modelu.

W kolejnym etapie badacze pracują nad wypełnieniem tych luk, stosując algorytmy głębokiej nauki. Te jednak wykorzystywane są w ograniczony sposób - identyfikują profil osoby i punkty orientacyjne, takie jak uszy, oczy i nos. Następnie do wypełnienia luk wykorzystuje się klasyczne techniki komputerowe.

Zwykle do tak dokładnego trójwymiarowego obrazowania wykorzystuje się skanery laserowe, oświetlenie strukturalne i wielokamerowe studia fotograficzne, ale są to niezwykle drogie środki techniczne, niedostępne dla większości zwykłych użytkowników. Nowa technika pozwala myśleć o dokonaniu tego samego przy pomocy zwykłego smartfona.

Żródło: www.eurekalert.org

Mirosław Usidus

Zobacz także:

Rozszerzona wistość - rzeczy
3D w 360 - czyli jak w pełnym zakresie pracować z nowymi technologiami