Czy nadszedł już czas na pełne zanurzenie? Kolejna fala wirtualnej i rozszerzonej rzeczywistości
Świat wirtualnej rozszerzonej i mieszanej rzeczywistości wydaje się łapać nowy oddech mniej więcej od momentu ogłoszenia przez Apple produktu Vision Pro (1) w czerwcu 2023 roku. Pojawienie się tego sprzętu w sprzedaży w lutym 2024 roku wywołało falę mieszanych reakcji. Typowy dla premier Apple entuzjazm fanów marki gaszony był bardzo wysoką ceną urządzenia i brakiem „killer app”, czyli praktycznego zastosowania, które zawojuje rynek. Wiele było i jest głosów wzywających, by nie dać się zwieść kolejnej nowej błyskotce. Nie brak też opinii, że urządzenie jest oczekiwanym od lat i dekad przełomem w dziedzinie VR, AR i MR. Sceptycy mają swoje racje. Historycznie bowiem było takich rozbłysków nadziei wiele, a urządzenia ostatecznie nigdy nie przekraczały progu masowej popularności. Tym razem wiara optymistów w przełom oparta jest na wierze w siłę innowacji firmy Apple, znanej z produktów, które rewolucjonizowały rynek, jak iPod – odtwarzacze muzyczne, iPhone – smartfony, iPad – tablety itd.
Optymiści wskazują, że Vision Pro ma za sobą ekosystem Apple, który może umożliwić użytkownikom zestawu dostęp do istniejących już aplikacji stworzonych dla innych urządzeń firmy. Kolejnym czynnikiem przyspieszającym szersze przyjęcie urządzenia Apple i innych tego rodzaju ma być postęp we wdrożeniu sieci komórkowej 5G, która została zaprojektowana do łączenia prawie wszystkiego, w tym obiektów, ludzi i urządzeń, oraz do obsługi złożonych przestrzeni 3D, typu metawersum.
Rok 2023 był niezależnie od premiery Apple, dobrym w sumie rokiem dla wirtualnej rzeczywistości. Sprzedano ponad 10,8 mln urządzeń VR, co jest historycznym rekordem, a szacunki wskazują, że sprzedaż wzrośnie do 23,8 mln do 2025 roku. Oczekuje się, że wydatki konsumentów na VR potroją się do 2027 r., osiągając 5,7 mld USD na całym świecie. Według firmy konsultingowej Omdia, do 2027 roku osiągną one wartość 2,83 mld USD w Stanach Zjednoczonych i 458 mln USD w Chinach. Obecnie na rynku konsumenckich zestawów VR dominuje Meta (dawniej Facebook) z 71,8-procentowym udziałem, za nią plasuje się Sony z 8,8-procentowym udziałem i Valve z 2,9-procentowym udziałem.
Eksperci przewidują też, że zatrą się obowiązujące dotąd rozgraniczenia technologiczne, że ostatecznie granica między AR i VR zatrze się, a premiera zestawu słuchawkowego Apple Tech Vision Pro jest ważnym kamieniem milowym na tej drodze. Na targach CES 2024 wiele firm zademonstrowało nowe produkty, które łączą świat wirtualny i fizyczny. Zainteresowaniem cieszy się też technologia haptyczna, a firmy takie jak bHaptics prezentowały nowe typy kamizelek i rękawic, które zapewniają realistyczne informacje zwrotne w doświadczeniach VR. Wyjście poza wyłącznie wzrokowo-słuchowe wrażenia i większe skupienie na dotyku i fizycznej interakcji ma zwiększyć immersję i realizm a co za tym idzie – atrakcyjność wirtualnej rzeczywistości. Zauważalny był na tej branżowej imprezie nacisk na bardziej przystępne cenowo i dostępne dla kupujących rozwiązania VR. Sporo było też demonstracji integracji VR z innymi technologiami, takimi jak sztuczna inteligencja i przetwarzanie w chmurze.
Nie gry, lecz biznes
Nowy sprzęt Apple to oczywiście nie wszystko. Są inne, silne sygnały, że tym razem to może być już ten moment. Szef potentata krzemowego NVIDIA, Jensen Huang, zapowiedział niedawno podczas konferencji „AI Woodstock”, że platforma projektowa jego firmy, 3D Omniverse, łączy się strumieniowo bezpośrednio z zestawami słuchawkowymi Vision Pro. Jak się ocenia, decyzja NVIDIA dobrze wróży komercyjnej przyszłości sprzętu Apple.
Omniverse 3D to oparta na chmurze platforma, która pozwala programistom łączyć aplikacje projektowe, których używają na co dzień, z jednym centralnym, interoperacyjnym ekosystemem. Mogą oni współpracować zdalnie w symulowanym środowisku. Zmienia to środowisko pracy. W przeszłości jeden zespół musiał ukończyć i sfinalizować swoją pracę przed wysłaniem jej do przesłania i pracy przez następny zespół, który następnie musiałby sfinalizować swoją pracę i wysłać ją do następnego etapu lub odesłać do poprawek. Na przykład, jeśli zespół A korzysta z Adobe Photoshop, a zespół B z Autodesk, zespół A może być zmuszony do sfinalizowania i wyeksportowania swojej pracy z Photoshopa, zanim zespół B będzie mógł przesłać ją do Autodesk i kontynuować proces projektowania. To czasochłonne. Zespół musi ukończyć swój etap projektu, zanim kolejny zespół będzie mógł dodać swój wkład. Omniverse zmienia tę sytuację, umożliwiając kilku zespołom równoczesną pracę nad projektem. Co więcej, dzięki przeniesieniu ciężkiej pracy komputerowej do akcelerowanych środowisk chmurowych, zespoły mogą korzystać ze zwykłych laptopów zamiast wysoko zaawansowanych maszyn. Mogą oczywiście też korzystać z zestawów słuchawkowych Vision Pro, bez konieczności podłączania ich do lokalnych komputerów w celu uzyskania dostępu do aplikacji lub większej mocy obliczeniowej.
Na myśl przychodzą od razu wizualizacje cyfrowych bliźniaków w przemyśle. Zastosowanie Omniverse 3D z Vision Pro pozwala użytkownikom uzyskiwać dostęp do nich i wchodzić z nimi w interakcję w środowisku 3D. Projektanci mogą fizycznie prowadzić oględziny i manipulować przy symulacji 3D np. pojazdu naturalnej wielkości, lepiej wizualizować projekt w różnych warunkach oświetleniowych pod różnymi kątami. Mogą chodzić po hali fabrycznej i naocznie przekonać się, jak zaprojektowane elementy pasują do przestrzeni, przemyśleć logistykę fabryki, zanim cokolwiek zostanie zmontowane i zainstalowane.
Komentatorzy nie wykluczają, że to platforma Omniverse firmy NVIDIA będzie „zabójczą aplikacją” (wspomnianą „killer app”) dla zestawów słuchawkowych Vision Pro. Na poziomie korporacyjnym wzrost produktywności rekompensuje koszty zestawu słuchawkowego, który jest barierą dla zwykłego użytkownika. To po prostu inwestycja w zwiększenie produktywności. Jeśli firma odnosi korzyść większą niż cena, to nie skupia się na koszcie. Więc, być może, czekając na to, aż zestawy VR i AR „trafią pod strzechy”, czekamy nie na to, na co należy czekać. Przynajmniej na razie.
Zestawy VR od lat postrzegane są jako kluczowe narzędzie w dziedzinie edukacji nie tylko szkolnej, ale również dla wysoko specjalistycznych szkoleń. Na przykład koncern BP wykorzystuje je do szkolenia pracowników platform wiertniczych, co pozwala oszczędzać czas, koszty i unikać zagrożeń bezpieczeństwa związanych z fizycznym szkoleniem na platformie wiertniczej. Projektanci w firmie Ford używają VR do testowania nowych kształtów samochodów, zamiast tworzyć makiety. Przewiduje się też znaczenie dla kapitałochłonnych branż przemysłu ciężkiego, takich jak budownictwo i konserwacja, gdzie ludzie są zaangażowani w „pracę wymagającą zaangażowania rąk i potrzebują informacji na czas”.
Wirtualna rzeczywistość jest używana do projektowania procedur chirurgicznych i szkolenia chirurgów od czasu operacji pierwszego symulowanego pęcherzyka żółciowego w szkole medycznej Uniwersytetu Stanforda, około trzech dekad temu. W przemyśle wczesnymi użytkownikami technik VR przy projektowaniu były firmy Boeing i Ford. W środowisku biznesowym, w którym zespoły są coraz bardziej zdecentralizowane, scenariusze wspólnego projektowania są powszechne. Narzędzia te umożliwią rozproszonym geograficznie zespołom współpracę we wspólnym środowisku wirtualnym, manipulowanie modelami 3D i wymianę informacji zwrotnych w czasie rzeczywistym, nie tylko przyspieszając proces projektowania, ale także zapewniając wszystkim zainteresowanym stronom jednoczesny dostęp do wszystkich informacji. Z czasem zaczęto myśleć o technikach wirtualnych jako o czymś więcej niż pomocy projektowej; np. producenci samochodów wykorzystują nowe generacje rozwiązań AR i VR do samochodowych systemów rozrywki i do systemów nawigacji. Przewiduje się, że autonomiczne pojazdy pobudzą popyt na VR i AR dzięki rozrywkom dla pasażerów, takim jak filmy i gry.
Niedawno grupa naukowców ogłosiła, że Vision Pro może mieć również ważne zastosowania naukowe, zwłaszcza gdyby masowo się przyjął. Dla Kena Pfeuffera, który zajmuje się interakcjami człowiek–komputer na Uniwersytecie Aarhus w Danii, możliwe są zastosowania Vision Pro w dziedzinie medycyny i badań. Rozmawiając z „Nature”, Pfeuffer mówi, że widzi, jak osoby poszkodowane, które nie mogą używać dłoni, mogą znaleźć zastosowanie dla Vision Pro. Inni badacze mówią w „Nature”, że jedną ze szczególnych zalet może być wykorzystanie technologii śledzenia wzroku wewnątrz Vision Pro, aby pomóc wykryć oznaki udaru lub demencji. Inni widzą naukowe zastosowania Vision Pro w rzeczywistych sytuacjach, takich jak operacje, w których wirtualny wyświetlacz Vision Pro może pomóc lekarzom w przeprowadzeniu intensywnych procedur medycznych. Niestety przy wadze około 600 gramów i 350-gramowej baterii, noszenie Vision Pro przez dłuższy czas nie jest zbyt wygodne.
Nadejdzie dzień, w którym wygodne zestawy słuchawkowe do rzeczywistości rozszerzonej zastąpią telefony komórkowe i będą noszone niemal przez cały czas, mówi Tim Dwyer, lider laboratorium wizualizacji danych i analityki immersyjnej na Uniwersytecie Monash. Ogrodnicy noszący jeden z takich zestawów słuchawkowych mogą spojrzeć na ogród i zobaczyć różnorodne rośliny z nakładką łacińskich nazw botanicznych i zwyczajów. Kupujący mogą zobaczyć listy składników produktów, daty przydatności do spożycia i zawartość kalorii, gdy poruszają się po alejce w supermarkecie. Gracze mogą zobaczyć smoka zaglądającego za pobliski róg. Jeden z doktorantów Dwyera współpracuje z patologami z Victorian Institute for Forensic Medicine w celu opracowania i oceny prototypowych systemów rzeczywistości rozszerzonej, które potencjalnie mogłyby wyeliminować potrzebę fizycznej autopsji. Jak twierdzi Dwyer, te narzędzia AR, które prawdopodobnie będą pierwszymi na świecie, pozwolą patologom badać obrazy unoszące się przed nimi, które replikują fizyczne zwłoki, i pozwolą im precyzyjnie zmierzyć narządy i rany w celu ustalenia przyczyny śmierci.
Do tej pory najbardziej rozpowszechnione zastosowanie VR znaliśmy ze świata gier. Być może jednak to przemysł i biznes będą obszarem wirtualnej rewolucji, na którą entuzjaści czekają od lat i dekad. Światowi giganci technologiczni, w tym Apple, Meta i Microsoft, ścigają się w tworzeniu sprzętu, który będzie napędzał tak zwaną „erę immersyjną”, w której rzeczywistość rozszerzona i wirtualna zaczną łączyć się z codziennym życiem, radykalnie zmieniając zarówno pracę, jak i zabawę.
Metamateriały plus AI = lekkie zestawy VR/AR
Jednym z największych zarzutów wobec AR i VR, także tego, co zaproponowało Apple, jest nieporęczność sprzętu, gogli, zestawów, technik łączenia z urządzeniami stacjonarnymi, ciężkich akumulatorów do zasilania. Urządzenia te wciąż są zbyt ciężkie, zbyt pokraczne i niewygodne dla użytkownika. Ceny w niektórych przypadkach już są znośne, np. Quest 2 jest dostępny gdzieniegdzie za równowartość 200 USD. Jednak najnowocześniejszy sprzęt, np. Apple Vision Pro, to wydatek około trzech i pół tysiąca dolarów. To nawet w bogatych krajach bardzo boli.
Z cenami nigdy nie wiadomo, ale problemy z rozmiarami i poręcznością sprzętu może za kilka lat zostaną rozwiązane. Pracuje nad tym m.in. zespół naukowców z Uniwersytetu Stanforda, kierowany przez profesora Gordena Wetzsteina. Jego zespół zbudował prototyp lekkich okularów, które mogą wyświetlać cyfrowe obrazy przed oczami użytkownika, płynnie łącząc je ze światem rzeczywistym. Badacze prowadzą badania nad tworzeniem nowych sposobów generowania bardziej naturalnych i wciągających wrażeń wizualnych przy użyciu zaawansowanych technik, w tym czegoś, co nazywają „falowody metamateriałowe” i holografia oparta na sztucznej inteligencji. Metamateriał, o którym mowa, składa się z mikroskopijnych, precyzyjnie rozmieszczonych struktur na powierzchni. Struktury te są mniejsze niż długość fali światła, z którym oddziałują. Idea polega na tym, że te nanostruktury, zwane falowodami, manipulują światłem, zmieniając fazę, amplitudę i polaryzację podczas przechodzenia przez materiał. Pozwala to inżynierom na bardzo precyzyjną kontrolę nad światłem. „Nasz zestaw słuchawkowy wygląda na zewnątrz jak zwykłe okulary, ale to, co użytkownik widzi przez soczewki, to wzbogacony świat pokryty żywymi, pełnokolorowymi obrazami 3D”, wyjaśnia Wetzstein w publikacji na stronie Stanforda.
W goglach takich jak Quest 3 (2) czy Vision Pro użyte zostały tradycyjne wyświetlacze komputerowe, ale zmniejszone tak, aby obrazy zmieściły się na powierzchniach przed naszymi oczami. Podejście zespołu ze Stanforda polega na tym, że komputer nie steruje bezpośrednio ekranem. Zamiast tego kontroluje ścieżki światła za pomocą falowodów. Procesor CPU lub GPU komputera steruje przestrzennymi modulatorami światła, które dostosowują światło wpadające do falowodów. Są to niewielkie urządzenia służące do kontrolowania intensywności, fazy lub kierunku światła piksel po pikselu. Manipulując właściwościami światła, kierują i manipulują samym światłem na poziomie nano. Urządzenie VR oblicza i generuje złożone wzory świetlne, co pozwala na sterowanie sposobami interakcji światła z metapowierzchnią. To z kolei modyfikuje ostateczny obraz widziany przez użytkownika. Komputery dostosowują następnie sekwencje nanoświatła w czasie rzeczywistym, w oparciu o interakcje użytkownika i zmiany środowiskowe. Chodzi o to, by wyświetlana zawartość była stabilna i dokładna w różnych warunkach i przy różnym oświetleniu.
W opisanych technikach wiele zależy od algorytmów sztucznej inteligencji, które wykorzystują połączenie fizycznie dokładnego modelowania i wyuczonych atrybutów komponentów do przewidywania i korygowania sposobu, w jaki światło przechodzi przez środowisko holograficzne. Sztuczna inteligencja musi dostosować fazę i amplitudę światła na różnych etapach, aby wygenerować pożądany efekt wizualny. Wymaga to oczywiście wielu obliczeń matematycznych. Konieczne jest modelowanie zachowania światła w falowodzie metamateriałowym, radzenia sobie z dyfrakcją, interferencją i dyspersją światła. Dynamiczna korekta musi być wykonywana w czasie rzeczywistym, a gdy mówimy o świetle wpadającym do oka, potrzebna jest natychmiastowa reakcja. Nawet najmniejsze opóźnienie może powodować problemy dla użytkownika, od lekkiego dyskomfortu po gwałtowne nudności. Dzięki zdolności sztucznej inteligencji do przetwarzania ogromnych ilości danych w miarę ich przepływu, a następnie dokonywania natychmiastowych korekt, jest to, jak oceniają autorzy rozwiązania, możliwe.
To, czym obecnie dysponuje zespół ze Stanforda, to prototyp. Technologia musi zostać znacznie bardziej rozwinięta, aby przejść od badań naukowych do nauk podstawowych, do laboratorium inżynieryjnego, a następnie do produkcji.
Meta Quest 3
• Wyświetlacz: LCD, 2064×2208 px na oko
• Śledzenie ruchów gałek ocznych: Nie
• Procesor: Qualcomm Snapdragon XR2 Gen 2
• Działa z okularami: Tak
• Kontrolery z ulepszoną z porównaniu do poprzednich wersji haptyką
• 2–3 godziny pracy na baterii
Aplikacje Quest i system operacyjny są w dużej mierze takie same jak Quest 2. Śledzenie dłoni jest oceniane jako poprawne, ale nie idealne.
PlayStation VR 2
• Wyświetlacz: OLED, 2000×2040 px na oko
• Śledzenie ruchów gałek ocznych: Tak
• Wymaga połączenia z PS5 do działania
• Działa z okularami: Tak
• Kontrolery
• Nie działa ze starymi grami PSVR
PSVR 2 wymaga do działania PlayStation 5. Nie działa bezprzewodowo. Oferuje wyświetlacz HDR OLED, wbudowane śledzenie oczu i zaawansowane kontrolery, które mają te rozwiązania ze sprzężeniem zwrotnym, co kontrolery PS5 DualSense
Apple Vision Pro
• Wyświetlacz: Micro-OLED, nieznana konkretna rozdzielczość (Apple podaje 4K na oko)
• Śledzenie ruchów gałek ocznych: Tak
• Procesor: Apple M2
• Działa z okularami: Nie
• Obsługa iOS oferuje mnóstwo znanych aplikacji
• Mała liczba aplikacji zoptymalizowanych pod kątem VisionOS
• Do użytkowania wymagana zewnętrzna bateria i przewód
Większość dotychczasowych zestawów słuchawkowych VR koncentrowała się na grach i wciągających aplikacjach kreatywnych i roboczych do odkrywania pomysłów w rzeczywistości mieszanej. Vision Pro firmy Apple podąża zupełnie inną ścieżką, łącząc prawie cały system iOS. Śledzenie dłoni/oczu wydaje się dokładniejszym zamiennikiem myszy lub pada dotykowego niż śledzenie dłoni Quest firmy Meta. Może działać jako wirtualny monitor dla komputerów Mac. Zestaw słuchawkowy ma własny podłączony akumulator, który musi być używany razem z urządzeniem.
Indeks Valve
• Wyświetlacz: LCD, 1440×1600 px na oko
• Śledzenie ruchów gałek ocznych: Nie
• Wymaga połączenia z komputerem i zewnętrznych czujników pokojowych
• Działa z okularami: Tak
• Pełna kompatybilność ze SteamVR
• Kontrolery
• Wymaga zewnętrznych czujników do śledzenia
Kontrolery Valve są wrażliwe na nacisk i mogą śledzić wszystkie pięć palców, dzięki czemu są prawie jak rękawiczki. Nie jest tak samodzielny jak Quest 2 lub HP Reverb G2, które mogą śledzić pomieszczenie za pomocą kamer w słuchawkach. Nie jest też bezprzewodowy.
Szkiełko, oko i kamery
Na razie zestawy do wirtualnej rzeczywistości, które można kupić (niestety nie tanio), występują w różnych formach. Główny podział bierze pod uwagę ich traktowanie świata rzeczywistego. Niektóre z nich np. całkowicie zasłaniają otaczające środowisko i „odcinają” użytkownika od reszty świata. Jest to typowe dla zestawów do gier. Jest też inna opcja, którą nazywa się „mieszaną rzeczywistością” (MR), przy czym rozgraniczenie pomiędzy tym, co jest tak nazywane, a rzeczywistością rozszerzoną (ang. augmented reality) nie jest wyraźne – czasami używa się oznaczeń MR i AR zamiennie, a ponadto stosuje się bardziej ogólny termin „extended reality” (XR). MR to przede wszystkim Microsoft HoloLens lub system Magic Leap, które pozwalają zobaczyć prawdziwy świat przez szkło zestawu słuchawkowego, dzięki czemu można go połączyć z wirtualną zawartością za pomocą skomplikowanych technik optycznych.
HoloLens wyposażone są w przezroczysty wizjer, który przepuszcza rzeczywisty obraz, z „holograficznymi soczewkami” na jego powierzchni, służącymi jako struktury ograniczające cyfrowo wyświetlane obrazy. Jednak istotnym ograniczeniem jest ograniczone pole widzenia (FOV) dla warstw cyfrowych, co powoduje, że elementy są tracone z widoku podczas obracania głowy. Druga wersja HoloLens rozwiązała niektóre z tych problemów, integrując się z nowymi usługami w chmurze Azure zaprojektowanymi dla rzeczywistości mieszanej, takimi jak Dynamics 365 Remote Assist. Pozwala to technikom korzystającym z HoloLens 2 łączyć się ze zdalnymi operatorami, zapewniając wideo w czasie rzeczywistym w celu uzyskania precyzyjnych wskazówek, usprawniając wspólne rozwiązywanie problemów.
Inne wersje urządzeń XR, wykorzystujące podejście półprzezroczystego ekranu, były nieco rozczarowujące. Magic Leap, na przykład, początkowo obiecywał projekcję na siatkówkę, aby rozwiązać ograniczenia FOV, ale ostatecznie przyjął system podobny do Microsoftu. Ponieważ Microsoft anulował swoją trzecią generację HoloLens (projekt Calypso) w 2021 roku, sprzęt XR wydaje się odchodzić od półprzezroczystych okularów w kierunku zestawów rzeczywistości wirtualnej z funkcjami rzeczywistości mieszanej. Nowy Vision Pro firmy Apple i najnowsze produkty firmy Meta rejestrują rzeczywisty świat inaczej, za pomocą kamer, a następnie renderują go jako część wirtualnego środowiska, dzięki czemu można go łączyć z fabularyzowaną zawartością. Meta Quest 3 oferuje ulepszone przejście kolorów, pole widzenia prawie trzykrotnie większe niż w HoloLens 2 oraz czujnik głębi, który automatycznie generuje siatkę 3D rzeczywistych elementów sceny w celu integracji z obiektami cyfrowymi. Rzeczywistość mieszana oparta na obrazach z kamer jest znacznie łatwiejsza do osiągnięcia niż wersja optyczna, jednak budzi opory jako rozwiązanie. Badania takich systemów przeprowadzone przez zespół kierowany przez Stanforda wykazały istnienie związanych z nim wyzwań poznawczych. Na przykład dłonie nigdy nie są we właściwej relacji z oczami. Biorąc pod uwagę to, co dzieje się z deepfake’ami w Internecie 2D, musimy również zacząć martwić się o oszustwa i nadużycia, ponieważ rzeczywistość można tak łatwo zmienić, gdy jest zwirtualizowana.
Apple Vision Pro zawiera układ Apple M2, używany w najpotężniejszych komputerach Apple, uzupełniony o inny układ, R1, przeznaczony do przetwarzania sygnałów z dwunastu kamer i pięciu czujników pozycji widza. Ma ekrany o rozdzielczości ponad 4K na oko z technologią Micro OLED, znacznie poprawiającą ostrość i kontrast oraz przestrzenny system audio wzbogacony o czujniki mapujące otoczenie w 3D. Dodatkowo, zawiera zaawansowany system śledzenia wzroku wykorzystujący diody LED i kamery na podczerwień, istotny element kontroli interfejsu opartego na spojrzeniu, jednocześnie dając możliwości techniczne, które poprawiają współczynnik wypełnienia, dynamicznie zmniejszając lub zwiększając rozdzielczość ekranu w zależności od tego, gdzie skierowany jest wzrok. Kamery o wysokiej rozdzielczości i skaner LiDAR są odpowiedzialne za mapowanie środowiska w czasie rzeczywistym, generując siatkę 3D dla elementów sceny i zapewniając precyzyjne śledzenie dłoni do sterowania interfejsem, uwalniając w ten sposób ręce operatorów. Kolejną godną uwagi cechą jest oprogramowanie. Firma opracowała całkowicie nowy system operacyjny visionOS, wyposażony w pełni trójwymiarowy interfejs, który dynamicznie reaguje na naturalne światło i rzuca cienie na rzeczywiste środowisko, pomagając użytkownikom postrzegać elementy cyfrowe jako zintegrowane. Śledzenie oczu może pomóc w przetwarzaniu tego, co ważne, zmniejszyć obciążenie obliczeniowe i zapewnić bardziej naturalne wprowadzanie danych przez użytkownika. Budzi jednak kontrowersje.
Aby działać na szeroką skalę, optyczne systemy AR muszą idealnie blokować światło z jasnych środowisk (nawet okien lub oświetlenia w salonach), aby lepiej personalizować i łączyć dźwięk przestrzenny z rzeczywistością, dostosowywać ostrość optyczną, przechwytywać i odtwarzać wirtualne hologramy innych osób i nie tylko. Każda para przezroczystych okularów AR lub okularów wideo musi uwzględniać rzeczywistą scenę podczas jej rozszerzania. W przypadku przezroczystości okulary muszą często odejmować rzeczywiste oświetlenie, aby uzyskać pożądane kolory końcowe. Zasadniczo mamy więc do czynienia z energochłonnymi kamerami i obwodami z przezroczystymi lub nieprzezroczystymi wyświetlaczami. Jest to ogromne ograniczenie projektowe, ponieważ zwiększa moc i wagę, a także blokuje oczy. Selektywne blokowanie światła za pomocą przezroczystych okularów jest pozornie tańsze niż dodawanie większej mocy wyświetlacza lub kamer. Jednak np. w plenerze czasami potrzebne jest blisko 100 proc. krycia.
Inny i trudny temat to umieszczanie kamer w okularach. Wszyscy zainteresowani tematem pamiętają doświadczenia Google Glass sprzed prawie dekady. Niektóre zastosowania kamery, takie jak digitalizacja scen 3D i cyfrowe matowanie osób lub obiektów, są bardzo energochłonne. Robienie zdjęć lub filmów jest tu dość popularnym przypadkiem użycia, zwłaszcza jeśli może być bardziej spontaniczne i wygodne niż w przypadku innych urządzeń. Jednak jakość tych zdjęć będzie niższa niż w przypadku typowego smartfona, ze względu na bardziej ograniczony rozmiar i moc. Oczywiście istnieje też ogromny obszar kontrowersji i zastrzeżeń prywatnościowych.
Zuckerberg: nasza VR lepsza niż Apple'a
W swojej własnej recenzji Vision Pro opublikowanej po premierze rynkowej sprzętu Apple, szef Meta Mark Zuckerberg był mocno krytyczny, ale trzeba wziąć poprawkę na to, że kieruje firmą, która produkuje konkurencyjny zestaw słuchawkowy Quest 3. W filmie opublikowanym na Instagramie Zuckerberg zaczyna od podkreślenia faktu, że jego Quest 3 oferuje większą bibliotekę interaktywnego oprogramowania niż Vision Pro. Jest to fakt, bo Vision Pro nie jest w stanie dorównać jakości lub poziomowi immersji gier „Asgard’s Wrath 2”, „Walkabout Mini Golf”, „Resident Evil 4 VR”, „The Light Brigade” i innych dostępnych dla Quest 3. Na platformie Apple brakuje również aplikacji fitness. Vision Pro nie tylko nie oferuje tego rodzaju doświadczeń, ale jego konstrukcja również nie jest do nich dostosowana – zwisający kabel może przeszkadzać, a twarz byłaby spocona. Jedynym obszarem oprogramowania, w którym Vision Pro ma przewagę, jest wideo. Zuckerberg pisze również o pewnych kwestiach konstrukcyjnych. Vision Pro jest cięższy niż Quest 3. Z Vision Pro nie można również nosić okularów optycznych. Zamiast tego trzeba kupić drogie wkładki. Zakładający Quest 3 może po prostu odsunąć zestaw słuchawkowy od twarzy za pomocą suwaka na interfejsie twarzy, aby zrobić miejsce na okulary. Do tego dochodzi brak kontrolerów. W przypadku Vision Pro, o ile nie gra się w grę obsługującą kontroler, trzeba polegać wyłącznie na śledzeniu dłoni. Zestaw Meta kosztuje w USA „tylko” 499,99 USD, czyli kilka razy mniej niż sprzęt Apple. Ostatecznie Zuckerberg bez zaskoczenia deklaruje, że preferuje Quest 3 i otwarty model Meta (w przeciwieństwie do zamkniętej konfiguracji Apple, która ogranicza cię do korzystania z zestawu słuchawkowego tylko w sposób, w jaki Apple tego chce).
Opierając się na mniej stronniczych relacjach osób, które korzystały zarówno z Quest 3, jak i Vision Pro, wydaje się, że transmisja na żywo na zestawie słuchawkowym Apple jest ogólnie nieco mniej ziarnista, choć nadal nie jest idealna. Jednak ma znacznie większe rozmycie ruchu przy ruchach głową. Rzeczywistość mieszana ma swoje wady i zalety w obu zestawach słuchawkowych.
Quest 3 firmy Martka Zuckerberga napędza chipset Qualcomm Snapdragon XR2 Gen 2, który umożliwia rzeczywistość mieszaną, więcej funkcji AI i lepszą grafikę. Wariant tego układu, XR2 Gen 2 Plus, znajdzie się w wyższej klasy zestawach słuchawkowych Samsunga i Google. Firmy te współpracują nad wprowadzeniem nowego zestawu słuchawkowego, który będzie w dużym stopniu oparty na ekosystemie Google Play. Posunięcie to prawdopodobnie doprowadzi do lepszej integracji wspólnej platformy OpenXR z Android SDK i stworzenia wspólnego sklepu dla zestawów sprzętowych. Samsung, Google i Qualcomm ogłosiły partnerstwo w dziedzinie przygotowania nowych produktów, co sugeruje, że ich wspólny zestaw rzeczywistości mieszanej może pojawić się już w najbliższym czasie. Qualcomm chce w przyszłości, jeśli chodzi o VR i AR, opierać się na telefonach jako sposobie zasilania mniejszych okularów.
Sony PlayStation VR 2 (3), który jest siedem razy tańszy niż zestaw Apple i używany głównie przez graczy w grach konsolowych PlayStation 5, potrafi śledzić wzrok, tak jak Apple Vision Pro, ale nie jest bezprzewodowy. Wciąż ograniczona biblioteka Sony i brak niektórych funkcji sprawia, że jest mniej wszechstronny niż Quest, ale w ekosystemie PlayStation 5 firmy Sony nie ma nic lepszego. Nowszy zestaw słuchawkowy Sony, oficjalnie nazwany „systemem tworzenia treści” SRH-S1, łączy w sobie kompaktową formę z nowatorskimi kontrolerami. Został zaprojektowany jako zestaw słuchawkowy dla przedsiębiorstw. Zbudowany jest z najnowszym procesorem Qualcomm Snapdragon XR2 Gen 2 do samodzielnego użytku. Sony twierdzi, że może być sterowany przez komputer PC za pomocą skompresowanego strumienia wideo (jak Quest Link). Sony potwierdziło, że rzeczywista rozdzielczość zestawu słuchawkowego wynosi 13,6 MP (3552×3840) na oko, przy użyciu własnego mikrowyświetlacza Sony ECX344A OLED. Czyli z danych Sony wynika, że SRH-S1 ma wyższą rozdzielczość i lepszą dokładność odwzorowania kolorów niż Vision Pro Apple’a.
Posiadacze komputerów PC, jeśli są zainteresowani doświadczeniami wirtualnymi, mogą użyć Quest 2, Quest 3 lub Quest Pro, lub rozważyć sprzęt firm Microsoft, Valve i HTC. Jednak ostatnio Microsoft, skupiony na rozwoju AI oraz Copilota, zmniejszył aktywność w rozwoju rzeczywistości mieszanej. Wkrótce może się to zmienić, ale na razie nic nie wiadomo o nowych produktach.
Valve, firma stojąca za popularną platformą do gier Steam, opracowuje nowy samodzielny zestaw VR. Przecieki sugerują, że będzie działał niezależnie, podobnie jak ich Steam Deck, który jest kompaktową konsolą do gier. W przestrzeń VR ma wejść też firma Nintendo, która, według doniesień medialnych, pracuje nad nowym zestawem słuchawkowym, wykorzystując swoją siłę w tworzeniu wciągających gier.
Zapowiadany w ostatnich miesiącach był nowy zestaw HTC, który nie wymaga ani komputera, ani smartfona. I pojawił się na rynku jako HTC Vive Focus 3. Miało to być urządzenie skierowane głównie do rynku biznesowego i edukacji, a nie do użytkowników domowych. Zestaw ma wyświetlacz LCD o rozdzielczości 5K i odświeżaniu 90 Hz, zapewniający ostrą i płynną grafikę, szerokie pole widzenia 120 stopni, kontrolery z sześciostopniowym śledzeniem ruchu, z wbudowanymi głośnikami i mikrofonami. Bateria o pojemności 26,6 Wh, zapewnia do 2 godzin pracy na jednym ładowaniu i jest wymienna. HTC Vive Focus 3 jest konkurentem dla Oculus Quest 2, który jest tańszy i popularniejszy, ale ma niższą jakość i ograniczenia związane z prywatnością.
Popularny na tym rynku XR Elite firmy Vive jest zasilany przez układ Qualcomm Snapdragon XR2, podobnie jak Meta Quest 2, Quest Pro i istniejący Focus 3 Vive dla biznesu. Dodaje jednak 110-stopniowe pole widzenia o wyższej rozdzielczości, wyświetlacze LCD rozdzielczości 2K na oko, które mogą pracować z częstotliwością 90 Hz. Ma również 12 GB pamięci RAM i 128 GB pamięci masowej. Urządzenie może łączyć się z komputerami PC w celu uruchomienia SteamVR lub oprogramowania HTC VivePort, a także z telefonami z systemem Android. Ale jego potencjał jako pomostu do doświadczeń AR wydaje się najbardziej imponującą cechą. Jego zaletą jest kompaktowy rozmiar. Waży 340 gramów czyli mniej niż połowę tego co Quest. XR Elite wykorzystuje pokrętła regulacyjne, które mogą zmieniać korektę soczewki w locie bez konieczności noszenia okularów optycznych, co jest cenną funkcją przynajmniej dla niektórych osób.
Ciągle jest tyle „ale…”
VR miało być wykorzystywane nie tylko do rozrywki, ale także do edukacji, szkolenia, zdrowia, turystyki, komunikacji i współpracy. Zestawy miały oferować bardziej realistyczne i angażujące doznania dzięki ulepszonym goglom, kontrolerom, dźwiękowi, grafice i śledzeniu ruchu. Miały integrować się z innymi technikami, takimi jak AR (rozszerzona rzeczywistość), AI (sztuczna inteligencja), 5G, chmura i blockchain, aby stworzyć bogatsze i bardziej spersonalizowane środowiska. VR tworzone i udostępniane przez różnorodnych twórców, od profesjonalnych studiów po amatorów, dzięki łatwiejszym i tańszym narzędziom i platformom miało wzbogacić użytkownika i jego świat o nowe doznania przez pełne zanurzenie w wirtualnej rzeczywistości. Optymiści przekonują, że będzie miało pozytywny wpływ na społeczeństwo i gospodarkę, poprawiając jakość życia, edukację, zdrowie, kulturę i biznes.
Najpierw jednak okulary czy też zestawy XR do noszenia przez cały dzień musiałyby być bardziej użyteczne niż alternatywa w postaci zwykłych okularów. Nie chodzi tu o często wymieniane problemy sprzętu AR/VR, takie jak miniaturyzacja, żywotność baterii i kwestie interfejsu. Jako użytkownicy urządzeń elektronicznych chcemy usprawnić rzeczy, które często robimy. To komunikowanie się, nawigowanie, odkrywanie otaczającego nas świata, poznawanie, a nawet zmienianie świata w różnych miejscach, kupowanie rzeczy, doświadczanie treści i zarabianie pieniędzy dzięki swojej pracy. Aby okulary XR odniosły sukces, musiałyby robić to wszystko znacznie lepiej, niż możemy to zrobić na smartfonach lub w inny sposób. A na razie z pewnością tak nie jest.
Mirosław Usidus


