oraz 
Dokładność śledzenia kamery co do centymetra w celu przechwytywania obrazu 3D na dużą skalę (rozpryskiwanie Gaussa)
Przegląd
Ten projekt klienta pochodzi od Aryonix, założona przez Alexandre'a Cavaleriego. Aryonix opracowuje silnik renderujący w czasie rzeczywistym, który umożliwia tworzenie kinowych, fotorealistycznych i immersyjnych środowisk 3D na podstawie fotografii. Aryonix współpracował z Skrzydełka zjazdowe, projekt poświęcony eksploracji, mapowaniu i filmowaniu tras zjazdowych dla rolek, longboardów i innych sportów grawitacyjnych. Projekt wykorzystuje technikę zwaną rozpryskiem Gaussa.
W przypadku sportów zjazdowych ważne jest, aby cyfrowa rekonstrukcja odpowiadała rzeczywistości. Trasa musi mieć odpowiednią lokalizację, skalę i nachylenie, aby kolarze mogli dokładnie ocenić jej poziom trudności, bezpieczeństwo i ogólne wrażenia z jazdy.
Największym wyzwaniem przy rekonstrukcji tak długich tras na świeżym powietrzu jest obliczenie pozycji kamery: narzędzia takie jak COLMAP powodują błędy dryfu i akumulacji na przestrzeni, mają problemy z naturalnie występującymi powtarzalnymi wzorcami i pozbawionymi szczegółów widokami (rzędy winorośli, nawierzchnia drogi, niebo), a bez wcześniejszego użycia GPS-u wynik nie jest powiązany ze współrzędnymi świata rzeczywistego, skalą ani nachyleniem.
Aby pokonać te ograniczenia, Aryonix użył Kompas GNSS – zestaw startowy RTK aby zapewnić precyzję co do centymetra w położeniu kamery i kierunku podczas nagrywania.
Platforma wiertnicza
Aby rozwiązać ten problem, użyliśmy zestawu startowego kompasu GNSS, który umożliwiał uzyskanie dokładnych co do centymetra pozycji kamery i kierunku jako predefiniowanych ustawień kamery w programie COLMAP.
- Zestaw startowy GNSS Compass – RTK: Zestaw GNSS/RTK z płytką bazującą na UM982 i dwiema wysokiej jakości antenami helikalnymi
- Kamera kinowa Blackmagic URSA Mini Pro 4.6K G2, nagrywanie w formacie RAW
- Adapter XLR Hosa MIT-129 konwertuje sygnał PPS płyty do poziomów dźwięku zgodnych z kamerą i chroni płytę przed zasilaniem fantomowym kamery
- Telefon z uruchomionymi mapami oprogramowania, logowaniem RTK i zasilaniem płytki
Synchronizacja wideo z RTK
Wiedza o położeniu kamery jest przydatna jedynie wówczas, gdy każdą klatkę wideo można dopasować do prawidłowego pomiaru RTK.
Odbiornik GNSS generuje sygnał PPS (impuls na sekundę). Jest to niezwykle precyzyjny impuls elektryczny generowany dokładnie co sekundę GPS. Zamiast polegać na wewnętrznym zegarze kamery, sygnał PPS był rejestrowany bezpośrednio w jednym z kanałów audio kamery poprzez wejście XLR.
Ponieważ dźwięk jest próbkowany z częstotliwością 48 kHz, każdy impuls PPS można wykryć z dokładnością poniżej milisekundy. Dla porównania, pojedyncza klatka wideo nagrana z szybkością 24 kl./s trwa około 42 milisekund. Pozwala to na znacznie dokładniejsze oznaczenie czasu każdej klatki niż w przypadku korzystania z informacji o czasie z kamery.
Rejestrowanie impulsu PPS co sekundę umożliwia również wykrywanie i ciągłą korektę wszelkich przesunięć zegara w kamerze przez cały czas nagrywania. Sygnał PPS oznacza początek każdej sekundy GPS, a dziennik RTK rejestrowany przez telefon dostarcza odpowiadające mu znaczniki czasu GNSS. Rozpoczęcie obu nagrań mniej więcej w tym samym czasie wystarczy, aby automatycznie dopasować impulsy PPS do danych RTK.
Jeśli brzmi to skomplikowanie, sprawdź nasz post Zrozumienie GPS Timepulse lub PPS.
Uchwycenie sceny
Zespół przeszedł 800-metrową trasę przez winnice Lavaux w Szwajcarii, cały czas nagrywając materiał wideo.
Zamiast po prostu poruszać się po linii prostej, kamera poruszała się spiralnie, aby obserwować scenę z wielu kątów. Poprawia to jakość rekonstrukcji 3D, jednocześnie unikając cieni rzucanych przez operatora.
Czasami przed powrotem na główną trasę odczytywano krótkie boczne ścieżki, co zapewniało dodatkowe punkty widokowe i zwiększało dokładność rekonstrukcji.
Ruchome obiekty, takie jak piesi i pojazdy, były obsługiwane bezpośrednio podczas rejestrowania obrazu poprzez chwilowe odwrócenie kamery, co zmniejszało konieczność późniejszego sprzątania.
Efekty
Po zsynchronizowaniu pomiarów RTK z klatkami wideo, pozycje kamer zostały wprowadzone do procesu rekonstrukcji jako a priori kamer. Zamiast szacować każdą pozycję kamery na podstawie samych obrazów, oprogramowanie zaczyna od pomiarów RTK z dokładnością do centymetra.
Wynikowa reprezentacja 3D jest renderowana w czasie rzeczywistym za pomocą silnika Aryonix, przy jednoczesnym zachowaniu prawidłowej rzeczywistej pozycji, orientacji, skali i nachylenia trasy.
Chociaż zaprezentowano to tutaj na przykładzie rozprysków gaussowskich, ten sam obieg pracy można zastosować do dowolnej metody rekonstrukcji, która opiera się na obrazach 2D i pozycjach kamery: zsynchronizowane priorytety kamery można przekazać do narzędzi takich jak COLMAP w celu trenowania rozprysków gaussowskich, NeRF-ów lub tradycyjnych rekonstrukcji fotogrametrycznych.
Zapewniając dokładne pozycje kamer podczas całego nagrania, RTK GNSS przekształca proces pracy, który normalnie byłby narażony na nagromadzenie dryfu, w niezawodną metodę rekonstrukcji długich pomiarów na zewnątrz. Rezultatem jest fotorealistyczna scena 3D, która może być również wykorzystana do dokładnych pomiarów tras, w tym nachyleń, które często są bardziej szczegółowe niż te dostępne w istniejących cyfrowych modelach terenu.
Powiązane produkty
Asystent RTK
Znajdź najlepsze produkty dla swoich potrzeb, odpowiadając na zaledwie kilka pytań.