ARKit is Apple’ s platform voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om games als om apps voor productiviteit en andere toepassingen. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie is ARKit 4 in iOS 14 en ipados 14. Między innymi w pełni wykorzystuje nowy skaner lidarowy iPad Pro.

poniżej możesz przeczytać, czym jest ARKit i co możesz z nim zrobić..

• ARKit 5 w iOS 14
• Augmented Reality
• co to jest ARKit?
• kompatybilne urządzenia
• aplikacje z ARKit
• ARKit 4 w iOS 14
• ARKit 3 i 3.5
• ARKit 2

nowość w iOS 15: ARKit 5

w iOS 15 Apple dodatkowo ulepszyło ARKit w następujących punktach:

• powiązania lokalizacji w Londynie
• ulepszone śledzenie ruchu
• ulepszone śledzenie twarzy

powiązania lokalizacji w Londynie

teraz otrzymujesz powiązania lokalizacji w Londynie i innych miejscach w USA. Na przykład możesz tworzyć własne doświadczenia AR w znanych miejscach, takich jak diabelski młyn London Eye i Times Square. Można to również zrobić we własnej okolicy. Powiązania lokalizacji zostały już wprowadzone w ARKit 4, ale teraz pojawiły się w większej liczbie lokalizacji. Umieszczasz obiekty AR w określonych miejscach, takich jak miasta lub zabytki. Są one powiązane z określoną szerokością i długością geograficzną oraz określoną przestrzenią. Inni mogą chodzić po wirtualnych obiektach i oglądać je pod różnymi kątami, podobnie jak rzeczywisty obiekt.

działa to na iPhone XS, iPhone XS Max, iPhone XR i nowszych oraz tylko w niektórych miastach.

ulepszone śledzenie ruchu

ARKit 5 zapewnia również ulepszone śledzenie ruchu. Rejestrujesz ruchy określonej osoby w czasie rzeczywistym za pomocą jednej kamery. Aparat zna pozycję ciała, a także wie, gdzie znajdują się określone stawy i kości, a także może oszacować długość ciała.

działa to na iPhonie z serii 12 i iPadzie Pro we wszystkich aplikacjach utworzonych za pomocą ARKit, nie wymagając od programistów zmiany kodu.

ulepszone śledzenie twarzy

w ARKit 5 można śledzić twarze za pomocą przedniego aparatu, dzięki czemu można również korzystać z funkcji AR. Jest dodatkowo obsługiwany przez ultraszerokokątny aparat na iPadzie Pro 2021. Następnie możesz śledzić trzy twarze jednocześnie za pomocą kamery TrueDepth, na przykład w Snapchacie i podczas korzystania z Memoji. Śledzenie wielu twarzy jest również używane w centralnej scenie, w której zawsze pozostajesz w kadrze podczas komunikacji. Więcej wyjaśnień dotyczących śledzenia twarzy dla programistów można znaleźć tutaj.

śledzenie twarzy za pomocą przedniego aparatu działa na wszystkich urządzeniach z bionicznym układem A12, a śledzenie trzech twarzy działa jednocześnie na iPadzie Pro 2021 i nowszych.

istnieją również inne drobne ulepszenia, takie jak Nowe powiązanie kodu klipu aplikacji w celu przypięcia treści wirtualnych z aplikacji Clip lub aplikacji ARKit. Ponadto można wykryć do 100 obrazów jednocześnie.

poniżej możesz zobaczyć wideo Apple dotyczące ARKit 5 skierowane do programistów:

rzeczywistość rozszerzona z ARKit

ARKit został ogłoszony podczas WWDC 2017 i jest dostępny na iPhone ’ a i iPada z iOS 11. AR staat voor augmented reality, oftewel toegevoegde realiteit. Rzeczywistość rozszerzona zie je steeds meer w aplikacjach. Denk bijvoorbeeld aan het Vangen van Pokémon in Pokémon GO of het virtueel plaatsen van meubels in je eigen woning. Met augmented reality voeg je een digitaal object toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daardoor net alsof het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer over wat augmented reality precies is, lees je in onderstaande gids.

Wat is ARKit?

ARKit to platforma rozszerzonej rzeczywistości firmy Apple. Programiści mogą go używać do osadzania AR w aplikacjach na iPhone ’ a i iPada. Dzięki narzędziom ARKit programiści nie muszą samodzielnie programować złożonych interakcji. Mogą używać elementów składowych, które Apple już stworzył. Od dawna możliwe jest tworzenie aplikacji rzeczywistości rozszerzonej, ale ARKit znacznie ułatwia programistom. Ponadto często wygląda znacznie lepiej.

w ARKit Apple stosuje szereg technik, w tym wizualną odometrię bezwładnościową (VIO). Za pomocą tej metody można skanować środowisko. Łącząc VIO z informacjami o ruchu pochodzącymi z czujników urządzenia iOS, urządzenie uczy się, jak się poruszasz. Obraz może następnie przejść dalej. Do tego służy Core Motion.

dzięki aparatowi w telefonie iPhone i iPadzie ARKit rozpoznaje poziome i pionowe powierzchnie, takie jak biurka, podłogi i ściany. Na tych płaszczyznach można umieszczać wszelkiego rodzaju obiekty wirtualne.

ARKit wykorzystuje również kamerę do wykrywania ilości światła i padania światła w pomieszczeniu. Na tej podstawie obraz można uczynić tak realistycznym, jak to możliwe. Obiekt wydaje się być w otoczeniu, z odpowiednimi cieniami i takim samym stopniem ekspozycji jak inne obiekty w pomieszczeniu.

Narzędzie AR firmy Apple współpracuje również z metalem, SceneKit i narzędziami innych firm, takimi jak Unity I Unreal Engine, dwoma narzędziami powszechnie używanymi używane do tworzenia gier.

na jakich urządzeniach działa ARKit?

rzeczywistość rozszerzona wymaga niezbędnej mocy obliczeniowej i dlatego nie działa na wszystkich iPhone ’ ach, iPadach i iPodach touch. Do wykonywania podstawowych funkcji funkcji rzeczywistości rozszerzonej wymagane jest urządzenie z systemem iOS z procesorem co najmniej A9. Oznacza to, że z iPhone ’ em 6s i 9,7-calowym iPadem Pro.

główne funkcje ARKit działają w następujących modelach:

• iPhone 6S i iPhone 6s Plus i nowsze
• iPhone SE (pierwsza generacja) i nowsze
• iPad (2017) i nowsze
• iPad Pro (wszystkie generacje)

Apple regularnie wydaje aktualizacje ARKit. Zwykle towarzyszy temu coroczna ważna aktualizacja oprogramowania,ale czasami między nimi. Urządzenia, które mogą korzystać z niektórych funkcji, różnią się w zależności od wersji ARKit.

ARKit 4 wygląda lepiej

podczas WWDC 2020 Apple ogłosiło ARKit 4. Oto główne innowacje:

• interfejs API głębokości
• powiązania lokalizacji
• ulepszone śledzenie twarzy

interfejs API głębokości

dzięki nowemu interfejsowi API głębokości programiści mogą tworzyć jeszcze bardziej szczegółowe pomiary głębokości za pomocą skanera LiDAR w iPadzie Pro. Informacje o bezwzględnej odległości od obiektu są obliczane na piksel. Wraz z innymi sztuczkami AR wirtualne obiekty są lepiej umieszczone w przestrzeni i wyglądają jeszcze bardziej realistycznie. Umieszczenie obiektu zajmuje również mniej czasu.

powiązania lokalizacji

powiązania lokalizacji to obiekty AR, które aplikacja może powiązać z rzeczywistymi lokalizacjami. Programiści mogą to określić za pomocą dokładnych współrzędnych. Użytkownicy mogą chodzić po tych obiektach, jakby były eksponatami muzealnymi. Realistyczne zastosowanie tej techniki to aplikacja do pieszych wycieczek po mieście. Na przykład, jeśli spacerujesz po średniowiecznym mieście, taka aplikacja może upuszczać obiekty, które sprawiają, że czujesz się jak w średniowieczu. Apple twierdzi, że jest dostępny tylko w „określonych” miastach.

bardziej szczegółowe śledzenie twarzy

śledzenie twarzy istniało już w ARKit, ale z ARKit 4 działa również z aparatem do selfie. Możesz śledzić do trzech twarzy jednocześnie. Dzięki niemu Twój iPhone pozwala na przykład przykleić bardziej realistyczne filtry do twarzy podczas robienia zdjęć. Apple wymienia nawet Snapchata jako przykładową aplikację, która może skorzystać z tej przewagi. Działa dla urządzeń z bionicznym układem A12 i nowszymi.

ARKit 3 i ARKit 3.5: Augmented Reality dodatkowo ulepszone

były dwie wersje ARKit 3, a mianowicie wersje 3 i 3.5. Poniżej możesz przeczytać o innowacjach, które przyniosły te wersje..

• Arkit 3.5
• Arkit 3

ARKit 3.5

w ARKit 3.5 Apple ulepszyło niektóre części, które w tym czasie koncentrowały się głównie na nowym skanerze lidar na iPadzie Pro.

Geometria sceny

ta funkcja umożliwia aplikacji Tworzenie geometrycznej mapy środowiska. Urządzenie lepiej rozpoznaje podłogi, ściany, sufity, okna, drzwi i krzesła, co pozwala wirtualnym obiektom lepiej ustawić się w rzeczywistym środowisku.

natychmiastowy AR

nie ma już potrzeby kalibracji aplikacji AR, ponieważ dzięki skanerowi lidar, aplikacja rozpoznaje środowisko bezpośrednio. Możesz natychmiast umieścić obiekty AR w środowisku. Wszystkie aplikacje AR natychmiast używają tego na najnowszym iPadzie Pro.

Poprawiono przechwytywanie ruchu i okluzję ludzi

począwszy od ARKit 3, aplikacje rzeczywistości rozszerzonej są bardziej świadome ludzi spacerujących po środowisku. W rezultacie obiekty AR pojawiają się starannie za osobą, która idzie przed nimi. W połączeniu z ARKit 3.5 na iPadzie Pro zostało to jeszcze bardziej ulepszone. Pomiar wysokości został również dodatkowo zoptymalizowany dzięki ulepszonemu przechwytywaniu ruchu. Tutaj również nie są wymagane żadne zmiany w kodzie aplikacji AR.

ARKit 3

ARKit 3 jest częścią iOS 13 i iPadOS 13 i pojawił się jesienią 2019 r.dla każdego, kto ma odpowiednie urządzenie. Obejmowała ona dwie główne innowacje: możliwość poruszania się w środowisku AR oraz przechwytywanie ruchu. Ponadto Apple wydało narzędzia RealityKit i Reality Composer, które ułatwiają tworzenie aplikacji AR.

okluzja ludzi

nowa funkcja okluzji ludzi oznacza, że możesz pozwolić ludziom poruszać się po aplikacji w czasie rzeczywistym. Ludzie nie wyglądają już jak duchy, ale mogą przechodzić przez obraz. Obiekty również to uwzględniają i będą widoczne przed lub za osobą. W ten sposób osoba może również przejść obok bardzo dużego obiektu AR i stać się niewidoczna.

motion capture

Motion Capture pozwala programistom rejestrować ruchy i postawy ludzi oraz wykorzystywać je jako dane wejściowe do swoich aplikacji AR. Pozwala to uchwycić ruch osoby w czasie rzeczywistym za pomocą innej kamery. iPhone rozumie pozycję ciała i przekształca ją w pozę lalki. Wcześniej wymagało to specjalnego kostiumu. Kamera śledzi pozycję kończyn i stawów.

jednoczesne korzystanie z przedniej i tylnej kamery

począwszy od ARKit 3, możesz jednocześnie korzystać z rozpoznawania twarzy i rozpoznawania obiektów w świecie rzeczywistym. Wynika to z faktu, że ARKit może łączyć obrazy z przedniej i tylnej kamery. Na przykład możesz kontrolować obiekty za pomocą twarzy.

współpraca w grach AR

dzięki tak zwanym „sesjom współpracy” możesz stworzyć wspólną mapę świata, w której mogą uczestniczyć obaj gracze. Ułatwia to programistom tworzenie wspólnych funkcji AR dla gier wieloosobowych.

RealityKit

RealityKit to platforma, która pozwala programistom łatwiej łączyć wirtualne obiekty ze światem rzeczywistym. Są one automatycznie wyświetlane we właściwej skali na wielu urządzeniach Apple. Zarządza także wymaganiami sieci i ogólnym doświadczeniem AR. Zawiera fotorealistyczne Efekty otoczenia i Kamery, dodatkowe animacje i efekty dźwiękowe. Działa natywnie z ARKit i ma Swift API.

Reality Composer

Reality Composer pozwala programistom tworzyć interaktywne sceny z pełną obsługą AR. Dostępne są dla nich setki wirtualnych obiektów, które mogą importować do swoich aplikacji. Te wirtualne obiekty mogą być wyposażone w animacje i mogą reagować na dotyk ekranu, przybliżenie i inne wyzwalacze. Może być używany w Xcode i jako aplikacja na iOS.

ARKit 2

podczas WWDC 2018 Apple ogłosiło ARKit 2. ARKit 2 był częścią iOS 12 i wprowadził szereg nowych funkcji i funkcji. Były to główne ulepszenia:

• ogólne doświadczenie: multiplayer AR
• stała AR: Kontynuuj AR później, nie zaczynając od nowa
• wykrywanie i śledzenie obrazu: wykrywanie obiektów 3D i odbić w prawdziwym świecie
• Dolar Amerykański: nowy format plików dla aplikacji rzeczywistości rozszerzonej

gry wieloosobowe w AR

od ARKit 2 możesz także grać w gry wieloosobowe w AR. Na przykład stoisz, każdy z iPadem lub iPhonem, twarzą do siebie, strzelając do siebie laserami. Z wyjątkiem gier działa to również ze wszystkimi innymi aplikacjami AR. Pomyśl na przykład o aplikacji, która pozwala dokonać napraw w domu. Deweloperzy mają również możliwość budowania w trybie obserwatora. Pozwala to zobaczyć, jak przebiega gra AR, bez konieczności aktywnego grania.

stały AR

dzięki funkcji o nazwie stały AR możesz kontynuować od miejsca, w którym przerwałeś. Dostosuj swój dom od nowa dzięki aplikacji AR, dzięki czemu możesz zobaczyć, jak ta nowa sofa lub stół wygląda w Twoim domu. Jeśli chcesz kontynuować dekorowanie później, nie musisz zaczynać od nowa z trwałym AR. Wirtualne obiekty, które umieszczasz w domu za pomocą iPhone ’ a lub iPada, po prostu pozostają w tyle. Przydaje się również przy tworzeniu całego dzieła sztuki w rzeczywistości rozszerzonej.

wykrywanie i śledzenie obrazów

począwszy od ARKit 2, obiekty 3D można również wykryć oprócz tylko powierzchni poziomych i pionowych. Pomyśl na przykład o zabawkach. Ponadto odbicia mogą być rzutowane na obiekty widoczne w AR. Dzięki tym ulepszeniom efekty AR powinny być jeszcze bardziej realistyczne niż wcześniej. Firma Apple wydała również aplikację pomiarową do pomiaru powierzchni, ale działała tylko w przypadku odległości poziomych i pionowych.

USD:

Apple i Pixar opracowały format pliku USDZ oparty na uniwersalnym systemie opisu scen stworzonym przez Pixar. Dzięki USDZ strony internetowe, aplikacje i projektanci mogą tworzyć obrazy 3D, które ożywają na iPhonie i iPadzie. USDZ działa w wiadomościach, Safari, poczcie, plikach i innych, ożywiając te obrazy w tych aplikacjach. Jeśli sklep internetowy umieszcza wersje swoich produktów w dolarach amerykańskich na stronie internetowej, możesz umieścić te produkty w prawdziwym świecie dzięki szybkiemu przeglądaniu. W ten sposób nie musisz ładować całej aplikacji AR w całości, ponieważ tylko konkretny obiekt ożywa dzięki USDZ. USDZ jest formatem open source, więc każdy może zacząć od niego.

aplikacje z ARKit

Programiści wydali już całą gamę aplikacji korzystających z ARKit. Od aplikacji, które pozwalają tworzyć mapę domu, po zabawne gry, w których kontrolujesz mały samolot. W poniższym przewodniku przygotowaliśmy listę aplikacji rzeczywistości rozszerzonej, które używają ARKit, abyś mógł zobaczyć, jak dokładnie działa ARKit.