ARKit is Apple’ s platform voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om games als om apps voor productiviteit en andere toepassingen. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwe versie is ARKit 4 in iOS 14 en iPadOS 14. Het maakt onder meer volop gebruik van de nieuwe LiDAR Scanner van de iPad Pro.

Hieronder lees je wat ARKit is en wat je ermee kunt doen.

• ARKit 5 in iOS 14
• Augmented Reality
• Wat is ARKit?
• Geschikte toestellen
• Apps met ARKit
• ARKit 4 in iOS 14
• ARKit 3 en 3.5
• ARKit 2

Nieuw in iOS 15: ARKit 5

In iOS 15 heeft Apple ARKit weer verder verbeterd op de volgende punten:

• Locatie-ankers in Londen
• Verbeterde Motion Tracking
• Verbeterde Face Tracking

Locatie-ankers in Londen

Je krijgt nu Location Anchors in Londen en in meer Amerikaanse steden. Zo kun je op bekende plekken zoals het London Eye-reuzenrad en Times Square je eigen AR-ervaringen maken. Het kan ook in je eigen buurt. Locatie-ankers waren al ingevoerd in ARKit 4, maar zijn er nu op meer plekken. Je plaatst de AR-ervaringen op specifieke plekken zoals in steden of bij bezienswaardigheden. Ze zijn daarbij gekoppeld aan een bepaalde lengte- en breedtegraad en een bepaalde ruimte. Anderen kunnen rond de virtuele objecten lopen en ze vanuit verschillende hoeken bekijken, net als een echt object.

Het werkt op de iPhone XS, iPhone XS Max, iPhone XR en nieuwer en alleen in bepaalde steden.

Verbeterde Motion Tracking

ARKit 5 biedt ook verbeterde Motion Tracking. Hierbij leg je de bewegingen van een bepaalde persoon realtime vast met een enkele camera. De camera weet de lichaamshouding en weet ook waar bepaalde gewrichten en botten zich bevinden, terwijl tevens een schatting kan worden gemaakt van de lichaamslengte.

Dit werkt op de iPhone 12-serie en iPad Pro in alle apps die met ARKit zijn gemaakt, zonder dat ontwikkelaars hun code hoeven aan te passen.

Verbeterde Face Tracking

Het is in ARKit 5 mogelijk om met de frontcamera gezichten te tracken, zodat je ook daarmee AR-ervaringen kunt gebruiken. Het wordt bovendien ondersteund op de ultragroothoek-camera op de iPad Pro 2021. Je kunt dan drie gezichten tegelijk volgen met de TrueDepth-camera, bijvoorbeeld in Snapchat en bij het gebruik van Memoji. Het tracken van meerdere gezichten wordt ook gebruikt voor Center Stage, waarbij je tijdens het chatten altijd in beeld blijft. Meer uitleg over Face Tracking voor ontwikkelaars vind je hier.

Face Tracking via de frontcamera werkt op alle toestellen met een A12 Bionic-chip en het tracken van drie gezichten tegelijk werkt op de iPad Pro 2021 en nieuwer.

Er zitten ook nog wat andere kleine verbeteringen in, zoals een nieuwe App Clip Code-anker om virtuele content vanuit je App Clip of ARKit-app vast te zetten. Daarnaast is het mogelijk om tot 100 afbeeldingen tegelijk te detecteren.

Hieronder zie je een filmpje van Apple over ARKit 5, bedoeld voor ontwikkelaars:

Augmented reality met ARKit

ARKit werd tijdens de WWDC van 2017 aangekondigd en is sinds iOS 11 beschikbaar voor de iPhone en iPad. AR staat voor augmented reality, oftewel toegevoegde realiteit. Augmented reality zie je steeds meer in apps. Denk bijvoorbeeld aan het vangen van Pokémon in Pokémon Go of het virtuele plaatsen van meubels in je eigen woning. Met augmented reality voeg je een digitaal object toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daarvoor net als het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer over wat augmented reality precies is, lees je in onderstaande gids.

Wat is ARKit?ARKit is het eigen platform van Apple voor augmented reality. Ontwikkelaars kunnen het gebruiken om AR in te bouwen in apps voor iPhone en iPad. Dankzij de tools van ARKit hoeven ontwikkelaars niet zelf ingewikkelde interacties te programmeren. Ze kunnen gebruikmaken van de bouwstenen die Apple al heeft gemaakt. Het was al langer mogelijk om toepassingen voor augmented reality te maken, maar ARKit maakt het voor ontwikkelaars een stuk eenvoudiger. Bovendien ziet het er vaak veel beter uit.

Voor ARKit maakt Apple gebruik van een aantal technieken, waaronder Visual Inertial Odometry (VIO). Met deze techniek kan de omgeving gescand worden. Door VIO te combineren met bewegingsinformatie van de sensoren in het iOS-device weet het toestel hoe je beweegt. Het beeld kan dan meebewegen. Hiervoor wordt gebruik gemaakt van Core Motion.

Dankzij de camera in je iPhone en iPad kan ARKit horizontale en verticale vlakken herkennen, zoals tafels, vloeren en muren. Er kunnen allerlei virtuele objecten op deze vlakken worden geplaatst.

ARKit gebruikt ook de camera om de hoeveelheid licht en de lichtval in een kamer vast te stellen. Aan de hand hiervan kan het beeld zo realistisch mogelijk worden gemaakt. Het object lijkt daadwerkelijk in de omgeving te staan, met de juiste schaduwen en dezelfde mate van belichting als de andere objecten in de kamer.

Apple’s AR-tool werkt ook samen met Metal, SceneKit en third-party tools zoals Unity en Unreal Engine, twee middelen die vaak bij het ontwikkelen van games gebruikt worden.

Op welke toestellen werkt ARKit?

Augmented Reality vereist de nodige processorkracht en werkt daarom niet op elke iPhone, iPad en iPod touch. Voor de basisfuncties van augmented reality-functie is een iOS-toestel met minimaal A9-processor nodig. Dat betekent vanaf de iPhone 6s en de 9,7-inch iPad Pro.

De basisfuncties van ARKit werken op onderstaande modellen:

• iPhone 6s en iPhone 6s Plus en nieuwer
• iPhone SE (eerste generatie) en nieuwer
• iPad (2017) en nieuwer
• iPad Pro (alle generaties)

Apple brengt regelmatig updates uit voor ARKit. Dit gaat meestal gepaard met de jaarlijkse grote software-update, maar soms ook tussendoor. Per ARKit-versie verschillen de toestellen die van bepaalde functies gebruik kunnen maken.

ARKit 4 ziet beter diepte

Tijdens WWDC 2020 kondigde Apple ARKit 4 aan. Dit zijn de belangrijkste vernieuwingen:

• Depth API
• Location Anchors
• Uitgebreidere Face Tracking

Depth API

Met de nieuwe Depth API kunnen ontwikkelaars de LiDAR Scanner in de iPad Pro nog gedetailleerdere dieptemetingen doen. Per pixel wordt informatie over de absolute afstand tot een object berekend. Samen met andere AR-trucjes worden virtuele objecten beter in de ruimte geplaatst en ziet het er nog realistischer uit. Ook duurt het minder lang tot een object neergezet wordt.

Location Anchors

Location Anchors zijn AR-objecten die op echte locaties kunnen worden vastgezet door een app. Ontwikkelaars kunnen dit met exacte coördinaten bepalen. Gebruikers kunnen om deze objecten heen lopen alsof het museumstukken zijn. Een realistische toepassing voor deze techniek is voor een looptour-app van een stad. Loop je bijvoorbeeld door een middeleeuwse stad, dan kan een dergelijke app objecten neerzetten waardoor het lijkt alsof je je in de middeleeuwen bevindt. Apple zegt dat dit alleen in ‘bepaalde’ steden beschikbaar is.

Uitgebreidere Face Tracking

Face Tracking bestond al voor ARKit, maar vanaf ARKit 4 werkt dit ook met de selfiecamera. Je kunt tot drie gezichten tegelijk tracken. Hiermee maakt je iPhone het mogelijk om bijvoorbeeld realistischere filters over je gezicht te plakken tijdens het maken van een foto. Apple noemt zelfs Snapchat als voorbeeld van een app die hiervoor gebruik kan maken. Het werkt voor apparaten met een A12 Bionic chip en nieuwer.

ARKit 3 en ARKit 3.5: augmented reality verder verbeterd

Er zijn twee versies geweest van ARKit 3, namelijk versie 3 en 3.5. Hieronder lees je over de vernieuwingen die deze versies brachten.

• ARKit 3.5
• ARKit 3

ARKit 3.5

Apple verbeterde in ARKit 3.5 enkele onderdelen die vooral gefocust waren op de destijds nieuwe LiDAR Scanner op de iPad Pro.

Scene Geometry

Met deze functie kan een app een geometrische kaart van de omgeving maken. Het apparaat is zich meer bewust van vloeren, muren, plafonds, ramen, deuren en stoelen, waardoor virtuele objecten zich beter kunnen plaatsen in de daadwerkelijke omgeving.

Instant AR

Het is niet meer nodig om een AR-app te kalibreren, want dankzij de LiDAR Scanner herkent de app een omgeving direct. Je kan daardoor meteen AR-objecten in de omgeving plaatsen. Alle AR-apps maken hier op de nieuwste iPad Pro meteen gebruik van.

Verbeterde Motion Capture en People Occlusion

Sinds ARKit 3 zijn augmented reality-apps zich meer bewust van mensen die door de omgeving lopen. AR-objecten verschijnen daardoor netjes achter een persoon als deze ervoor langs loopt. In combinatie met ARKit 3.5 op de iPad Pro is dit verder verbeterd. Ook het meten van de hoogte is dankzij de verbeterde motion capture verder geoptimaliseerd. Ook hier is geen wijziging in de code van een AR-app vereist.

ARKit 3

ARKit 3 is onderdeel van iOS 13 en iPadOS 13 en verscheen in het najaar van 2019 voor iedereen met een geschikt toestel. Het bevatte twee grote vernieuwingen: het laten rondwandelen van mensen in een AR-omgeving en het vastleggen van beweging. Daarnaast bracht Apple de tools RealityKit en Reality Composer uit, waarmee het makkelijker is om AR-apps te maken.

People Occlusion

De nieuwe functie People Occlusion houdt in dat je mensen realtime in een app kunt laten rondlopen. Mensen zien er niet langer als een spook uit, maar kunnen door het beeld lopen. Objecten houden daar ook rekening mee en zullen voor of achter de persoon te zien zijn. Een persoon kan dus ook achter een heel groot AR-object langs lopen en daarbij onzichtbaar worden.

Motion capture

Met Motion capture kunnen ontwikkelaars gebruik maken van beweging en houdingen van mensen en dit gebruiken als input voor hun AR-toepassingen. Zo kun je de beweging van een persoon realtime vastleggen met een andere camera. De iPhone begrijpt de lichaamshouding en zet dit om naar de houding van een poppetje. Voorheen had je hier een speciaal pak voor nodig. De camera let op de positie van ledematen en gewrichten.

Gelijktijdig gebruik van voor- en achtercamera

Je kon sinds ARKit 3 gelijktijdig gebruikmaken van de gezichtsherkenning en de herkenning van objecten in de werkelijke wereld. Dit komt omdat ARKit de beelden van camera’s aan de voor- en achterkant kan combineren. Zo kun je bijvoorbeeld objecten besturen met je gezicht.

Samenwerken in AR-games

Je kunt met zogenaamde ‘collaborative sessions’ een gezamenlijke wereldkaart bouwen, waar beide spelers aan mee kunnen doen. Dit maakt het voor ontwikkelaars gemakkelijker om gedeelde AR-ervaringen te maken voor multiplayer-games.

RealityKit

RealityKit is een raamwerk voor ontwikkelaars om gemakkelijker virtuele objecten te laten samensmelten met de werkelijke wereld. Ze worden automatisch op de juiste schaal getoond, op meerdere Apple-toestellen. Ook regelt het de netwerk-vereisten en gedeelde AR-ervaringen. Er zitten fotorealistische effecten in voor de omgeving en de camera, meer animaties en audio-effecten. Het werkt native samen met ARKit en heeft een Swift API.

Reality Composer

Met Reality Composer kunnen ontwikkelaars interactieve scenes bouwen met volledige AR-ondersteuning. Er zijn honderden virtuele objecten beschikbaar die ze kunnen importeren in hun apps. Deze virtuele objecten kunnen worden voorzien van animaties en kunnen reageren op schermtikken, nabijheid en andere triggers. Het is te gebruiken in Xcode en als iOS-app.

ARKit 2

Tijdens de WWDC 2018 kondigde Apple ARKit 2 aan. ARKit 2 maakte onderdeel uit van iOS 12 en introduceerde een aantal nieuwe functies en mogelijkheden. Dit waren de belangrijkste verbeteringen:

• Gedeelde ervaringen: multiplayer AR
• Persistente AR: later verdergaan met AR zonder opnieuw te beginnen
• Beelddetectie en -tracking: detectie van 3D-objecten en weerspiegelingen uit de echte wereld
• USDZ: nieuw bestandsformaat voor augmented reality-apps

Multiplayer-games in AR

Sinds ARKit 2 kun je ook multiplayergames spelen in AR. Je staat bijvoorbeeld, ieder met een eigen iPad of iPhone, tegenover elkaar terwijl je met lasers tegen elkaar schiet. Behalve voor games werkt dit ook bij alle andere AR-apps. Denk bijvoorbeeld aan een app waarmee je je huis opnieuw kan inrichten. Ontwikkelaars krijgen daarnaast de mogelijkheid om een toeschouwermodus in te bouwen. Hiermee kan je kijken hoe een AR-game verloopt, zonder dat je zelf actief mee hoeft te spelen.

Persistente AR

Dankzij een functie genaamd persistente AR kun je verdergaan waar je gebleven was. Stel je richt je huis opnieuw in dankzij een AR-app, zodat je kan zien hoe die nieuwe bank of eettafel in jouw woning staat. Als je op een later moment verder wil gaan met inrichten, hoef je met persistente AR niet helemaal opnieuw te beginnen. De virtuele objecten die je via je iPhone of iPad in je woning plaatst, blijven gewoon achter. Dit komt ook van pas bij het maken van een heel kunstwerk in augmented reality.

Beelddetectie en -tracking

Sinds ARKit 2 kunnen ook 3D-objecten gedetecteerd worden, naast alleen horizontale en verticale vlakken. Denk bijvoorbeeld aan speelgoed. Bovendien kunnen weerspiegelingen geprojecteerd worden op de objecten die in AR zichtbaar zijn. Dankzij deze verbeteringen moeten de effecten van AR nog realistischer zijn dan voorheen. Apple bracht ook een Meten-app uit om oppervlakte te meten, maar dat werkte alleen voor horizontale en verticale afstanden.

USDZ: bestandsformaat voor AR

Apple heeft samen met Pixar het bestandsformaat USDZ ontwikkeld, gebaseerd op het systeem Universal Scene Description dat door Pixar gemaakt is. Dankzij USDZ kunnen websites, apps en ontwerpers 3D-afbeeldingen maken die op de iPhone en iPad tot leven komen. USDZ werkt in Berichten, Safari, Mail, Bestanden en meer, zodat deze afbeeldingen in die apps tot leven komen. Als een webshop USDZ-versies van haar producten op de website zet, kun je deze voorwerpen dankzij Quick Look in de echte wereld plaatsen. Je hoeft dan dus geen hele AR-app te downloaden, want alleen het specifieke object komt dankzij USDZ tot leven. USDZ is een open-source formaat, waardoor iedereen er dus mee aan de slag kan.

Apps met ARKit

Ontwikkelaars hebben al een hele reeks aan apps uitgebracht die gebruikmaken van ARKit. Van apps waarmee je een plattegrond van je woning maakt, tot grappige games waarin je een vliegtuigje bestuurt. In onderstaande gids hebben we een lijst van augmented reality-apps opgesteld die gebruikmaken van ARKit, zodat je zelf kunt ervaren hoe ARKit precies werkt.