ARKit is Apple’s platform voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om spiele als om apps voor productiviteit en andere toepassingen. Zo kun je met arkit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. Die neueste Version ist ARKit 4 in iOS 14 und iPadOS 14. Unter anderem nutzt es den neuen LiDAR-Scanner des iPad Pro voll aus.

Unten können Sie lesen, was ARKit ist und was Sie damit machen können.

• ARKit 5 in iOS 14
• Erweiterte Realität
• Was ist ARKit?
• kompatible Geräte
• Apps mit ARKit
• ARKit 4 in iOS 14
• ARKit 3 und 3.5
• ARKit 2

neu in iOS 15: ARKit 5

In iOS 15 hat Apple ARKit in folgenden Punkten weiter verbessert:

• Standortanker in London
• verbesserte Bewegungsverfolgung
• verbesserte Gesichtsverfolgung

Standortanker in London

Sie erhalten jetzt Standortanker in London und in weiteren US-Städten. Sie können beispielsweise Ihre eigenen AR-Erlebnisse an berühmten Orten wie dem London Eye-Riesenrad und dem Times Square erstellen. Es kann auch in Ihrer eigenen Nachbarschaft gemacht werden. Standortanker wurden bereits in ARKit 4 eingeführt, sind aber jetzt an mehr Stellen vorhanden. Sie platzieren die AR-Erlebnisse an bestimmten Orten wie Städten oder Sehenswürdigkeiten. Sie sind mit einem bestimmten Breiten- und Längengrad und einem bestimmten Raum verbunden. Andere können um die virtuellen Objekte herumgehen und sie aus verschiedenen Blickwinkeln betrachten, genau wie ein reales Objekt.

Es funktioniert auf iPhone XS, iPhone XS Max, iPhone XR und neuer und nur in bestimmten Städten.

verbesserte Bewegungsverfolgung

ARKit 5 bietet auch eine verbesserte Bewegungsverfolgung. Sie erfassen die Bewegungen einer bestimmten Person in Echtzeit mit einer einzigen Kamera. Die Kamera kennt die Körperposition und weiß auch, wo sich bestimmte Gelenke und Knochen befinden, und kann gleichzeitig die Körperlänge abschätzen.

Dies funktioniert auf der iPhone 12-Serie und dem iPad Pro in allen mit ARKit erstellten Apps, ohne dass Entwickler ihren Code ändern müssen.

verbesserte Gesichtsverfolgung

In ARKit 5 ist es möglich, Gesichter mit der Frontkamera zu verfolgen, sodass Sie auch AR-Erlebnisse damit verwenden können. Es wird zusätzlich von der Ultraweitwinkelkamera des iPad Pro 2021 unterstützt. Mit der TrueDepth-Kamera können Sie dann drei Gesichter gleichzeitig verfolgen, beispielsweise in Snapchat und bei Verwendung von Memoji. Das Verfolgen mehrerer Gesichter wird auch für Center Stage verwendet, wo Sie beim Chatten immer im Bild bleiben. Weitere Erklärungen zum Face Tracking für Entwickler finden Sie hier.

die Gesichtsverfolgung über die Frontkamera funktioniert auf allen Geräten mit einem A12 Bionic-Chip, und die gleichzeitige Verfolgung von drei Gesichtern funktioniert auf dem iPad Pro 2021 und neuer.

Es gibt auch einige andere kleine Verbesserungen, z. B. einen neuen App-Clip-Code-Anker zum Anheften virtueller Inhalte aus Ihrem App-Clip oder Ihrer ARKit-App. Darüber hinaus ist es möglich, bis zu 100 Bilder gleichzeitig zu erkennen.

Unten sehen Sie ein Video von Apple über ARKit 5, das für Entwickler gedacht ist:

Augmented Reality mit ARKit

ARKit wurde während der WWDC von 2017 angekündigt und ist seit iOS 11 für iPhone und iPad verfügbar. AR zustand voor augmented reality, oftewel toegevoegde realiteit. Augmented Reality zie je Rosse meer in apps. Denken Sie an die Pokémon-Spiele in Pokémon Go oder an die virtuellen Spiele von Meubels in Ihrem eigenen Spiel. Met augmented reality voeg je een digitaal object toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daardoor net alsof het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Mehr über wat Augmented Reality precies ist, lees je in onderstaande gids.

Was ist ARKit?

ARKit ist Apples eigene Plattform für Augmented Reality. Entwickler können damit AR in Apps für iPhone und iPad integrieren. Dank der Tools von ARKit müssen Entwickler keine komplizierten Interaktionen selbst programmieren. Sie können die Bausteine verwenden, die Apple bereits erstellt hat. Es ist seit langem möglich, Anwendungen für Augmented Reality zu erstellen, aber ARKit macht es viel einfacher für Entwickler. Außerdem sieht es oft viel besser aus.

Für ARKit verwendet Apple eine Reihe von Techniken, einschließlich Visual Inertial Odometry (VIO). Mit dieser Technik kann die Umgebung gescannt werden. Durch die Kombination von VIO mit Bewegungsinformationen von den Sensoren im iOS-Gerät weiß das Gerät, wie Sie sich bewegen. Das Bild kann sich dann bewegen. Core Motion wird dafür verwendet.

Dank der Kamera in Ihrem iPhone und iPad kann ARKit horizontale und vertikale Oberflächen wie Tische, Böden und Wände erkennen. Alle Arten von virtuellen Objekten können auf diesen Ebenen platziert werden.

ARKit verwendet die Kamera auch, um die Lichtmenge und den Lichteinfall in einem Raum zu bestimmen. Auf dieser Grundlage kann das Bild so realistisch wie möglich gemacht werden. Das Objekt scheint tatsächlich in der Umgebung zu sein, mit den richtigen Schatten und dem gleichen Belichtungsgrad wie die anderen Objekte im Raum.

Apples AR-Tool funktioniert auch mit Metal, SceneKit und Tools von Drittanbietern wie Unity und Unreal Engine, zwei Tools, die häufig in der Spieleentwicklung verwendet werden.

Auf welchen Geräten funktioniert ARKit?

Augmented Reality benötigt die nötige Rechenleistung und funktioniert daher nicht auf jedem iPhone, iPad und iPod touch. Für die Grundfunktionen der Augmented Reality-Funktion ist ein iOS-Gerät mit mindestens A9-Prozessor erforderlich. Das heißt vom iPhone 6s und dem 9,7-Zoll iPad Pro.

die grundlegenden funktionen von ARKit arbeit auf die folgenden modelle:

• iPhone 6s und iPhone 6s Plus und neuer
• iPhone SE (erste Generation) und neuer
• iPad (2017) und neuer
• iPad Pro (alle Generationen)

Apple veröffentlicht regelmäßig Updates für ARKit. Dies wird in der Regel durch das jährliche große Software-Update begleitet, aber manchmal auch dazwischen. Die Geräte, die bestimmte Funktionen nutzen können, unterscheiden sich je nach ARKit-Version.

ARKit 4 sieht besser aus

Während der WWDC 2020 kündigte Apple ARKit 4 an. Hier sind die wichtigsten Neuerungen:

• Tiefe API
• Lage Anker
• verbesserte Gesicht Tracking

Tiefe API

mit die neue Tiefe API, entwickler können machen noch mehr detaillierte tiefe messungen mit die LiDAR Scanner in die iPad Pro. Informationen über die absolute Entfernung zu einem Objekt werden pro Pixel berechnet. Zusammen mit anderen AR-Tricks werden virtuelle Objekte besser im Raum platziert und sehen noch realistischer aus. Es dauert auch weniger Zeit, bis ein Objekt platziert wird.

Standortanker

Standortanker sind AR-Objekte, die von einer App an reale Standorte angeheftet werden können. Entwickler können dies mit genauen Koordinaten bestimmen. Benutzer können um diese Objekte herumgehen, als wären sie Museumsstücke. Eine realistische Anwendung für diese Technik ist für eine Stadtrundgang App. Wenn Sie beispielsweise durch eine mittelalterliche Stadt laufen, kann eine solche App Objekte ablegen, die den Anschein erwecken, als befänden Sie sich im Mittelalter. Apple sagt, dass dies nur in „bestimmten“ Städten verfügbar ist.

umfangreicheres Face Tracking

Face Tracking gab es bereits für ARKit, aber ab ARKit 4 funktioniert es auch mit der Selfie-Kamera. Sie können bis zu drei Gesichter gleichzeitig verfolgen. Damit ermöglicht es Ihr iPhone beispielsweise, beim Aufnehmen eines Fotos realistischere Filter über Ihr Gesicht zu kleben. Apple nennt Snapchat sogar als Beispiel für eine App, die dies nutzen kann. Es funktioniert für Geräte mit einem A12 Bionic Chip und neuer.

ARKit 3 und ARKit 3.5: Augmented Reality weiter verbessert

Es gab zwei Versionen von ARKit 3, nämlich Version 3 und 3.5. Unten können Sie über die Neuerungen lesen, die diese Versionen gebracht haben.

• Baukasten 3.5
• Baukasten 3

ARKit 3.5

in ARKit 3.5 hat Apple einige Teile verbessert, die sich zu dieser Zeit hauptsächlich auf den neuen LiDAR-Scanner auf dem iPad Pro konzentrierten.

Szenengeometrie

Mit dieser Funktion kann eine App eine geometrische Karte der Umgebung erstellen. Das Gerät erkennt Böden, Wände, Decken, Fenster, Türen und Stühle besser, sodass sich virtuelle Objekte besser in der tatsächlichen Umgebung positionieren können.

Instant AR

Eine Kalibrierung einer AR-App ist nicht mehr erforderlich, da die App dank des LiDAR-Scanners eine Umgebung direkt erkennt. Sie können sofort AR-Objekte in der Umgebung platzieren. Alle AR-Apps verwenden dies sofort auf dem neuesten iPad Pro.

Verbesserte Bewegungserfassung und Personenokklusion

Seit ARKit 3 sind sich Augmented-Reality-Apps der Menschen in der Umgebung bewusster. Infolgedessen erscheinen AR-Objekte sauber hinter einer Person, wenn sie vor ihnen geht. In Kombination mit ARKit 3.5 auf dem iPad Pro wurde dies weiter verbessert. Auch die Messung der Höhe wurde dank der verbesserten Bewegungserfassung weiter optimiert. Auch hier ist keine Änderung des Codes einer AR-App erforderlich.

ARKit 3

ARKit 3 ist Teil von iOS 13 und iPadOS 13 und erschien im Herbst 2019 für alle mit einem geeigneten Gerät. Es enthielt zwei wichtige Neuerungen: Die Möglichkeit, in einer AR-Umgebung herumzulaufen, und die Erfassung von Bewegungen. Darüber hinaus hat Apple die Tools RealityKit und Reality Composer veröffentlicht, die das Erstellen von AR-Apps erleichtern.

People Occlusion

Mit der neuen People Occlusion-Funktion können Sie Personen in einer App in Echtzeit herumlaufen lassen. Die Menschen sehen nicht mehr wie ein Geist aus, sondern können durch das Bild gehen. Objekte berücksichtigen dies ebenfalls und werden vor oder hinter der Person gesehen. Eine Person kann daher auch an einem sehr großen AR-Objekt vorbeilaufen und unsichtbar werden.

Motion Capture

Mit Motion Capture können Entwickler die Bewegung und Haltung von Personen erfassen und als Eingabe für ihre AR-Anwendungen verwenden. Auf diese Weise können Sie die Bewegung einer Person in Echtzeit mit einer anderen Kamera erfassen. Das iPhone versteht die Körperhaltung und wandelt sie in die Haltung einer Puppe um. Zuvor brauchten Sie dafür einen speziellen Anzug. Die Kamera überwacht die Position der Gliedmaßen und Gelenke.

gleichzeitige Verwendung der vorderen und hinteren Kamera

Seit ARKit 3 können Sie gleichzeitig die Gesichtserkennung und die Erkennung von Objekten in der realen Welt verwenden. Dies liegt daran, dass ARKit die Bilder von vorderen und hinteren Kameras kombinieren kann. Sie können beispielsweise Objekte mit Ihrem Gesicht steuern.

gemeinsames Arbeiten in AR-Spielen

mit sogenannten ‚Collaborative Sessions‘ könnt ihr eine gemeinsame Weltkarte erstellen, an der beide Spieler teilnehmen können. Dies erleichtert es Entwicklern, gemeinsame AR-Erlebnisse für Multiplayer-Spiele zu erstellen.

RealityKit

RealityKit ist ein Framework für Entwickler, um virtuelle Objekte einfacher mit der realen Welt zu verschmelzen. Sie werden automatisch im richtigen Maßstab auf mehreren Apple-Geräten angezeigt. Es steuert auch Netzwerkanforderungen und gemeinsame AR-Erfahrungen. Es enthält fotorealistische Effekte für die Umgebung und die Kamera, mehr Animationen und Audioeffekte. Es funktioniert nativ mit ARKit und verfügt über eine Swift-API.

Reality Composer

Mit Reality Composer können Entwickler interaktive Szenen mit voller AR-Unterstützung erstellen. Es gibt Hunderte von virtuellen Objekten, die sie in ihre Apps importieren können. Diese virtuellen Objekte können mit Animationen versehen werden und auf Bildschirmabgriffe, Nähe und andere Auslöser reagieren. Es kann in Xcode und als iOS-App verwendet werden.

ARKit 2

Während der WWDC 2018 kündigte Apple ARKit 2 an. ARKit 2 war Teil von iOS 12 und führte eine Reihe neuer Funktionen und Funktionen ein. Dies waren die wichtigsten Verbesserungen:

• gemeinsame Erfahrungen: Multiplayer AR
• persistent AR: AR später fortsetzen, ohne erneut zu starten
• Bilderkennung und -verfolgung: Erkennung von 3D-Objekten und realen Reflexionen
• USDZ: neues Dateiformat für Augmented Reality-Apps

Multiplayer-Spiele in AR

Seit ARKit 2 können Sie auch Multiplayer-Spiele in AR spielen. Zum Beispiel stehen Sie, jeder mit seinem eigenen iPad oder iPhone, einander gegenüber, während Sie Laser aufeinander schießen. Mit Ausnahme von Spielen funktioniert dies auch mit allen anderen AR-Apps. Denken Sie zum Beispiel an eine App, mit der Sie Ihr Zuhause neu dekorieren können. Entwickler haben auch die Möglichkeit, im Zuschauermodus zu bauen. Auf diese Weise können Sie sehen, wie ein AR-Spiel abläuft, ohne aktiv mitspielen zu müssen.

persistent AR

Dank einer Funktion namens persistent AR können Sie dort weitermachen, wo Sie aufgehört haben. Richten Sie Ihr Zuhause dank einer AR-App wieder ein, damit Sie sehen können, wie das neue Sofa oder der Esstisch in Ihrem Zuhause aussieht. Wenn Sie zu einem späteren Zeitpunkt weiter dekorieren möchten, müssen Sie mit Persistent AR nicht von vorne beginnen. Die virtuellen Objekte, die Sie über Ihr iPhone oder iPad in Ihrem Zuhause platzieren, bleiben einfach zurück. Dies ist auch nützlich, wenn Sie ein ganzes Kunstwerk in Augmented Reality erstellen.

Bilderkennung und -verfolgung

Seit ARKit 2 können neben nur horizontalen und vertikalen Flächen auch 3D-Objekte erkannt werden. Denken Sie zum Beispiel an Spielzeug. Zusätzlich können Reflexionen auf die in AR sichtbaren Objekte projiziert werden. Dank dieser Verbesserungen sollen die Effekte von AR noch realistischer als bisher sein. Apple veröffentlichte auch eine Mess-App zur Flächenmessung, die jedoch nur für horizontale und vertikale Entfernungen funktionierte.

US-Dollar:

Apple und Pixar haben das USDZ-Dateiformat entwickelt, das auf dem von Pixar erstellten Universal Scene Description System basiert. Dank USDZ können Websites, Apps und Designer 3D-Bilder erstellen, die auf dem iPhone und iPad zum Leben erweckt werden. USDZ funktioniert in Nachrichten, Safari, Mail, Dateien und mehr und erweckt diese Bilder in diesen Apps zum Leben. Wenn ein Webshop USDZ-Versionen seiner Produkte auf die Website stellt, können Sie diese Artikel dank Quick Look in der realen Welt platzieren. Sie müssen also keine ganze AR-App herunterladen, da dank USDZ nur das spezifische Objekt zum Leben erweckt wird. USDZ ist ein Open-Source-Format, sodass jeder damit beginnen kann.

Apps mit ARKit

Entwickler haben bereits eine ganze Reihe von Apps veröffentlicht, die ARKit verwenden. Von Apps, mit denen Sie eine Karte Ihres Hauses erstellen können, bis hin zu lustigen Spielen, in denen Sie ein kleines Flugzeug steuern. In der folgenden Anleitung haben wir eine Liste von Augmented Reality-Apps zusammengestellt, die ARKit verwenden, damit Sie selbst erleben können, wie ARKit genau funktioniert.