ARKit est la plate-forme d’Apple pour la réalité augmentée

Dankzij ARKit maakt Apple pour les applications de réalité augmentée. Les applications pour la productivité et les loisirs. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie est ARKit 4 dans iOS 14 en iPadOS 14. Entre autres choses, il utilise pleinement le nouveau scanner LiDAR de l’iPad Pro.

ci-dessous, vous pouvez lire ce qu’est ARKit et ce que vous pouvez en faire.

• ARKit 5 dans iOS 14
• Réalité augmentée
• qu’est-ce qu’ARKit?
• appareils compatibles
• Applications avec ARKit
• ARKit 4 dans iOS 14
• ARKit 3 et 3.5
• ARKit 2

nouveau dans iOS 15: ARKit 5

dans iOS 15, Apple a encore amélioré ARKit sur les points suivants:

• ancres de localisation à Londres
• Suivi de mouvement amélioré
• Suivi de visage amélioré

ancres de localisation à Londres

vous obtenez maintenant des ancres de localisation à Londres et dans d’autres villes américaines. Par exemple, vous pouvez créer vos propres expériences de réalité augmentée dans des endroits célèbres comme la Grande roue du London Eye et Times Square. Cela peut également être fait dans votre propre quartier. Les ancres de localisation ont déjà été introduites dans ARKit 4, mais se trouvent maintenant à plus d’endroits. Vous placez les expériences de RA dans des endroits spécifiques tels que des villes ou des sites touristiques. Ils sont liés à une certaine latitude et longitude et à un certain espace. D’autres peuvent se promener autour des objets virtuels et les voir sous différents angles, tout comme un objet réel.

il fonctionne sur iPhone XS, iPhone XS Max, iPhone XR et plus récents et uniquement dans certaines villes.

Suivi de mouvement amélioré

ARKit 5 fournit également un suivi de mouvement amélioré. Vous capturez les mouvements d’une certaine personne en temps réel avec une seule caméra. La caméra connaît la position du corps et sait également où se trouvent certaines articulations et certains os, tout en pouvant estimer la longueur du corps.

cela fonctionne sur les séries iPhone 12 et iPad Pro dans toutes les applications créées avec ARKit, sans obliger les développeurs à modifier leur code.

Suivi des visages amélioré

il est possible de suivre les visages avec la caméra frontale dans ARKit 5, de sorte que vous pouvez également utiliser des expériences de réalité augmentée avec elle. Il est en outre pris en charge sur la caméra ultra grand angle de l’iPad Pro 2021. Vous pouvez ensuite suivre trois visages en même temps avec la caméra TrueDepth, par exemple dans Snapchat et lors de l’utilisation de Memoji. Le suivi de plusieurs visages est également utilisé pour la scène centrale, où vous restez toujours dans l’image tout en discutant. Plus d’explications sur le suivi des visages pour les développeurs peuvent être trouvées ici.

le suivi des visages via la caméra frontale fonctionne sur tous les appareils dotés d’une puce A12 Bionic, et le suivi de trois visages à la fois fonctionne sur l’iPad Pro 2021 et les versions ultérieures.

il existe également d’autres petites améliorations, telles qu’une nouvelle ancre de code de Clip d’application pour épingler le contenu virtuel de votre Clip d’application ou de l’application ARKit. De plus, il est possible de détecter jusqu’à 100 images à la fois.

ci-dessous vous pouvez voir une vidéo d’Apple sur ARKit 5, destinée aux développeurs:

réalité augmentée avec ARKit

ARKit a été annoncé lors de la WWDC de 2017 et est disponible pour l’iPhone et l’iPad depuis iOS 11. AR staat pour la réalité augmentée, oftewel toegevoegde realiteit. La réalité augmentée zie je dirige meer dans les applications. Il est possible de trouver des Pokémon dans Pokémon Go de het virtueel plaatsen van meubels dans je eigen woning. La réalité augmentée est un objet numérique destiné à la réalité, à la caméra et à l’iPhone. Het lijkt daardoor net also of het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer over wat precies de réalité augmentée est, je lees dans onderstaande gids.

Est-ce ARKit?

ARKit est la plate-forme propre d’Apple pour la réalité augmentée. Les développeurs peuvent l’utiliser pour créer de la RA dans des applications pour iPhone et iPad. Grâce aux outils d’ARKit, les développeurs n’ont pas à programmer eux-mêmes des interactions compliquées. Ils peuvent utiliser les blocs de construction qu’Apple a déjà créés. Il a longtemps été possible de créer des applications pour la réalité augmentée, mais ARKit le rend beaucoup plus facile pour les développeurs. De plus, cela semble souvent beaucoup mieux.

pour ARKit, Apple utilise un certain nombre de techniques, y compris l’odométrie Inertielle visuelle (VIO). Avec cette technique, l’environnement peut être scanné. En combinant VIO avec les informations de mouvement des capteurs de l’appareil iOS, l’appareil sait comment vous vous déplacez. L’image peut alors se déplacer. Le mouvement de base est utilisé pour cela.

grâce à l’appareil photo de votre iPhone et iPad, ARKit peut reconnaître les surfaces horizontales et verticales, telles que les tables, les sols et les murs. Toutes sortes d’objets virtuels peuvent être placés sur ces plans.

ARKit utilise également la caméra pour déterminer la quantité de lumière et l’incidence de la lumière dans une pièce. Sur cette base, l’image peut être rendue aussi réaliste que possible. L’objet semble en fait être dans l’environnement, avec les bonnes ombres et le même degré d’exposition que les autres objets de la pièce.

L’outil de réalité augmentée d’Apple fonctionne également avec Metal, SceneKit et des outils tiers tels que Unity et Unreal Engine, deux outils couramment utilisés dans le développement de jeux.

sur quels appareils ARKit fonctionne-t-il ?

La réalité augmentée nécessite la puissance de traitement nécessaire et ne fonctionne donc pas sur tous les iPhone, iPad et iPod touch. Les fonctions de base de la fonction de réalité augmentée nécessitent un appareil iOS avec au moins un processeur A9. Cela signifie à partir de l’iPhone 6s et de l’iPad Pro de 9,7 pouces.

les fonctions de base d’ARKit fonctionnent sur les modèles suivants:

• iPhone 6s et iPhone 6s Plus et plus récents
• iPhone SE (première génération) et plus récents
• iPad (2017) et plus récents
• iPad Pro (toutes générations confondues)

Apple publie régulièrement des mises à jour pour ARKit. Cela s’accompagne généralement de la mise à jour logicielle majeure annuelle, mais parfois aussi entre les deux. Les appareils pouvant utiliser certaines fonctions diffèrent selon la version d’ARKit.

ARKit 4 semble mieux

lors de la WWDC 2020, Apple a annoncé ARKit 4. Voici les principales innovations:

• API de profondeur
• Ancres de localisation
• Suivi du visage amélioré

API de profondeur

avec la nouvelle API de profondeur, les développeurs peuvent effectuer des mesures de profondeur encore plus détaillées avec le scanner LiDAR de l’iPad Pro. Les informations sur la distance absolue à un objet sont calculées par pixel. Avec d’autres astuces AR, les objets virtuels sont mieux placés dans l’espace et semblent encore plus réalistes. Il faut également moins de temps pour qu’un objet soit placé.

Ancres de localisation

Les ancres de localisation sont des objets AR qui peuvent être épinglés à des emplacements réels par une application. Les développeurs peuvent le déterminer avec des coordonnées exactes. Les utilisateurs peuvent se promener autour de ces objets comme s’ils étaient des pièces de musée. Une application réaliste pour cette technique est pour une application de visite à pied de la ville. Par exemple, si vous vous promenez dans une ville médiévale, une telle application peut déposer des objets qui donnent l’impression que vous êtes au Moyen Âge. Apple dit que cela n’est disponible que dans « certaines » villes.

Suivi du visage plus étendu

Le suivi du visage existait déjà pour ARKit, mais à partir d’ARKit 4, il fonctionne également avec la caméra selfie. Vous pouvez suivre jusqu’à trois visages à la fois. Avec lui, votre iPhone permet, par exemple, de coller des filtres plus réalistes sur votre visage tout en prenant une photo. Apple mentionne même Snapchat comme un exemple d’application qui peut en profiter. Il fonctionne pour les appareils dotés d’une puce bionique A12 et plus récents.

ARKit 3 et ARKit 3.5: la réalité augmentée encore améliorée

il existe deux versions d’ARKit 3, à savoir la version 3 et la version 3.5. Vous trouverez ci-dessous des informations sur les innovations apportées par ces versions.

• ARKit 3.5
• ARKit 3

ARKit 3.5

dans ARKit 3.5, Apple a amélioré certaines parties qui étaient principalement axées sur le nouveau scanner LiDAR de l’iPad Pro à l’époque.

Géométrie de scène

cette fonctionnalité permet à une application de créer une carte géométrique de l’environnement. L’appareil est plus conscient des sols, des murs, des plafonds, des fenêtres, des portes et des chaises, ce qui permet aux objets virtuels de mieux se positionner dans l’environnement réel.

AR instantanée

il n’est plus nécessaire de calibrer une application AR, car grâce au scanner LiDAR, l’application reconnaît directement un environnement. Vous pouvez immédiatement placer des objets AR dans l’environnement. Toutes les applications de RA l’utilisent immédiatement sur le dernier iPad Pro.

amélioration de la capture de mouvement et de l’occlusion des personnes

depuis ARKit 3, les applications de réalité augmentée sont plus conscientes des personnes qui se promènent dans l’environnement. En conséquence, les objets AR apparaissent soigneusement derrière une personne lorsqu’elle marche devant eux. En combinaison avec ARKit 3.5 sur l’iPad Pro, cela a été encore amélioré. La mesure de la hauteur a également été optimisée grâce à la capture de mouvement améliorée. Ici aussi, aucun changement dans le code d’une application de RA n’est requis.

ARKit 3

ARKit 3 fait partie d’iOS 13 et d’iPadOS 13 et est apparu à l’automne 2019 pour tout le monde avec un appareil adapté. Il comprenait deux innovations majeures: permettre aux gens de se promener dans un environnement de réalité augmentée et capturer le mouvement. En outre, Apple a publié les outils RealityKit et Reality Composer, qui facilitent la création d’applications AR.

Occlusion des personnes

la nouvelle fonctionnalité d’occlusion des personnes signifie que vous pouvez laisser les gens se promener dans une application en temps réel. Les gens ne ressemblent plus à un fantôme, mais peuvent traverser l’image. Les objets en tiennent également compte et seront vus devant ou derrière la personne. Une personne peut donc également passer devant un très grand objet AR et devenir invisible.

Capture de mouvement

La capture de mouvement permet aux développeurs de capturer les mouvements et la posture des personnes et de les utiliser comme entrée pour leurs applications de réalité augmentée. Cela vous permet de capturer le mouvement d’une personne en temps réel avec un autre appareil photo. L’iPhone comprend la position du corps et la convertit en posture de poupée. Auparavant, vous aviez besoin d’un costume spécial pour cela. La caméra surveille la position des membres et des articulations.

utilisation simultanée de la caméra avant et arrière

depuis ARKit 3, vous pouvez utiliser simultanément la reconnaissance faciale et la reconnaissance d’objets dans le monde réel. En effet, ARKit peut combiner les images des caméras avant et arrière. Par exemple, vous pouvez contrôler des objets avec votre visage.

travailler ensemble dans des jeux AR

avec ce qu’on appelle des « sessions collaboratives », vous pouvez construire une carte du monde commune, à laquelle les deux joueurs peuvent participer. Cela permet aux développeurs de créer plus facilement des expériences de RA partagées pour les jeux multijoueurs.

RealityKit

RealityKit est un framework permettant aux développeurs de fusionner plus facilement des objets virtuels avec le monde réel. Ils sont automatiquement affichés à la bonne échelle, sur plusieurs appareils Apple. Il contrôle également les exigences du réseau et les expériences de RA partagées. Il comprend des effets photoréalistes pour l’environnement et la caméra, plus d’animations et d’effets audio. Il fonctionne nativement avec ARKit et dispose d’une API Swift.

Reality Composer

Reality Composer permet aux développeurs de créer des scènes interactives avec une prise en charge complète de la réalité augmentée. Il existe des centaines d’objets virtuels à importer dans leurs applications. Ces objets virtuels peuvent être dotés d’animations et peuvent répondre aux prises d’écran, à la proximité et à d’autres déclencheurs. Il peut être utilisé dans Xcode et en tant qu’application iOS.

ARKit 2

lors de la WWDC 2018, Apple a annoncé ARKit 2. ARKit 2 faisait partie d’iOS 12 et a introduit un certain nombre de nouvelles fonctionnalités et capacités. Ce sont les principales améliorations:

• expériences partagées : AR multijoueur
• AR persistant : continuez l’AR plus tard sans recommencer
• détection et suivi d’images: détection d’objets 3D et de réflexions réelles
• USDZ: nouveau format de fichier pour les applications de réalité augmentée

jeux multijoueurs en AR

depuis ARKit 2, vous pouvez également jouer à des jeux multijoueurs en AR. Par exemple, vous vous tenez, chacun avec son propre iPad ou iPhone, face à face tout en tirant des lasers l’un sur l’autre. À l’exception des jeux, cela fonctionne également avec toutes les autres applications AR. Par exemple, pensez à une application qui vous permet de redécorer votre maison. Les développeurs ont également la possibilité de construire en mode spectateur. Cela vous permet de voir comment se déroule un jeu de RA, sans avoir à jouer activement.

AR persistante

grâce à une fonctionnalité appelée AR persistante, vous pouvez reprendre là où vous vous étiez arrêté. Configurez à nouveau votre maison grâce à une application de réalité augmentée, afin que vous puissiez voir à quoi ressemble ce nouveau canapé ou cette nouvelle table à manger dans votre maison. Si vous souhaitez continuer à décorer plus tard, vous n’avez pas à tout recommencer avec une AR persistante. Les objets virtuels que vous placez dans votre maison via votre iPhone ou iPad sont simplement laissés pour compte. Cela sera également utile lors de la création d’une œuvre d’art entière en réalité augmentée.

détection et suivi d’images

depuis ARKit 2, les objets 3D peuvent également être détectés, en plus des surfaces horizontales et verticales uniquement. Pensez aux jouets, par exemple. De plus, des réflexions peuvent être projetées sur les objets visibles en AR. Grâce à ces améliorations, les effets de la RA devraient être encore plus réalistes qu’auparavant. Apple a également publié une application de mesure pour mesurer la surface, mais cela ne fonctionnait que pour les distances horizontales et verticales.

USDZ:

Apple et Pixar ont développé le format de fichier USDZ, basé sur le système de description de scène universel créé par Pixar. Grâce à l’USDZ, les sites Web, les applications et les concepteurs peuvent créer des images 3D qui prennent vie sur iPhone et iPad. USDZ fonctionne dans Messages, Safari, Mail, Fichiers, etc., donnant vie à ces images dans ces applications. Si une boutique en ligne met des versions USDZ de ses produits sur le site Web, vous pouvez placer ces articles dans le monde réel grâce à Quick Look. Vous n’avez donc pas à télécharger une application AR complète, car seul l’objet spécifique prend vie grâce à USDZ. USDZ est un format open source, donc tout le monde peut commencer avec lui.

Applications avec ARKit

les développeurs ont déjà publié toute une gamme d’applications utilisant ARKit. Des applications qui vous permettent de créer une carte de votre maison aux jeux amusants dans lesquels vous contrôlez un petit avion. Dans le guide ci-dessous, nous avons compilé une liste d’applications de réalité augmentée qui utilisent ARKit, afin que vous puissiez découvrir par vous-même exactement comment fonctionne ARKit.