ARKit este platforma Apple voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om Jocuri als om apps voor productiviteit en andere toepassingen. Zo kun je întâlnit ARKit laten zien hoe meubels în een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie este ARKit 4 în iOS 14 ro iPadOS 14. Printre altele, folosește pe deplin noul scaner LiDAR al iPad Pro.

mai jos puteți citi ce este ARKit și ce puteți face cu el.

• ARKit 5 în iOS 14
• realitate augmentată
• ce este ARKit?
• dispozitive compatibile
• aplicații cu ARKit
• ARKit 4 în iOS 14
• ARKit 3 și 3,5
• ARKit 2

nou în iOS 15: ARKit 5

în iOS 15, Apple a îmbunătățit în continuare ARKit pe următoarele puncte:

• ancore de localizare în Londra
• urmărire îmbunătățită a mișcării
• urmărire îmbunătățită a feței

ancore de localizare în Londra

acum obțineți ancore de localizare în Londra și în mai multe orașe din SUA. De exemplu, vă puteți crea propriile experiențe AR în locuri celebre precum London Eye Ferris wheel și Times Square. Se poate face și în propriul cartier. Ancorele de locație au fost deja introduse în ARKit 4, dar sunt acum în mai multe locuri. Plasați experiențele AR în locuri specifice, cum ar fi orașe sau obiective turistice. Ele sunt legate de o anumită latitudine și longitudine și de un anumit spațiu. Alții se pot plimba în jurul obiectelor virtuale și le pot vizualiza din unghiuri diferite, la fel ca un obiect real.

funcționează pe iPhone XS, iPhone Xs Max, iPhone XR și mai nou și numai în anumite orașe.

urmărirea îmbunătățită a mișcării

ARKit 5 oferă, de asemenea, urmărirea îmbunătățită a mișcării. Capturați mișcările unei anumite persoane în timp real cu o singură cameră. Camera cunoaște poziția corpului și, de asemenea, știe unde se află anumite articulații și oase, putând, de asemenea, să estimeze lungimea corpului.

aceasta funcționează pe seria iPhone 12 și iPad Pro în toate aplicațiile create cu ARKit, fără a necesita dezvoltatorilor să își modifice codul.

urmărire îmbunătățită a feței

este posibil să urmăriți fețele cu camera frontală din ARKit 5, astfel încât să puteți utiliza și experiențe AR cu aceasta. În plus, este acceptat pe camera cu unghi ultra-larg de pe iPad Pro 2021. Puteți urmări apoi trei fețe în același timp cu camera TrueDepth, de exemplu în Snapchat și când utilizați Memoji. Urmărirea mai multor fețe este, de asemenea, utilizată pentru etapa centrală, unde rămâneți mereu în imagine în timp ce discutați. Mai multe explicații despre urmărirea feței pentru dezvoltatori pot fi găsite aici.

urmărirea feței prin camera frontală funcționează pe toate dispozitivele cu un cip A12 Bionic, iar urmărirea a trei fețe simultan funcționează pe iPad Pro 2021 și mai nou.

există și alte mici îmbunătățiri, cum ar fi o nouă ancoră de cod pentru clip pentru a fixa conținutul virtual din clipul aplicației sau din aplicația ARKit. În plus, este posibil să se detecteze până la 100 de imagini simultan.

mai jos puteți vedea un videoclip de la Apple Despre ARKit 5, destinat dezvoltatorilor:

realitate augmentată cu ARKit

ARKit a fost anunțat în timpul WWDC din 2017 și este disponibil pentru iPhone și iPad de la iOS 11. Ar staat voor realitate augmentată, de multe ori toegevoegde realiteit. Realitatea augmentată zie je steeds meer în aplicații. Denk bijvoorbeeld aan het vangen van Pok Oktimon în Pok Oktimon du-te de het virtueel plaatsen van meubels în je eigen woning. Met realitate augmentată voeg je een digitaal obiect toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daardoor net alsof het obiect, bijvoorbeeld een meubelstuk, în je eigen huis staat. Meer peste wat Augmented Reality precies este, Lee je în onderstaande gids.

ce este ARKit?

ARKit este platforma Eigen a Apple voor realitate augmentată. Dezvoltatorii îl pot folosi pentru a construi AR în aplicații pentru iPhone și iPad. Datorită instrumentelor ARKit, dezvoltatorii nu trebuie să programeze singuri interacțiuni complicate. Ei pot folosi blocurile de construcție pe care Apple le-a creat deja. De mult timp a fost posibilă crearea de aplicații pentru realitatea augmentată, dar ARKit face mult mai ușor pentru dezvoltatori. În plus, de multe ori arată mult mai bine.

pentru ARKit, Apple folosește o serie de tehnici, inclusiv Odometria inerțială vizuală (VIO). Cu această tehnică, mediul poate fi scanat. Prin combinarea VIO cu informații de mișcare de la senzorii din dispozitivul iOS, dispozitivul știe cum vă deplasați. Imaginea se poate deplasa apoi. Pentru aceasta se folosește mișcarea de bază.

datorită camerei de pe iPhone și iPad, ARKit poate recunoaște suprafețele orizontale și verticale, cum ar fi mesele, podelele și pereții. Toate tipurile de obiecte virtuale pot fi plasate pe aceste planuri.

ARKit folosește, de asemenea, camera pentru a determina cantitatea de lumină și incidența luminii într-o cameră. Pe baza acestui fapt, imaginea poate fi făcută cât mai realistă posibil. Obiectul pare de fapt să fie în mediu, cu umbrele potrivite și același grad de expunere ca și celelalte obiecte din cameră.

instrumentul ar al Apple funcționează și cu instrumente metalice, SceneKit și terțe, cum ar fi Unity și Unreal Engine, două instrumente utilizate în mod obișnuit în dezvoltarea jocurilor.

pe ce dispozitive funcționează ARKit?

realitatea augmentată necesită puterea de procesare necesară și, prin urmare, nu funcționează pe fiecare iPhone, iPad și iPod touch. Funcțiile de bază ale funcției de realitate augmentată necesită un dispozitiv iOS cu cel puțin procesor A9. Asta înseamnă de la iPhone 6s și iPad Pro de 9,7 inci.

funcțiile de bază ale ARKit funcționează pe următoarele modele:

• iPhone 6s și iPhone 6s Plus și mai noi
• iPhone SE (prima generație) și mai noi
• iPad (2017) și mai noi
• iPad Pro (toate generațiile)

Apple lansează în mod regulat actualizări pentru ARKit. Acest lucru este de obicei însoțit de actualizarea anuală majoră a software-ului, dar uneori și între ele. Dispozitivele care pot utiliza anumite funcții diferă în funcție de versiunea ARKit.

ARKit 4 arată mai bine

în timpul WWDC 2020, Apple a anunțat ARKit 4. Iată principalele inovații:

• adâncime API
• ancore de locație
• urmărire îmbunătățită a feței

adâncime API

cu noul API adâncime, dezvoltatorii pot face măsurători de adâncime și mai detaliate cu scanerul LiDAR din iPad Pro. Informațiile despre distanța absolută față de un obiect sunt calculate pe pixel. Împreună cu alte trucuri AR, obiectele virtuale sunt mai bine plasate în spațiu și arată și mai realiste. De asemenea, este nevoie de mai puțin timp pentru ca un obiect să fie plasat.

ancore de locație

ancorele de locație sunt obiecte AR care pot fi fixate în locații reale de către o aplicație. Dezvoltatorii pot determina acest lucru cu coordonate exacte. Utilizatorii se pot plimba în jurul acestor obiecte ca și cum ar fi piese de muzeu. O aplicație realistă pentru această tehnică este pentru o aplicație tur de mers pe jos în oraș. De exemplu, dacă vă plimbați printr-un oraș medieval, o astfel de aplicație poate arunca obiecte care fac să pară că sunteți în Evul Mediu. Apple spune că acest lucru este disponibil numai în „anumite” orașe.

urmărire mai extinsă a feței

urmărirea feței exista deja pentru ARKit, dar de la ARKit 4 funcționează și cu camera selfie. Puteți urmări până la trei fețe simultan. Cu acesta, iPhone-ul dvs. face posibilă, de exemplu, lipirea unor filtre mai realiste pe față în timp ce faceți o fotografie. Apple menționează chiar Snapchat ca exemplu de aplicație care poate profita de acest lucru. Funcționează pentru dispozitive cu un cip A12 Bionic și mai nou.

ARKit 3 și ARKit 3.5: realitatea augmentată îmbunătățită în continuare

au existat două versiuni ale ARKit 3, și anume versiunea 3 și 3.5. Mai jos puteți citi despre inovațiile pe care le-au adus aceste versiuni.

• ARKit 3.5
• ARKit 3

ARKit 3.5

în ARKit 3.5, Apple a îmbunătățit unele părți care erau concentrate în principal pe noul scaner LiDAR de pe iPad Pro la acea vreme.

geometria scenei

această caracteristică permite unei aplicații să creeze o hartă geometrică a mediului. Dispozitivul este mai conștient de podele, pereți, tavane, ferestre, uși și scaune, ceea ce permite obiectelor virtuale să se poziționeze mai bine în mediul real.

Instant ar

nu mai este necesară calibrarea unei aplicații AR, deoarece datorită scanerului LiDAR, aplicația recunoaște direct un mediu. Puteți plasa imediat obiecte AR în mediu. Toate aplicațiile AR folosesc acest lucru imediat pe cel mai recent iPad Pro.

îmbunătățirea captării mișcării și a ocluziei persoanelor

de la ARKit 3, aplicațiile de realitate augmentată sunt mai conștiente de oamenii care se plimbă în jurul mediului. Drept urmare, obiectele AR apar perfect în spatele unei persoane atunci când merge în fața lor. În combinație cu ARKit 3.5 pe iPad Pro, Acest lucru a fost îmbunătățit în continuare. Măsurarea înălțimii a fost, de asemenea, optimizată în continuare datorită captării îmbunătățite a mișcării. Și aici nu este necesară nicio modificare a codului unei aplicații AR.

ARKit 3

ARKit 3 face parte din iOS 13 și iPadOS 13 și a apărut în toamna anului 2019 pentru toată lumea cu un dispozitiv adecvat. Acesta a inclus două inovații majore: permiterea oamenilor să se plimbe într-un mediu AR și captarea mișcării. În plus, Apple a lansat instrumentele RealityKit și Reality Composer, care facilitează crearea de aplicații AR.

oameni ocluzie

noua caracteristică oameni ocluzie înseamnă că puteți lăsa oamenii să se plimbe într-o aplicație în timp real. Oamenii nu mai arată ca o fantomă, ci pot merge prin imagine. Obiectele iau în considerare și acest lucru și vor fi văzute în fața sau în spatele persoanei. Prin urmare, o persoană poate trece și pe lângă un obiect AR foarte mare și poate deveni invizibilă.

Motion capture

Motion capture permite dezvoltatorilor să capteze mișcarea și postura oamenilor și să o folosească ca intrare pentru aplicațiile lor AR. Acest lucru vă permite să capturați mișcarea unei persoane în timp real cu o altă cameră. IPhone-ul înțelege poziția corpului și îl transformă în postura unei păpuși. Anterior, aveai nevoie de un costum special pentru asta. Camera monitorizează poziția membrelor și articulațiilor.

utilizarea simultană a camerei frontale și spate

de la ARKit 3, puteți utiliza simultan recunoașterea facială și recunoașterea obiectelor din lumea reală. Acest lucru se datorează faptului că ARKit poate combina imaginile camerelor din față și din spate. De exemplu, puteți controla obiectele cu fața.

lucrând împreună în jocuri AR

cu așa-numitele ‘sesiuni de colaborare’ puteți construi o hartă mondială comună, în care ambii jucători pot participa. Acest lucru face mai ușor pentru dezvoltatori să creeze experiențe ar partajate pentru jocurile multiplayer.

RealityKit

RealityKit este un cadru pentru dezvoltatori pentru a îmbina mai ușor obiecte virtuale cu lumea reală. Acestea sunt afișate automat la scara corectă, pe mai multe dispozitive Apple. De asemenea, controlează cerințele de rețea și experiențele AR partajate. Include efecte fotorealiste pentru mediu și cameră, mai multe animații și efecte audio. Funcționează nativ cu ARKit și are un API Swift.

Reality Composer

Reality Composer permite dezvoltatorilor să construiască scene interactive cu suport complet AR. Există sute de obiecte virtuale disponibile pentru a le importa în aplicațiile lor. Aceste obiecte virtuale pot fi prevăzute cu animații și pot răspunde la robinetele ecranului, proximitate și alte declanșatoare. Poate fi folosit în Xcode și ca aplicație iOS.

ARKit 2

în timpul WWDC 2018, Apple a anunțat ARKit 2. ARKit 2 a făcut parte din iOS 12 și a introdus o serie de funcții și capabilități noi. Acestea au fost principalele îmbunătățiri:

• experiențe partajate: multiplayer ar
• persistent ar: continuați AR mai târziu fără a începe din nou
• detectarea și urmărirea imaginilor:detectarea obiectelor 3D și a reflecțiilor din lumea reală
• USDZ: nou format de fișier pentru aplicații de realitate augmentată

jocuri multiplayer în AR

de la ARKit 2, puteți juca și jocuri multiplayer în AR. De exemplu, stai, fiecare cu propriul iPad sau iPhone, orientat unul spre celălalt în timp ce tragi lasere unul la celălalt. Cu excepția jocurilor, acest lucru funcționează și cu toate celelalte aplicații AR. De exemplu, gândiți-vă la o aplicație care vă permite să vă redecorați casa. Dezvoltatorii au, de asemenea, posibilitatea de a construi într-un mod spectator. Acest lucru vă permite să vedeți cum merge un joc AR, fără a fi nevoie să jucați activ.

ar persistent

datorită unei caracteristici numite ar persistent, puteți relua de unde ați rămas. Configurați-vă din nou casa datorită unei aplicații AR, astfel încât să puteți vedea cum arată noua canapea sau masa de luat masa în casa dvs. Dacă doriți să continuați decorarea mai târziu, nu trebuie să începeți din nou cu ar persistent. Obiectele virtuale pe care le plasați în casa dvs. prin iPhone sau iPad sunt pur și simplu lăsate în urmă. Acest lucru va fi util și atunci când creați o întreagă operă de artă în realitate augmentată.

detectarea și urmărirea imaginilor

de la ARKit 2, obiectele 3D pot fi detectate, pe lângă numai suprafețele orizontale și verticale. Gândiți-vă la jucării, de exemplu. În plus, reflexiile pot fi proiectate pe obiectele vizibile în AR. Datorită acestor îmbunătățiri, efectele AR ar trebui să fie și mai realiste decât înainte. Apple a lansat, de asemenea, o aplicație de măsurare pentru a măsura zona, dar care a funcționat doar pentru distanțe orizontale și verticale.

:

Apple și Pixar au dezvoltat formatul de fișier USDZ, bazat pe sistemul universal de descriere a scenei creat de Pixar. Datorită USDZ, site-urile web, aplicațiile și designerii pot crea imagini 3D care prind viață pe iPhone și iPad. USDZ funcționează în mesaje, Safari, Mail, fișiere și multe altele, dând viață acestor imagini în acele aplicații. Dacă un magazin web pune versiuni USDZ ale produselor sale pe site-ul web, puteți plasa aceste articole în lumea reală datorită Quick Look. Deci, nu trebuie să descărcați o întreagă aplicație AR, deoarece doar obiectul specific prinde viață datorită USDZ. USDZ este un format open-source, astfel încât oricine poate începe cu el.

aplicații cu ARKit

dezvoltatorii au lansat deja o gamă întreagă de aplicații care utilizează ARKit. De la aplicații care vă permit să creați o hartă a casei dvs., la jocuri amuzante în care controlați un avion mic. În ghidul de mai jos, am compilat o listă de aplicații de realitate augmentată care utilizează ARKit, astfel încât să puteți experimenta pentru dvs. exact cum funcționează ARKit.