ARKit è la piattaforma di Apple voor augmented reality

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. E ‘ un gioco per tutti i giochi e le app per la produttività e per il passaggio. Zo kun je incontrato ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie è ARKit 4 in iOS 14 en iPadOS 14. Tra le altre cose, fa pieno uso del nuovo scanner LiDAR di iPad Pro.

di seguito puoi leggere cos’è ARKit e cosa puoi fare con esso.

• ARKit 5 in iOS 14
• Realtà aumentata
• che cos’è ARKit?
• dispositivi compatibili
• Applicazioni con ARKit
• ARKit 4 a iOS 14
• ARKit i 3 e i 3,5
• ARKit 2

nuovo iOS 15: ARKit 5

in iOS 15, Apple ha migliorato ulteriormente ARKit sui seguenti punti:

• posizione ancore a Londra
• migliorata Motion Tracking
• migliorata Face Tracking

posizione ancore a Londra

ora si ottiene Posizione ancore a Londra e in più città degli Stati Uniti. Ad esempio, è possibile creare le proprie esperienze AR in luoghi famosi come la ruota panoramica London Eye e Times Square. Può anche essere fatto nel tuo quartiere. Ancoraggi posizione sono stati già introdotti in ARKit 4, ma sono ora in più posti. Si posiziona le esperienze AR in luoghi specifici come città o luoghi. Sono collegati a una certa latitudine e longitudine e a un certo spazio. Altri possono camminare intorno agli oggetti virtuali e visualizzarli da diverse angolazioni, proprio come un oggetto reale.

funziona su iPhone XS, iPhone XS Max, iPhone XR e più recenti e solo in alcune città.

Motion Tracking migliorato

ARKit 5 offre anche una migliore Motion Tracking. È possibile catturare i movimenti di una certa persona in tempo reale con una singola telecamera. La fotocamera conosce la posizione del corpo e sa anche dove si trovano alcune articolazioni e ossa, pur essendo in grado di stimare la lunghezza del corpo.

funziona su iPhone 12 series e iPad Pro in tutte le app create con ARKit, senza richiedere agli sviluppatori di modificare il proprio codice.

Tracciamento volto migliorato

è possibile tracciare i volti con la fotocamera frontale in ARKit 5, in modo da poter utilizzare anche esperienze AR con esso. È inoltre supportato sulla fotocamera ultra-grandangolare su iPad Pro 2021. È quindi possibile tenere traccia di Tre facce allo stesso tempo con la fotocamera TrueDepth, ad esempio in Snapchat e quando si utilizza Memoji. Il monitoraggio di più volti viene utilizzato anche per il centro della scena, dove si rimane sempre nella foto durante la chat. Ulteriori spiegazioni sul Face Tracking per gli sviluppatori possono essere trovate qui.

face Tracking tramite la fotocamera frontale funziona su tutti i dispositivi con un chip Bionic A12, e il monitoraggio di tre facce in una sola volta funziona su iPad Pro 2021 e più recenti.

ci sono anche alcuni altri piccoli miglioramenti, come ad esempio un nuovo codice App Clip di ancoraggio per pin contenuto virtuale dal vostro App Clip o ARKit app. Inoltre, è possibile rilevare fino a 100 immagini alla volta.

di seguito potete vedere un video di Apple su ARKit 5, destinato agli sviluppatori:

augmented reality with ARKit

ARKit è stato annunciato durante il WWDC del 2017 ed è disponibile per iPhone e iPad da iOS 11. AR staat voor augmented reality, oftewel toegevoegde realiteit. Realtà aumentata zie je destrieri meer in applicazioni. In Pokémon Go di Het virtueel plaatsen van meubels in je eigen woning. Met realtà aumentata voeg je een digitaal oggetto toe aan de realiteit, dankzij de camera van je iPhone. E ‘ anche un oggetto, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer over wat realtà aumentata precies è, lees je in gids onderstaande.

Che cosa è ARKit?

ARKit è la piattaforma eigen di Apple per la realtà aumentata. Gli sviluppatori possono usarlo per costruire AR in applicazioni per iPhone e iPad. Grazie agli strumenti di ARKit, gli sviluppatori non devono programmare interazioni complicate da soli. Possono fare uso dei blocchi di costruzione che Apple ha già creato. È stato a lungo possibile creare applicazioni per la realtà aumentata, ma ARKit rende molto più facile per gli sviluppatori. Inoltre, sembra spesso molto meglio.

per ARKit, Apple utilizza una serie di tecniche, tra cui l’odometria inerziale visiva (VIO). Con questa tecnica, l’ambiente può essere scansionato. Combinando VIO con le informazioni di movimento dai sensori nel dispositivo iOS, il dispositivo sa come ti stai muovendo. L’immagine può quindi spostarsi. Core Motion è usato per questo.

grazie alla fotocamera del tuo iPhone e iPad, ARKit è in grado di riconoscere superfici orizzontali e verticali, come tavoli, pavimenti e pareti. Tutti i tipi di oggetti virtuali possono essere posizionati su questi piani.

ARKit utilizza anche la fotocamera per determinare la quantità di luce e l’incidenza della luce in una stanza. Sulla base di questo, l’immagine può essere resa il più realistica possibile. L’oggetto sembra effettivamente essere nell’ambiente, con le ombre giuste e lo stesso grado di esposizione degli altri oggetti nella stanza.

Lo strumento AR di Apple funziona anche con Metal, SceneKit e strumenti di terze parti come Unity e Unreal Engine, due strumenti comunemente usati nello sviluppo di giochi.

su quali dispositivi funziona ARKit?

La realtà aumentata richiede la potenza di elaborazione necessaria e quindi non funziona su tutti gli iPhone, iPad e iPod touch. Le funzioni di base della funzione di realtà aumentata richiede un dispositivo iOS con almeno processore A9. Ciò significa che da iPhone 6s e il 9,7 pollici iPad Pro.

le funzioni di base di ARKit lavorare sui seguenti modelli:

• iPhone 6s e iPhone 6s Plus e versioni successive
• iPhone SE (prima generazione) e versioni successive
• iPad (2017) e versioni successive
• iPad Pro (tutte le generazioni)

Apple rilascia regolarmente aggiornamenti per ARKit. Questo di solito è accompagnato dal principale aggiornamento software annuale, ma a volte anche in mezzo. I dispositivi che possono utilizzare determinate funzioni differiscono per versione ARKit.

ARKit 4 sembra migliore

durante la WWDC 2020, Apple ha annunciato ARKit 4. Ecco le principali innovazioni:

• Depth API
• Ancoraggi di posizione
• Tracciamento facciale migliorato

Depth API

con la nuova Depth API, gli sviluppatori possono effettuare misurazioni di profondità ancora più dettagliate con lo scanner LiDAR dell’iPad Pro. Le informazioni sulla distanza assoluta da un oggetto vengono calcolate per pixel. Insieme ad altri trucchi AR, gli oggetti virtuali sono meglio posizionati nello spazio e sembrano ancora più realistici. Ci vuole anche meno tempo per un oggetto da posizionare.

Ancore di posizione

Le ancore di posizione sono oggetti AR che possono essere bloccati in posizioni reali da un’app. Gli sviluppatori possono determinare questo con coordinate esatte. Gli utenti possono camminare intorno a questi oggetti come se fossero pezzi da museo. Un’applicazione realistica per questa tecnica è per una città a piedi app tour. Ad esempio, se si cammina attraverso una città medievale, tale applicazione può cadere oggetti che fanno sembrare come se foste nel Medioevo. Apple dice che questo è disponibile solo in” determinate ” città.

più ampia Face Tracking

Face Tracking esisteva già per ARKit, ma da ARKit 4 funziona anche con la fotocamera selfie. È possibile monitorare fino a tre facce contemporaneamente. Con esso, il tuo iPhone rende possibile, ad esempio, incollare filtri più realistici sul tuo viso mentre scatti una foto. Apple menziona anche Snapchat come esempio di un’app che può trarre vantaggio da questo. Funziona per i dispositivi con un A12 Bionic chip e più recente.

ARKit 3 e ARKit 3.5: augmented reality ulteriormente migliorata

ci sono state due versioni di ARKit 3, vale a dire la versione 3 e 3.5. Di seguito puoi leggere le innovazioni che queste versioni hanno portato.

• ARKit 3.5
• ARKit 3

ARKit 3.5

in ARKit 3.5, Apple ha migliorato alcune parti che erano principalmente focalizzate sul nuovo scanner LiDAR sull’iPad Pro all’epoca.

Geometria della scena

questa funzione consente a un’app di creare una mappa geometrica dell’ambiente. Il dispositivo è più consapevole di pavimenti, pareti, soffitti, finestre, porte e sedie, che consente agli oggetti virtuali di posizionarsi meglio nell’ambiente reale.

AR istantaneo

non è più necessario calibrare un’app AR, perché grazie allo scanner LiDAR, l’app riconosce direttamente un ambiente. È possibile posizionare immediatamente oggetti AR nell’ambiente. Tutte le app AR lo utilizzano immediatamente sull’ultimo iPad Pro.

miglioramento della cattura del movimento e dell’occlusione delle persone

da ARKit 3, le app di realtà aumentata sono più consapevoli delle persone che camminano nell’ambiente. Di conseguenza, gli oggetti AR appaiono ordinatamente dietro una persona quando cammina di fronte a loro. In combinazione con ARKit 3.5 su iPad Pro, questo è stato ulteriormente migliorato. Anche la misurazione dell’altezza è stata ulteriormente ottimizzata grazie al motion capture migliorato. Anche qui non è richiesta alcuna modifica nel codice di un’app AR.

ARKit 3

ARKit 3 fa parte di iOS 13 e iPadOS 13 ed è apparso nell’autunno di 2019 per tutti con un dispositivo adatto. Comprendeva due importanti innovazioni: permettere alle persone di camminare in un ambiente AR e catturare il movimento. Inoltre, Apple ha rilasciato gli strumenti RealityKit e Reality Composer, che rendono più facile la creazione di app AR.

Persone occlusione

la nuova funzione Persone occlusione significa che si può lasciare che le persone a piedi in un app in tempo reale. Le persone non sembrano più un fantasma, ma possono camminare attraverso l’immagine. Anche gli oggetti ne tengono conto e saranno visti di fronte o dietro la persona. Una persona può quindi anche camminare oltre un oggetto AR molto grande e diventare invisibile.

Motion capture

Motion capture consente agli sviluppatori di catturare il movimento e la postura delle persone e usarlo come input per le loro applicazioni AR. Ciò consente di catturare il movimento di una persona in tempo reale con un’altra fotocamera. L’iPhone capisce la posizione del corpo e lo converte nella postura di una bambola. In precedenza, avevi bisogno di un abito speciale per questo. La telecamera controlla la posizione degli arti e delle articolazioni.

uso simultaneo della fotocamera anteriore e posteriore

poiché ARKit 3, è possibile utilizzare contemporaneamente il riconoscimento facciale e il riconoscimento di oggetti nel mondo reale. Questo perché ARKit può combinare le immagini delle telecamere anteriori e posteriori. Ad esempio, puoi controllare gli oggetti con il tuo volto.

lavorare insieme nei giochi AR

con le cosiddette “sessioni collaborative” puoi costruire una mappa del mondo congiunta, in cui entrambi i giocatori possono partecipare. Ciò rende più facile per gli sviluppatori creare esperienze AR condivise per i giochi multiplayer.

RealityKit

RealityKit è un framework per gli sviluppatori per unire più facilmente oggetti virtuali con il mondo reale. Vengono visualizzati automaticamente alla scala corretta, su più dispositivi Apple. Controlla anche i requisiti di rete e le esperienze AR condivise. Esso comprende effetti fotorealistici per l’ambiente e la fotocamera, più animazioni ed effetti audio. Funziona in modo nativo con ARKit e ha un’API Swift.

Reality Composer

Reality Composer consente agli sviluppatori di creare scene interattive con il pieno supporto AR. Ci sono centinaia di oggetti virtuali disponibili per loro di importare nelle loro applicazioni. Questi oggetti virtuali possono essere dotati di animazioni e possono rispondere ai tocchi dello schermo, alla prossimità e ad altri trigger. Può essere utilizzato in Xcode e come app iOS.

ARKit 2

durante la WWDC 2018, Apple ha annunciato ARKit 2. ARKit 2 faceva parte di iOS 12 e ha introdotto una serie di nuove funzionalità e funzionalità. Questi sono stati i principali miglioramenti:

• esperienze condivise: multiplayer AR
• persistente AR: continuare AR più tardi senza ricominciare
• rilevamento e tracciamento delle immagini: rilevamento di oggetti 3D e riflessioni del mondo reale
• USDZ: nuovo formato di file per le app di realtà aumentata

giochi multiplayer in AR

da ARKit 2, puoi anche giocare a giochi multiplayer in AR. Ad esempio, ti trovi, ognuno con il proprio iPad o iPhone, uno di fronte all’altro mentre spari i laser l’uno contro l’altro. Fatta eccezione per i giochi, questo funziona anche con tutte le altre applicazioni AR. Ad esempio, pensa a un’app che ti consente di ridipingere la tua casa. Agli sviluppatori viene anche data l’opportunità di costruire in modalità spettatore. Questo ti permette di vedere come va un gioco AR, senza dover giocare attivamente insieme.

AR persistente

grazie a una funzione chiamata AR persistente, è possibile riprendere da dove si era interrotto. Imposta di nuovo la tua casa grazie a un’app AR, in modo da poter vedere come appare quel nuovo divano o tavolo da pranzo nella tua casa. Se si desidera continuare a decorare in un secondo momento, non c’è bisogno di ricominciare tutto da capo con AR persistente. Gli oggetti virtuali che si inserisce nella vostra casa tramite il vostro iPhone o iPad sono semplicemente lasciati alle spalle. Questo sarà anche utile quando si crea un’intera opera d’arte in realtà aumentata.

rilevamento e tracciamento delle immagini

da ARKit 2 è possibile rilevare anche oggetti 3D, oltre alle sole superfici orizzontali e verticali. Pensate ai giocattoli, per esempio. Inoltre, i riflessi possono essere proiettati sugli oggetti visibili in AR. Grazie a questi miglioramenti, gli effetti di AR dovrebbero essere ancora più realistici di prima. Apple ha anche rilasciato un’app di misurazione per misurare l’area, ma che ha funzionato solo per distanze orizzontali e verticali.

ZUS:

Apple e Pixar hanno sviluppato il formato di file USDZ, basato sul sistema di descrizione scena universale creato da Pixar. Grazie a USDZ, siti web, app e designer possono creare immagini 3D che prendono vita su iPhone e iPad. USDZ funziona in Messaggi, Safari, Mail, file e altro ancora, dando vita a queste immagini in quelle app. Se un negozio online mette le versioni USDZ dei suoi prodotti sul sito web, è possibile inserire questi elementi nel mondo reale grazie a Quick Look. Quindi non devi scaricare un’intera app AR, perché solo l’oggetto specifico prende vita grazie a USDZ. USDZ è un formato open-source, quindi chiunque può iniziare con esso.

App con ARKit

gli sviluppatori hanno già rilasciato un’intera gamma di app che utilizzano ARKit. Dalle app che ti permettono di creare una mappa della tua casa, ai giochi divertenti in cui controlli un piccolo aereo. Nella guida qui sotto, abbiamo compilato un elenco di applicazioni di realtà aumentata che utilizzano ARKit, in modo da poter sperimentare di persona esattamente come funziona ARKit.