ARKit är Apples plattform för augmented reality

Dankzij ARKit maakt Apple het för ontwikkelaars gemakkelijk om toepassingen för augmented reality te bouwen. Det är bra att spela spel om appar för produktivitet och andra resor. Det är en av de mest populära och mest populära. De nieuwste versie är ARKit 4 i iOS 14 sv iPadOS 14. Det utnyttjar bland annat den nya LiDAR-skannern på iPad Pro till fullo.

nedan kan du läsa vad ARKit är och vad du kan göra med det.

• ARKit 5 i iOS 14
• Augmented Reality
• vad är ARKit?
• kompatibla enheter
• appar med ARKit
• ARKit 4 i iOS 14
• ARKit 3 och 3.5
• ARKit 2

nytt i iOS 15: ARKit 5

i iOS 15 har Apple förbättrat ARKit ytterligare på följande punkter:

• platsankare i London
• förbättrad rörelsespårning
• förbättrad ansiktsspårning

platsankare i London

du får nu Platsankare i London och i fler amerikanska städer. Du kan till exempel skapa dina egna AR-upplevelser på kända platser som London Eye pariserhjul och Times Square. Det kan också göras i ditt eget grannskap. Platsankare introducerades redan i ARKit 4, men finns nu på fler platser. Du placerar ar-upplevelserna på specifika platser som städer eller attraktioner. De är kopplade till en viss latitud och longitud och ett visst utrymme. Andra kan gå runt de virtuella objekten och se dem från olika vinklar, precis som ett riktigt objekt.

det fungerar på iPhone XS, iPhone XS Max, iPhone XR och nyare och endast i vissa städer.

förbättrad rörelsespårning

ARKit 5 ger också förbättrad rörelsespårning. Du fångar en viss persons rörelser i realtid med en enda kamera. Kameran känner till kroppspositionen och vet också var vissa leder och ben finns, samtidigt som man kan uppskatta kroppslängden.

detta fungerar på iPhone 12-serien och iPad Pro i alla appar som skapats med ARKit, utan att utvecklare behöver ändra sin kod.

förbättrad ansiktsspårning

det är möjligt att spåra ansikten med den främre kameran i ARKit 5, så du kan också använda AR-upplevelser med den. Den stöds dessutom på ultra-vidvinkelkameran på iPad Pro 2021. Du kan sedan spåra tre ansikten samtidigt med TrueDepth-kameran, till exempel i Snapchat och när du använder Memoji. Spårning av flera ansikten används också för Center Stage, där du alltid stannar i bilden medan du chattar. Mer förklaringar om ansiktsspårning för utvecklare finns här.

ansiktsspårning via den främre kameran fungerar på alla enheter med ett A12 Bionic-chip, och spårning av tre ansikten samtidigt fungerar på iPad Pro 2021 och senare.

det finns också några andra små förbättringar, till exempel ett nytt Appklippskodankare för att fästa virtuellt innehåll från ditt Appklipp eller ARKit-app. Dessutom är det möjligt att upptäcka upp till 100 bilder åt gången.

nedan kan du se en video från Apple om ARKit 5, avsedd för utvecklare:

augmented reality med ARKit

ARKit tillkännagavs under WWDC 2017 och har varit tillgänglig för iPhone och iPad sedan iOS 11. AR staat voor augmented reality, oftewel toegevoegde realiteit. Augmented reality zie je hästar meer i appar. Denk bijvoorbeeld aan het vangen van Pok Occurmon i Pok Occurmon gå av het virtueel plaatsen van meubels i je eigen woning. Med förstärkt verklighet som ett digitalt objekt som kan realiseras, tack vare kameran från iPhone. Det är lätt att hitta ett nät som också är föremål för det, och det är viktigt att du har rätt att göra det. Meer över vad augmented reality precies är, läs je i onderstaande gids.

Vad är ARKit?

ARKit är Apples egen plattform för förstärkt verklighet. Utvecklare kan använda den för att bygga AR i appar för iPhone och iPad. Tack vare Arkits verktyg behöver utvecklare inte programmera komplicerade interaktioner själva. De kan använda de byggstenar som Apple redan har skapat. Det har länge varit möjligt att skapa applikationer för augmented reality, men ARKit gör det mycket lättare för utvecklare. Dessutom ser det ofta mycket bättre ut.

för ARKit använder Apple ett antal tekniker, inklusive visuell Tröghetsmätning (Vio). Med denna teknik kan miljön skannas. Genom att kombinera VIO med rörelseinformation från sensorerna i iOS-enheten vet enheten hur du rör dig. Bilden kan sedan röra sig längs. Core Motion används för detta.

tack vare kameran i din iPhone och iPad kan ARKit känna igen horisontella och vertikala ytor, som bord, golv och väggar. Alla typer av virtuella objekt kan placeras på dessa plan.

ARKit använder också kameran för att bestämma mängden ljus och förekomsten av ljus i ett rum. Baserat på detta kan bilden göras så realistisk som möjligt. Objektet verkar faktiskt vara i miljön, med rätt skuggor och samma exponeringsgrad som de andra föremålen i rummet.

Apples AR-verktyg fungerar också med Metal, SceneKit och tredjepartsverktyg som Unity och Unreal Engine, två verktyg som vanligtvis används i spelutveckling.

på vilka enheter fungerar ARKit?

Augmented Reality kräver nödvändig processorkraft och fungerar därför inte på alla iPhone, iPad och iPod touch. De grundläggande funktionerna i augmented reality-funktionen kräver en iOS-enhet med minst A9-processor. Det betyder från iPhone 6s och 9, 7-tums iPad Pro.

de grundläggande funktionerna i ARKit fungerar på följande modeller:

• iPhone 6s och iPhone 6s Plus och nyare
• iPhone SE (första generationen) och nyare
• iPad (2017) och nyare
• iPad Pro (alla generationer)

Apple släpper regelbundet uppdateringar för ARKit. Detta åtföljs vanligtvis av den årliga stora programuppdateringen, men ibland också däremellan. Enheterna som kan använda vissa funktioner skiljer sig åt per ARKit-version.

ARKit 4 ser bättre ut

under WWDC 2020 meddelade Apple ARKit 4. Här är de viktigaste innovationerna:

• djup API
• Platsankare
• förbättrad ansiktsspårning

djup API

med det nya djup API kan utvecklare göra ännu mer detaljerade djupmätningar med LiDAR-skannern i iPad Pro. Information om det absoluta avståndet till ett objekt beräknas per pixel. Tillsammans med andra AR-tricks är virtuella objekt bättre placerade i rymden och ser ännu mer realistiska ut. Det tar också mindre tid för ett objekt att placeras.

Platsankare

Platsankare är AR-objekt som kan fästas på riktiga platser av en app. Utvecklare kan bestämma detta med exakta koordinater. Användare kan gå runt dessa objekt som om de var museumstycken. En realistisk applikation för denna teknik är för en stadsvandringsapp. Om du till exempel går genom en medeltida stad kan en sådan app släppa föremål som gör att det verkar som om du är på medeltiden. Apple säger att detta endast är tillgängligt i” vissa ” städer.

mer omfattande ansiktsspårning

ansiktsspårning fanns redan för ARKit, men från ARKit 4 fungerar det också med selfie-kameran. Du kan spåra upp till tre ansikten samtidigt. Med den gör din iPhone det till exempel möjligt att klistra in mer realistiska filter över ansiktet medan du tar ett foto. Apple nämner till och med Snapchat som ett exempel på en app som kan dra nytta av detta. Det fungerar för enheter med ett A12 Bionic-chip och nyare.

ARKit 3 och ARKit 3.5: augmented reality ytterligare förbättrad

det har funnits två versioner av ARKit 3, nämligen version 3 och 3.5. Nedan kan du läsa om de innovationer som dessa versioner medförde.

• ARKit 3,5
• ARKit 3

ARKit 3.5

i ARKit 3.5 förbättrade Apple vissa delar som huvudsakligen var inriktade på den nya LiDAR-skannern på iPad Pro vid den tiden.

Scengeometri

med den här funktionen kan en app skapa en geometrisk karta över miljön. Enheten är mer medveten om golv, väggar, tak, fönster, dörrar och stolar, vilket gör att virtuella föremål bättre kan positionera sig i den faktiska miljön.

Instant AR

det är inte längre nödvändigt att kalibrera en AR-app, eftersom appen tack vare LiDAR-skannern känner igen en miljö direkt. Du kan omedelbart placera AR-objekt i miljön. Alla AR-appar använder detta direkt på den senaste iPad Pro.

förbättrad Motion Capture och People Occlusion

sedan ARKit 3 är augmented reality-appar mer medvetna om människor som går runt i miljön. Som ett resultat visas AR-föremål snyggt bakom en person när han går framför dem. I kombination med ARKit 3.5 på iPad Pro har detta förbättrats ytterligare. Mätningen av höjden har också optimerats ytterligare tack vare den förbättrade rörelseinspelningen. Även här krävs ingen ändring i koden för en AR-app.

ARKit 3

ARKit 3 är en del av iOS 13 och ipados 13 och dök upp hösten 2019 för alla med en lämplig enhet. Det inkluderade två stora innovationer: att låta människor gå runt i en AR-miljö och fånga rörelse. Dessutom släppte Apple verktygen RealityKit och Reality Composer, vilket gör det lättare att skapa AR-appar.

människor ocklusion

den nya människor ocklusion funktionen innebär att du kan låta folk gå runt i en app i realtid. Människor ser inte längre ut som ett spöke, men kan gå igenom bilden. Objekt tar också hänsyn till detta och kommer att ses framför eller bakom personen. En person kan därför också gå förbi ett mycket stort AR-objekt och bli osynligt.

Motion capture

Motion capture tillåter utvecklare att fånga människors rörelse och hållning och använda den som input för sina AR-applikationer. Detta gör att du kan fånga en persons rörelse i realtid med en annan kamera. IPhone förstår kroppspositionen och omvandlar den till en dockas hållning. Tidigare behövde du en speciell kostym för detta. Kameran övervakar läget på benen och lederna.

samtidig användning av främre och bakre kamera

sedan ARKit 3 kan du samtidigt använda ansiktsigenkänning och erkännande av objekt i den verkliga världen. Detta beror på att ARKit kan kombinera bilderna på främre och bakre kameror. Du kan till exempel styra objekt med ditt ansikte.

arbeta tillsammans i AR-spel

med så kallade ’samarbetssessioner’ kan du bygga en gemensam världskarta där båda spelarna kan delta. Detta gör det lättare för utvecklare att skapa delade AR-upplevelser för multiplayer-spel.

RealityKit

RealityKit är ett ramverk för utvecklare att lättare slå samman virtuella objekt med den verkliga världen. De visas automatiskt i rätt skala på flera Apple-enheter. Det styr också nätverkskrav och delade AR-upplevelser. Den innehåller fotorealistiska effekter för miljön och kameran, fler animationer och ljudeffekter. Det fungerar inbyggt med ARKit och har ett Swift API.

Reality Composer

Reality Composer tillåter utvecklare att bygga interaktiva scener med fullt AR-stöd. Det finns hundratals virtuella objekt tillgängliga för dem att importera till sina appar. Dessa virtuella objekt kan förses med animationer och kan svara på skärmkranar, närhet och andra utlösare. Den kan användas i Xcode och som en iOS-app.

ARKit 2

under WWDC 2018 meddelade Apple ARKit 2. ARKit 2 var en del av iOS 12 och introducerade ett antal nya funktioner och funktioner. Dessa var de viktigaste förbättringarna:

• delade erfarenheter: multiplayer AR
• ihållande AR: fortsätt AR senare utan att starta igen
• bilddetektering och spårning: detektering av 3D-objekt och verkliga reflektioner
• USDZ: nytt filformat för augmented reality apps

multiplayer spel i AR

eftersom ARKit 2, Du kan också spela multiplayer spel i AR. Till exempel står du, var och en med sin egen iPad eller iPhone, mot varandra medan du fotograferar lasrar på varandra. Förutom spel fungerar detta också med alla andra AR-appar. Tänk till exempel på en app som låter dig inreda ditt hem. Utvecklare ges också möjlighet att bygga i ett åskådarläge. Detta gör att du kan se hur ett AR-spel går utan att behöva spela aktivt.

persistent AR

tack vare en funktion som heter persistent AR kan du fortsätta där du slutade. Ställ in ditt hem igen tack vare en AR-app så att du kan se hur den nya soffan eller matbordet ser ut i ditt hem. Om du vill fortsätta dekorera vid ett senare tillfälle behöver du inte börja om igen med ihållande AR. De virtuella objekten som du placerar i ditt hem via din iPhone eller iPad är helt enkelt kvar. Detta kommer också att vara till nytta när man skapar ett helt konstverk i augmented reality.

bilddetektering och spårning

sedan ARKit 2 kan 3D-objekt också detekteras, förutom endast horisontella och vertikala ytor. Tänk på leksaker, till exempel. Dessutom kan reflektioner projiceras på de objekt som är synliga i AR. Tack vare dessa förbättringar bör effekterna av AR vara ännu mer realistiska än tidigare. Apple släppte också en mätapp för att mäta området, men det fungerade bara för horisontella och vertikala avstånd.

USDZ:

Apple och Pixar utvecklade USDZ-filformatet, baserat på det universella Scenbeskrivningssystemet skapat av Pixar. Tack vare USDZ kan webbplatser, appar och designers skapa 3D-bilder som kommer till liv på iPhone och iPad. USDZ fungerar i meddelanden, Safari, Mail, filer och mer, vilket ger dessa bilder liv i dessa appar. Om en webbshop lägger usdz-versioner av sina produkter på webbplatsen kan du placera dessa artiklar i den verkliga världen tack vare Quick Look. Så du behöver inte ladda ner en hel AR-app, för bara det specifika objektet kommer till liv tack vare USDZ. USDZ är ett open source-format, så vem som helst kan komma igång med det.

appar med ARKit

utvecklare har redan släppt en hel rad appar som använder ARKit. Från appar som låter dig skapa en karta över ditt hem, till roliga spel där du styr ett litet plan. I guiden nedan har vi sammanställt en lista över augmented reality-appar som använder ARKit, så att du själv kan uppleva exakt hur ARKit fungerar.