ARKit é a plataforma da Apple voor de realidade aumentada

Dankzij ARKit maakt Apple voor het ontwikkelaars gemakkelijk om toepassingen voor de realidade aumentada te bouwen. Het gaat zowel om games als om apps voor productiviteit en andere toepassingen. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eruit zien, nog voordat je ze aanschaft. De nieuwste versie is ARKit 4 in iOS 14 en iPadOS 14. Entre outras coisas, faz pleno uso do novo scanner LiDAR do iPad Pro.

abaixo você pode ler o que é ARKit e o que você pode fazer com ele.

• ARKit 5 no iOS 14
• Realidade Aumentada
• o que é ARKit?
• dispositivos compatíveis
• Aplicativos com ARKit
• ARKit 4 no iOS 14
• ARKit 3 e 3,5
• ARKit 2

de novo no iOS 15: ARKit 5

no iOS 15, a Apple melhorou a ARKit sobre os seguintes pontos:

• localização âncoras em Londres
• melhor Rastreamento de Movimento
• melhor Rastreamento de Face

localização âncoras em Londres

agora você pode obter a Localização Âncoras em Londres e em mais cidades dos EUA. Por exemplo, você pode criar suas próprias experiências de RA em lugares famosos como o London Eye Ferris wheel e Times Square. Isso também pode ser feito em seu próprio bairro. As âncoras de localização já foram introduzidas no ARKit 4, mas agora estão em mais lugares. Você coloca as experiências AR em lugares específicos, como cidades ou pontos turísticos. Eles estão ligados a uma certa latitude e longitude e um certo espaço. Outros podem andar ao redor dos objetos virtuais e visualizá-los de diferentes ângulos, assim como um objeto real.

funciona no iPhone XS, iPhone XS Max, iPhone XR e mais recente e apenas em certas cidades.

rastreamento de movimento aprimorado

ARKit 5 também fornece rastreamento de movimento aprimorado. Você captura os movimentos de uma determinada pessoa em tempo real com uma única câmera. A câmera conhece a posição do corpo e também sabe onde certas articulações e ossos estão localizados, além de poder estimar o comprimento do corpo.

isso funciona no iPhone 12 series e iPad Pro em todos os aplicativos criados com ARKit, sem exigir que os desenvolvedores modifiquem seu código.

rastreamento de rosto aprimorado

é possível rastrear rostos com a câmera frontal no ARKit 5, para que você também possa usar experiências AR com ele. Além disso, é compatível com a câmera ultra grande angular do iPad pro 2021. Você pode rastrear três Faces ao mesmo tempo com a câmera TrueDepth, por exemplo, no Snapchat e ao usar o Memoji. O rastreamento de várias faces também é usado para o palco central, onde você sempre fica na foto enquanto conversa. Mais explicações sobre o rastreamento facial para desenvolvedores podem ser encontradas aqui.

o rastreamento facial por meio da câmera frontal funciona em todos os dispositivos com um chip A12 Bionic, e o rastreamento de três faces ao mesmo tempo funciona no iPad pro 2021 e mais recente.

existem também algumas outras pequenas melhorias, como uma nova âncora de código de clipe de aplicativo para fixar o conteúdo virtual do seu clipe de aplicativo ou aplicativo ARKit. Além disso, é possível detectar até 100 imagens por vez.

abaixo você pode ver um vídeo da Apple sobre ARKit 5, destinado a desenvolvedores:

realidade aumentada com ARKit

ARKit foi anunciado durante a WWDC de 2017 e está disponível para o iPhone e o iPad, desde o iOS 11. AR staat voor realidade aumentada, muitas vezes toegevoegde realiteit. Realidade aumentada zie je rouba meer em aplicativos. Como baixar e instalar Minecraft no Minecraft: como baixar e instalar Minecraft no minecraft. Met augmented reality voeg je een digitaal object toe aan de realiteit, dankzij de camera van je iPhone. Het lijkt daardoor net alsof het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Meer sobre Wat realidade aumentada precies é, lees je em onderstaande gids.

Wat é ARKit?

ARKit é a plataforma eigen da Apple para realidade aumentada. Os desenvolvedores podem usá-lo para criar AR em aplicativos para iPhone e iPad. Graças às ferramentas do ARKit, os desenvolvedores não precisam programar interações complicadas. Eles podem usar os blocos de construção que a Apple já criou. Há muito tempo é possível criar aplicativos para realidade aumentada, mas o ARKit torna muito mais fácil para os desenvolvedores. Além disso, muitas vezes parece muito melhor.

para ARKit, a Apple usa uma série de técnicas, incluindo odometria inercial Visual (VIO). Com essa técnica, o ambiente pode ser escaneado. Ao combinar VIO com informações de movimento dos sensores no dispositivo iOS, o dispositivo sabe como você está se movendo. A imagem pode então se mover. O movimento central é usado para isso.

graças à câmera do seu iPhone e iPad, o ARKit pode reconhecer superfícies horizontais e verticais, como mesas, pisos e paredes. Todos os tipos de objetos virtuais podem ser colocados nesses planos. ARKit também usa a câmera para determinar a quantidade de luz e a incidência de luz em uma sala. Com base nisso, a imagem pode ser feita o mais realista possível. O objeto realmente parece estar no ambiente, com as sombras certas e o mesmo grau de exposição que os outros objetos na sala. A ferramenta AR da Apple também funciona com ferramentas de Metal, SceneKit e de terceiros, como Unity e Unreal Engine, duas ferramentas comumente usadas no desenvolvimento de jogos.

em quais dispositivos o ARKit funciona?A realidade aumentada requer o poder de processamento necessário e, portanto, não funciona em todos os iPhone, iPad e iPod touch. As funções básicas da função de realidade aumentada requerem um dispositivo iOS com pelo menos processador A9. Isso significa do iPhone 6s e do iPad Pro de 9,7 polegadas.

as funções básicas de ARKit trabalhos sobre os seguintes modelos:

• iPhone 6s e iPhone 6s Mais e mais recente
• iPhone SE (primeira geração) e mais recentes
• iPad (2017) e o mais recente
• iPad Pro (todas as gerações)

Apple lança regularmente actualizações para ARKit. Isso geralmente é acompanhado pela grande atualização anual de software, mas às vezes também no meio. Os dispositivos que podem usar certas funções diferem de acordo com a versão ARKit.

ARKit 4 parece melhor

durante a WWDC 2020, A Apple anunciou o ARKit 4. Aqui estão as principais inovações:

• Profundidade API
• Localização Âncoras
• avançado de detecção de Rosto

> Profundidade API

com a Profundidade de nova API, os desenvolvedores podem fazer ainda mais detalhada, as medidas de profundidade LiDAR com o Scanner no iPad Pro. Informações sobre a distância absoluta de um objeto são calculadas por pixel. Juntamente com outros truques de AR, os objetos virtuais são melhor colocados no espaço e parecem ainda mais realistas. Também leva menos tempo para que um objeto seja colocado.

âncoras de localização

âncoras de localização são objetos AR que podem ser fixados em locais reais por um aplicativo. Os desenvolvedores podem determinar isso com coordenadas exatas. Os usuários podem andar por esses objetos como se fossem peças de Museu. Uma aplicação realista para esta técnica é para um aplicativo city walking tour. Por exemplo, se você estiver andando por uma cidade medieval, esse aplicativo pode soltar objetos que fazem parecer que você está na Idade Média. A Apple diz que isso só está disponível em “certas” cidades.

rastreamento de rosto mais extenso

o rastreamento de rosto já existia para o ARKit, mas do ARKit 4 também funciona com a câmera selfie. Você pode rastrear até três faces ao mesmo tempo. Com ele, seu iPhone possibilita, por exemplo, colar filtros mais realistas sobre o rosto enquanto tira uma foto. A Apple até menciona o Snapchat como um exemplo de um aplicativo que pode tirar proveito disso. Ele funciona para dispositivos com um chip A12 Bionic e mais recente.

ARKit 3 e ARKit 3.5: a realidade aumentada melhorou ainda mais

houve duas versões do ARKit 3, a saber, a versão 3 e 3.5. Abaixo você pode ler sobre as inovações que essas versões trouxeram.

• ARKit 3.5
• ARKit 3

ARKit 3.5

no ARKit 3.5, A Apple melhorou algumas peças que estavam focadas principalmente no novo scanner LiDAR no iPad Pro na época.

Scene Geometry

este recurso permite que um aplicativo crie um mapa geométrico do ambiente. O dispositivo está mais ciente dos pisos, paredes, tetos, janelas, portas e cadeiras, o que permite que os objetos virtuais se posicionem melhor no ambiente real.

ar instantâneo

não é mais necessário calibrar um aplicativo AR, porque graças ao scanner LiDAR, o aplicativo reconhece um ambiente diretamente. Você pode colocar imediatamente objetos AR no ambiente. Todos os aplicativos AR usam isso imediatamente no iPad Pro mais recente.

captura de movimento aprimorada e oclusão de pessoas

desde o ARKit 3, os aplicativos de realidade aumentada estão mais cientes das pessoas andando pelo ambiente. Como resultado, os objetos AR aparecem perfeitamente atrás de uma pessoa quando ele anda na frente deles. Em combinação com o ARKit 3.5 no iPad Pro, isso foi aprimorado ainda mais. A medição da altura também foi otimizada graças à captura de movimento aprimorada. Aqui, também, nenhuma alteração no código de um aplicativo AR é necessária.

ARKit 3

ARKit 3 faz parte do iOS 13 e iPadOS 13 e apareceu no outono de 2019 para todos com um dispositivo adequado. Ele incluiu duas grandes inovações: permitir que as pessoas caminhem em um ambiente de RA e capturar movimento. Além disso, a Apple lançou as ferramentas RealityKit e reality Composer, que facilitam a criação de aplicativos AR.

oclusão de pessoas

o novo recurso de oclusão de pessoas significa que você pode deixar as pessoas andarem em um aplicativo em tempo real. As pessoas não parecem mais um fantasma, mas podem percorrer a imagem. Os objetos também levam isso em consideração e serão vistos na frente ou atrás da pessoa. Uma pessoa pode, portanto, também passar por um objeto AR muito grande e se tornar invisível.

captura de movimento

a captura de movimento permite que os desenvolvedores capturem o movimento e a postura das pessoas e o usem como entrada para seus aplicativos de RA. Isso permite que você capture o movimento de uma pessoa em tempo real com outra câmera. O iPhone entende a posição do corpo e a converte na postura de uma boneca. Anteriormente, você precisava de um terno especial para isso. A câmera monitora a posição dos Membros e articulações.

o uso simultâneo da câmera frontal e traseira

desde ARKit 3, você pode usar simultaneamente o reconhecimento facial e o reconhecimento de objetos no mundo real. Isso ocorre porque o ARKit pode combinar as imagens das câmeras frontal e traseira. Por exemplo, você pode controlar objetos com seu rosto.

trabalhando juntos em jogos AR

com as chamadas ‘sessões colaborativas’, você pode construir um mapa-múndi conjunto, no qual ambos os jogadores podem participar. Isso torna mais fácil para os desenvolvedores criar experiências AR compartilhadas para Jogos multiplayer.

RealityKit

RealityKit é uma estrutura para desenvolvedores mesclar mais facilmente objetos virtuais com o mundo real. Eles são exibidos automaticamente na escala correta, em vários dispositivos Apple. Ele também controla os requisitos de rede e experiências de RA compartilhadas. Inclui efeitos fotorrealistas para o ambiente e a câmera, mais animações e efeitos de áudio. Ele funciona nativamente com ARKit e tem uma API Swift.

Reality Composer

o Reality Composer permite que os desenvolvedores criem cenas interativas com suporte total ao AR. Existem centenas de objetos virtuais disponíveis para importação em seus aplicativos. Esses objetos virtuais podem ser fornecidos com animações e podem responder a toques de tela, proximidade e outros gatilhos. Ele pode ser usado no Xcode e como um aplicativo iOS.

ARKit 2

durante a WWDC 2018, A Apple anunciou o ARKit 2. ARKit 2 fazia parte do iOS 12 e introduziu uma série de novos recursos e recursos. Estas foram as principais melhorias:

• experiências compartilhadas: multiplayer AR
• persistente AR: continuar AR, mais tarde, sem começar de novo
• imagem de detecção e controle: detecção de objetos em 3D e em tempo real as reflexões
• USDZ: novo formato de arquivo para aplicativos de realidade aumentada

jogos multiplayer em AR

desde ARKit 2, Você também pode jogar jogos multiplayer em AR. Por exemplo, você fica de pé, cada um com seu próprio iPad ou iPhone, de frente um para o outro enquanto dispara lasers um no outro. Exceto para Jogos, isso também funciona com todos os outros aplicativos AR. Por exemplo, pense em um aplicativo que permita redecorar sua casa. Os desenvolvedores também têm a oportunidade de construir em um modo de espectador. Isso permite que você veja como funciona um jogo de ra, sem ter que jogar ativamente.

ar persistente

graças a um recurso chamado ar persistente, você pode pegar de onde parou. Configure sua casa novamente graças a um aplicativo AR, para que você possa ver como esse novo sofá ou mesa de jantar fica em sua casa. Se você quiser continuar decorando mais tarde, não precisa começar tudo de novo com AR persistente. Os objetos virtuais que você coloca em sua casa através do seu iPhone ou iPad são simplesmente deixados para trás. Isso também será útil ao criar uma obra de arte inteira em realidade aumentada.

detecção e rastreamento de imagem

desde ARKit 2, objetos 3D também podem ser detectados, além de apenas superfícies horizontais e verticais. Pense em brinquedos, por exemplo. Além disso, reflexos podem ser projetados nos objetos visíveis no AR. Graças a essas melhorias, os efeitos da RA devem ser ainda mais realistas do que antes. A Apple também lançou um aplicativo de medição para medir a área, mas isso funcionou apenas para distâncias horizontais e verticais.

USDZ: A Apple e a Pixar desenvolveram o formato de arquivo USDZ, baseado no sistema universal Scene Description criado pela Pixar. Graças ao USDZ, sites, aplicativos e designers podem criar imagens 3D que ganham vida no iPhone e iPad. O USDZ funciona em mensagens, Safari, Mail, arquivos e muito mais, dando vida a essas imagens nesses aplicativos. Se uma loja virtual colocar versões USDZ de seus produtos no site, você pode colocar esses itens no mundo real graças ao Quick Look. Então você não precisa baixar um aplicativo AR inteiro, porque apenas o objeto específico ganha vida graças ao USDZ. USDZ é um formato de código aberto, para que qualquer pessoa possa começar com ele.

aplicativos com ARKit

os desenvolvedores já lançaram toda uma gama de aplicativos que usam ARKit. De aplicativos que permitem criar um mapa de sua casa a Jogos Engraçados nos quais você controla um pequeno avião. No guia abaixo, compilamos uma lista de aplicativos de realidade aumentada que usam ARKit, para que você possa experimentar por si mesmo exatamente como o ARKit funciona.