ARKit es la plataforma de Apple para realidad aumentada

Dankzij ARKit maakt Apple het voor ontwikkelaars gemakkelijk om toepassingen voor augmented reality te bouwen. Het gaat zowel om games als om apps voor productiviteit en andere toepassingen. Zo kun je met ARKit laten zien hoe meubels in een bepaalde ruimte eroit zien, nog voordat je ze aanschaft. La nueva versión es ARKit 4 en iOS 14 y iPadOS 14. Entre otras cosas, hace pleno uso del nuevo escáner LiDAR del iPad Pro.

a continuación puedes leer qué es ARKit y qué puedes hacer con él.

• ARKit 5 en iOS 14
• Realidad Aumentada
• ¿qué es ARKit?
• dispositivos compatibles
• Aplicaciones con ARKit
• ARKit 4 en iOS 14
• ARKit 3 y 3.5
• ARKit 2

nuevo en iOS 15: ARKit 5

en iOS 15, Apple ha mejorado ARKit en los siguientes puntos:

• anclajes de ubicación en Londres
• seguimiento de movimiento mejorado
• seguimiento de rostros mejorado

anclajes de ubicación en Londres

ahora obtiene anclajes de ubicación en Londres y en más ciudades de EE. Por ejemplo, puede crear sus propias experiencias de realidad aumentada en lugares famosos como la noria London Eye y Times Square. También se puede hacer en su propio vecindario. Los anclajes de ubicación ya se introdujeron en ARKit 4, pero ahora están en más lugares. Coloca las experiencias de realidad aumentada en lugares específicos, como ciudades o lugares de interés. Están vinculados a una cierta latitud y longitud y a un cierto espacio. Otros pueden caminar alrededor de los objetos virtuales y verlos desde diferentes ángulos, al igual que un objeto real.

funciona en iPhone XS, iPhone XS Max, iPhone XR y versiones posteriores y solo en ciertas ciudades.

Seguimiento de movimiento mejorado

ARKit 5 también proporciona un Seguimiento de movimiento mejorado. Captura los movimientos de una persona determinada en tiempo real con una sola cámara. La cámara conoce la posición del cuerpo y también sabe dónde se encuentran ciertas articulaciones y huesos, al tiempo que puede estimar la longitud corporal.

esto funciona en iPhone 12 series y iPad Pro en todas las aplicaciones creadas con ARKit, sin necesidad de que los desarrolladores modifiquen su código.

Seguimiento de rostros mejorado

es posible rastrear rostros con la cámara frontal en ARKit 5, por lo que también puede usar experiencias de realidad aumentada con ella. Además, es compatible con la cámara ultra gran angular del iPad Pro 2021. A continuación, puede rastrear Tres caras al mismo tiempo con la cámara TrueDepth, por ejemplo, en Snapchat y al usar Memoji. El seguimiento de múltiples caras también se usa para el centro del escenario, donde siempre permaneces en la imagen mientras chateas. Puede encontrar más explicaciones sobre el Seguimiento de rostros para desarrolladores aquí.

el seguimiento facial a través de la cámara frontal funciona en todos los dispositivos con un chip A12 Bionic, y el seguimiento de tres caras a la vez funciona en el iPad Pro 2021 y versiones posteriores.

también hay algunas otras pequeñas mejoras, como un nuevo anclaje de código de clip de aplicación para anclar contenido virtual de su Clip de aplicación o aplicación ARKit. Además, es posible detectar hasta 100 imágenes a la vez.

a continuación puede ver un video de Apple sobre ARKit 5, destinado a desarrolladores:

realidad aumentada con ARKit

ARKit se anunció durante la WWDC de 2017 y ha estado disponible para iPhone y iPad desde iOS 11. Es un estado para realidad aumentada, de un modo que permite una realidad real. Realidad aumentada zie je corceles meer en las aplicaciones. Denk bijvoorbeeld aan het vangen van Pokémon in Pokémon Go of het virtueel plaatsen van meubels in je eigen woning. Con la realidad aumentada, he encontrado un objeto digital con una realidad real, y la cámara del iPhone. Het lijkt daardoor net alsof het object, bijvoorbeeld een meubelstuk, in je eigen huis staat. Más sobre qué precies de realidad aumentada es, lees je in onderstaande gids.

¿Qué es ARKit?

ARKit es la plataforma propia de Apple para realidad aumentada. Los desarrolladores pueden usarlo para crear realidad aumentada en aplicaciones para iPhone y iPad. Gracias a las herramientas de ARKit, los desarrolladores no tienen que programar interacciones complicadas por sí mismos. Pueden hacer uso de los bloques de construcción que Apple ya ha creado. Durante mucho tiempo ha sido posible crear aplicaciones para realidad aumentada, pero ARKit lo hace mucho más fácil para los desarrolladores. Además, a menudo se ve mucho mejor.

para ARKit, Apple utiliza una serie de técnicas, incluida la Odometría Inercial Visual (VIO). Con esta técnica, se puede escanear el entorno. Al combinar VIO con la información de movimiento de los sensores en el dispositivo iOS, el dispositivo sabe cómo se está moviendo. La imagen puede moverse a lo largo. El movimiento del núcleo se utiliza para esto.

gracias a la cámara de su iPhone y iPad, ARKit puede reconocer superficies horizontales y verticales, como mesas, pisos y paredes. En estos planos se pueden colocar todo tipo de objetos virtuales.

ARKit también utiliza la cámara para determinar la cantidad de luz y la incidencia de la luz en una habitación. En base a esto, la imagen se puede hacer lo más realista posible. El objeto en realidad parece estar en el entorno, con las sombras adecuadas y el mismo grado de exposición que los otros objetos en la habitación.

La herramienta AR de Apple también funciona con Metal, SceneKit y herramientas de terceros como Unity y Unreal Engine, dos herramientas comúnmente utilizadas en el desarrollo de juegos.

¿en qué dispositivos funciona ARKit?

La realidad aumentada requiere la potencia de procesamiento necesaria y, por lo tanto, no funciona en todos los iPhone, iPad y iPod touch. Las funciones básicas de la función de realidad aumentada requieren un dispositivo iOS con al menos un procesador A9. Eso significa que desde el iPhone 6s y el iPad Pro de 9,7 pulgadas.

las funciones básicas de ARKit funcionan en los siguientes modelos:

• iPhone 6s y iPhone 6s Plus y versiones posteriores
• iPhone SE (primera generación) y versiones posteriores
• iPad (2017) y versiones posteriores
• iPad Pro (todas las generaciones)

Apple publica regularmente actualizaciones para ARKit. Esto suele ir acompañado de la actualización anual de software importante, pero a veces también en el medio. Los dispositivos que pueden usar ciertas funciones difieren según la versión de ARKit.

ARKit 4 se ve mejor

durante WWDC 2020, Apple anunció ARKit 4. Estas son las principales innovaciones:

• API de profundidad
• Anclajes de ubicación
• Seguimiento facial mejorado

API de profundidad

con la nueva API de profundidad, los desarrolladores pueden realizar mediciones de profundidad aún más detalladas con el escáner LiDAR del iPad Pro. La información sobre la distancia absoluta a un objeto se calcula por píxel. Junto con otros trucos de realidad aumentada, los objetos virtuales se colocan mejor en el espacio y se ven aún más realistas. También lleva menos tiempo colocar un objeto.

Anclajes de ubicación

Los anclajes de ubicación son objetos de realidad aumentada que una aplicación puede fijar a ubicaciones reales. Los desarrolladores pueden determinar esto con coordenadas exactas. Los usuarios pueden caminar alrededor de estos objetos como si fueran piezas de museo. Una aplicación realista para esta técnica es para una aplicación de recorrido a pie por la ciudad. Por ejemplo, si estás caminando por una ciudad medieval, una aplicación de este tipo puede dejar caer objetos que hagan que parezca que estás en la Edad Media. Apple dice que esto solo está disponible en» ciertas » ciudades.

un seguimiento facial más extenso

El seguimiento facial ya existía para ARKit, pero desde ARKit 4 también funciona con la cámara selfie. Puedes rastrear hasta tres caras a la vez. Con él, tu iPhone hace posible, por ejemplo, pegar filtros más realistas sobre tu cara mientras tomas una foto. Apple incluso menciona Snapchat como un ejemplo de una aplicación que puede aprovechar esto. Funciona para dispositivos con un chip A12 Bionic y más reciente.

ARKit 3 y ARKit 3.5: realidad aumentada mejorada

ha habido dos versiones de ARKit 3, a saber, la versión 3 y la 3.5. A continuación puede leer sobre las innovaciones que trajeron estas versiones.

• ARKit 3.5
• ARKit 3

ARKit 3.5

en ARKit 3.5, Apple mejoró algunas partes que se centraron principalmente en el nuevo escáner LiDAR del iPad Pro en ese momento.

Geometría de escena

esta función permite a una aplicación crear un mapa geométrico del entorno. El dispositivo es más consciente de pisos, paredes, techos, ventanas, puertas y sillas, lo que permite que los objetos virtuales se posicionen mejor en el entorno real.

AR instantánea

ya no es necesario calibrar una aplicación de AR, porque gracias al escáner LiDAR, la aplicación reconoce un entorno directamente. Puede colocar inmediatamente objetos de realidad aumentada en el entorno. Todas las aplicaciones de realidad aumentada lo usan inmediatamente en el iPad Pro más reciente.

captura de movimiento mejorada y Oclusión de personas

desde ARKit 3, las aplicaciones de realidad aumentada son más conscientes de las personas que caminan por el entorno. Como resultado, los objetos de realidad aumentada aparecen cuidadosamente detrás de una persona cuando camina frente a ellos. En combinación con ARKit 3.5 en el iPad Pro, esto se ha mejorado aún más. La medición de la altura también se ha optimizado aún más gracias a la captura de movimiento mejorada. Aquí, también, no se requiere ningún cambio en el código de una aplicación de realidad aumentada.

ARKit 3

ARKit 3 es parte de iOS 13 e iPadOS 13 y apareció en el otoño de 2019 para todos con un dispositivo adecuado. Incluía dos innovaciones principales: permitir que las personas caminaran en un entorno de realidad aumentada y capturar el movimiento. Además, Apple lanzó las herramientas RealityKit y Reality Composer, que facilitan la creación de aplicaciones de realidad aumentada.

Oclusión de personas

la nueva función de Oclusión de personas significa que puede dejar que las personas caminen en una aplicación en tiempo real. La gente ya no parece un fantasma, pero puede caminar a través de la imagen. Los objetos también tienen esto en cuenta y se verán delante o detrás de la persona. Por lo tanto, una persona también puede pasar por delante de un objeto de realidad aumentada muy grande y volverse invisible.

Captura de movimiento

La captura de movimiento permite a los desarrolladores capturar el movimiento y la postura de las personas y usarlo como entrada para sus aplicaciones de realidad aumentada. Esto le permite capturar el movimiento de una persona en tiempo real con otra cámara. El iPhone entiende la posición del cuerpo y la convierte en la postura de una muñeca. Anteriormente, necesitabas un traje especial para esto. La cámara monitoriza la posición de las extremidades y las articulaciones.

uso simultáneo de la cámara delantera y trasera

desde ARKit 3, puede usar simultáneamente el reconocimiento facial y el reconocimiento de objetos en el mundo real. Esto se debe a que ARKit puede combinar las imágenes de las cámaras delanteras y traseras. Por ejemplo, puede controlar objetos con su cara.

trabajando juntos en juegos de realidad aumentada

con las llamadas «sesiones colaborativas», puedes construir un mapa mundial conjunto, en el que ambos jugadores puedan participar. Esto facilita a los desarrolladores la creación de experiencias de realidad aumentada compartidas para juegos multijugador.

RealityKit

RealityKit es un marco para que los desarrolladores combinen más fácilmente objetos virtuales con el mundo real. Se muestran automáticamente a la escala correcta, en varios dispositivos Apple. También controla los requisitos de red y las experiencias de realidad aumentada compartidas. Incluye efectos fotorrealistas para el entorno y la cámara, más animaciones y efectos de audio. Funciona de forma nativa con ARKit y tiene una API de Swift.

Reality Composer

Reality Composer permite a los desarrolladores crear escenas interactivas con soporte total de realidad aumentada. Hay cientos de objetos virtuales disponibles para que los importen a sus aplicaciones. Estos objetos virtuales se pueden proporcionar con animaciones y pueden responder a toques de pantalla, proximidad y otros disparadores. Se puede usar en Xcode y como una aplicación para iOS.

ARKit 2

durante WWDC 2018, Apple anunció ARKit 2. ARKit 2 era parte de iOS 12 e introdujo una serie de nuevas características y capacidades. Estas fueron las principales mejoras:

• experiencias compartidas: AR multijugador
• AR persistente: continuar AR más tarde sin volver a empezar
• detección y seguimiento de imágenes: detección de objetos 3D y reflejos del mundo real
• USDZ: nuevo formato de archivo para aplicaciones de realidad aumentada

juegos multijugador en realidad aumentada

desde ARKit 2, también puedes jugar juegos multijugador en realidad aumentada. Por ejemplo, se paran, cada uno con su propio iPad o iPhone, uno frente al otro mientras se disparan láseres el uno al otro. A excepción de los juegos, esto también funciona con todas las demás aplicaciones de realidad aumentada. Por ejemplo, piense en una aplicación que le permita redecorar su hogar. Los desarrolladores también tienen la oportunidad de construir en modo espectador. Esto le permite ver cómo va un juego de realidad aumentada, sin tener que jugar activamente.

AR persistente

gracias a una función llamada AR persistente, puede continuar donde lo dejó. Vuelve a configurar tu hogar gracias a una aplicación de realidad aumentada, para que puedas ver cómo se ve ese nuevo sofá o mesa de comedor en tu hogar. Si quieres seguir decorando en un momento posterior, no tienes que empezar de nuevo con AR persistente. Los objetos virtuales que coloca en su hogar a través de su iPhone o iPad simplemente se dejan atrás. Esto también será útil al crear una obra de arte completa en realidad aumentada.

detección y seguimiento de imágenes

desde ARKit 2, también se pueden detectar objetos 3D, además de solo superficies horizontales y verticales. Piense en los juguetes, por ejemplo. Además, los reflejos se pueden proyectar sobre los objetos visibles en AR. Gracias a estas mejoras, los efectos de la realidad aumentada deberían ser aún más realistas que antes. Apple también lanzó una aplicación de medición para medir el área, pero que solo funcionaba para distancias horizontales y verticales.

USDZ:

Apple y Pixar desarrollaron el formato de archivo USDZ, basado en el sistema Universal de Descripción de Escenas creado por Pixar. Gracias a USDZ, los sitios web, las aplicaciones y los diseñadores pueden crear imágenes 3D que cobran vida en el iPhone y el iPad. USDZ funciona en Mensajes, Safari, Correo, Archivos y más, dando vida a estas imágenes en esas aplicaciones. Si una tienda en línea pone versiones USDZ de sus productos en el sitio web, puede colocar estos artículos en el mundo real gracias a Quick Look. Por lo tanto, no tiene que descargar una aplicación de realidad aumentada completa, ya que solo el objeto específico cobra vida gracias a USDZ. USDZ es un formato de código abierto, por lo que cualquiera puede comenzar con él.

Aplicaciones con ARKit

los desarrolladores ya han lanzado toda una gama de aplicaciones que utilizan ARKit. Desde apps que te permiten crear un mapa de tu hogar, hasta divertidos juegos en los que controlas un avión pequeño. En la siguiente guía, hemos compilado una lista de aplicaciones de realidad aumentada que usan ARKit, para que puedas experimentar por ti mismo exactamente cómo funciona ARKit.