苹果视觉Pro:开启空间计算新时代
今年的苹果发布会“还有一件事”环节,苹果宣布了一款新产品——苹果视觉Pro,这是一款集成了苹果生态系统的新型空间计算头显设备。预计这款设备将在2024年上市,它集成了前所未有的硬件创新和革命性的软件功能,为计算领域带来了新的范式。本文将探讨这一新计算平台和计算机视觉如何结合,为用户带来新的应用场景和体验。
苹果视觉Pro通过眼动追踪、手势识别和语音输入,为用户提供了完全沉浸式的体验。这款设备配备了微OLED显示系统,拥有2300万像素(作为参考,视觉Pro在1个iPhone像素的空间内可以容纳64像素!),搭载M2芯片运行visionOS操作系统,以及全新的R1芯片用于实时处理12个摄像头、5个传感器和6个麦克风的输入数据,并将图像流传输到显示屏上,仅需12毫秒。
visionOS
是苹果视觉Pro计算机的新操作系统。新的visionOS
将允许开发者使用熟悉的苹果开发者工具,如Xcode、SwiftUI、RealityKit和ARKit,以及对Unity和新的3D内容准备应用Reality Composer Pro
的支持,为新设备创建专门设计的应用程序。用户可以在与周围环境保持连接的同时与应用程序互动。visionOS SDK
将于本月晚些时候与Xcode、visionOS Simulator
、Reality Composer Pro
、文档、示例代码、设计指南等一起发布。目前,可以探索如何为visionOS
做准备,并了解为空间计算设备开发应用程序的细微差别。
苹果视觉Pro似乎已经在平台上原生集成了计算机视觉功能,随着开发者开始为该平台构建应用程序,期待了解更多关于头显的信息。以下是计算机视觉在苹果发布会上用于头显的一些方式的总结。
手势识别是用户与视觉Pro交互的核心方式。用户可以通过捏合食指和拇指来扩展应用程序、移动应用程序和滚动应用程序。视觉Pro似乎能够在广泛的视角范围内识别手势,帮助用户舒适地与应用程序互动,即使他们的手不在画面中。
传递的一个重要信息是,头显具有确保人们不会与周围人断开连接的功能。在发布会上,苹果表示“[苹果视觉Pro]能够无缝地将数字内容与物理世界融合,同时允许用户保持对他人的关注和连接”。视频亮点显示,当检测到用户附近有人时,这些人将通过正在显示的内容进入焦点。
与苹果其他产品的无缝互动是商业用户在不同设备之间移动而不会中断工作流程的一个主要卖点。演示展示了视觉Pro如何识别MacBook,将内容从笔记本电脑转移到头显中。
visionOS SDK
将于2023年6月发布,现在有很多可以做的事情来准备构建使用计算机视觉的visionOS
应用程序。对于WWDC23的所有机器学习和视觉内容,请访问ML & Vision
页面。
视觉Pro为企业的计算机视觉用例开辟了全新的领域。硬件和软件的进步使得以前不可能的新应用程序成为可能,为企业提供了激动人心的新机会。
苹果视觉Pro和visionOS为企业业务带来了混合现实和计算机视觉的完美结合。先进的硬件利用多个传感器和提供高分辨率视觉将允许员工在制造业、能源、交通、物流、现场服务和医疗保健等领域实现免提体验。