谷歌推出用于开发AI眼镜应用的新工具和库
来源: InfoQ - AI＆大模型
随着Android XR SDK开发人员预览版3的发布，谷歌推出了两个新库Jetpack Projected和Jetpack Compose Glimmer，用于帮助开发人员创建AI眼镜体验。为支持AI眼镜，ARCore for Jetpack XR也做了扩展，增加了运动追踪和地理空间能力。
Android XR SDK开发人员预览版3中新引入的库允许开发人员扩展现有的移动应用，利用AI眼镜内置的扬声器、摄像头和麦克风与AI眼镜进行交互，以及在眼镜的显示屏上呈现信息（如果可用）。
有许多场景，你的应用可能需要使用AI眼镜硬件。例如，视频会议应用可以添加一个UI控件，允许用户将视频流从手机摄像头切换到AI眼镜的摄像头，提供第一人称视角。
第一个库Jetpack Projected，允许宿主设备（如Android手机）使用音频和/或视频将应用的XR体验投影到AI眼镜上。该库使得应用能够检查目标设备是否有显示屏，并等待其可用。在应用能够访问设备硬件之前，它必须根据标准的Android权限模型在运行时请求权限。
你可以从AI眼镜活动和标准应用中访问AI眼镜硬件，前提是你获得了有效的投影上下文。音频支持很简单，因为AI眼镜的音频设备就是一个标准的蓝牙音频设备。
使用眼镜的摄像头拍摄照片或视频则稍微复杂一些，因为它需要实例化多个类来检查硬件可用性，进行设置，并将活动生命周期绑定到摄像头上，以便它随着活动状态的开启和关闭而打开和关闭。
另一方面，Jetpack Compose Glimmer是一套UI组件和视觉语言，用于在配备显示屏的AI眼镜上创建增强体验。新的视觉语言使用光学透视将视觉效果与环境融合，致力于提升清晰度、可读性，并最小化干扰。支持的组件包括文本、图标、标题标签（title chip）、卡片、列表和按钮。所有组件都基于surface这一基本概念而构建，开发人员可以通过它创建非标组件。
Glimmer组件可以使用修饰符进行自定义，包括调整布局、外观和行为，并且可以沿z轴堆叠，借助阴影来提供深度感。谷歌还在Android Studio中引入了一个AI眼镜模拟器，用于UI预览和模拟用户交互，包括触摸板和语音输入。
最后，关于Android XR SDK的最新版本，谷歌扩展了ARCore for Jetpack XR，这是一套API，用于创建增强体验，包括检索平面数据、将内容锚定到空间中的固定位置等。最新版本增加了对运动追踪的支持，使眼镜能够响应用户动作以及地理空间姿态，从而使内容可以锚定到谷歌街景覆盖的位置。
Android XR SDK预览版3可以在模拟器升级到最新版本（36.4.3 Canary或更高版本）的Android Studio Canary中使用。
原文链接：