Apple Intelligence: 通过生成式 AI 重新定义无障碍功能
生成式 AI 与辅助技术的交汇,长期以来一直承诺了一个数字世界与物理世界对每个人都更加易于探索的未来。Apple 的最新公告标志着朝着这一方向迈出的重要一步,将 "Apple Intelligence" 集成到其无障碍功能套件的核心。通过超越静态标签和僵化的命令,转向自然语言理解和计算机视觉,Apple 正在尝试为视觉、运动和听力障碍用户降低门槛。
AI 增强的视觉探索
对于盲人或视力低下的人士,主要的挑战通常是视觉世界缺乏描述性元数据。Apple 正通过使用 Apple Intelligence 升级 VoiceOver 和 Magnifier 来解决这个问题。
图像探索器与实时识别
VoiceOver 现在包含一个 "Image Explorer",可提供系统范围内图像的详细描述,范围从个人照片到扫描的财务文件。此外,对 Live Recognition 的更新允许用户使用 iPhone 的 Action button 来实时查询相机取景器。这实现了一种对话式的流程,用户可以询问有关其周围环境的问题,并随后进行特定的查询以获得对环境更深入的理解。
高对比度智能
Magnifier 已更新,以将这些相同的描述性能力带入高对比度界面。除了视觉描述外,该应用现在支持对系统控制的语音请求,例如 "zoom in" 或 "turn on flashlight",从而减轻了用户在操作界面时的认知负荷。
自然语言导航与阅读
辅助技术中最乏味的一个方面是需要记住精确的标签或数字网格来与屏幕元素进行交互。Apple 正在用自然语言取代这种僵化性。
直观的语音控制
Voice Control 现在允许用户 "说出他们所看到的"。用户不再需要知道按钮的精确程序化名称,而是可以描述该元素。例如,用户可以在 Apple Maps 中说 "tap the purple folder" 或 "tap the guide about best restaurants"。这对于那些可能未针对无障碍功能进行正确标签化的第三方应用尤为关键,因为 AI 可以根据视觉布局推断出意图。
自适应阅读体验
Accessibility Reader 已扩展,以处理复杂的源材料,例如具有多栏布局和表格的科学文章。为了辅助理解,该工具现在提供按需摘要,允许用户在深入研究细节之前获得高层级的概述。内置的翻译功能也确保了在将文本转换为用户母语时,保留了自定义格式和颜色。
扩展生态系统:字幕与移动性
除了 iPhone 和 iPad,Apple 还在将 AI 驱动的无障碍功能推向视频内容和专用硬件。
- On-Device Generated Subtitles: 为了解决没有字幕的个人视频和社交媒体剪辑的问题,Apple 正在引入设备端生成的字幕,通过 iPhone, iPad, Mac, Apple TV, 和 Vision Pro 自动生成字幕。通过在设备端进行处理,Apple 维护了其对隐私的的承诺。
- Vision Pro Wheelchair Control: 在一项突破性的举措中,Apple 正在利用 Vision Pro 的精准眼动追踪技术,允许用户控制兼容的电动轮椅(从 Tolt 和 LUCI 系统开始)。这为那些传统摇杆无法使用的用户提供了响应式的输入方法。
技术视角与社区批评
虽然公告内容受到了乐观情绪的迎接,但技术社区和有实际经验的用户提出了关于在无障碍功能中应用 LLM 的重要反向观点。
幻觉风险
一个主要的关注点是 LLM 生成的描述的可靠性。正如一位社区成员所指出的,LLM 有“做梦”的倾向,这种倾向在无障碍语境下可能是危险的。例如,如果 AI 错误地识别了账单金额或错过了药物瓶上的关键警告,其后果将比创意写作任务中的幻觉严重得多。
"Performative" 与 实际的差距
盲人社区的一些开发者认为,许多此类功能已经在第三方应用如 Seeing AI 或 Be My Eyes 中存在。其价值主张在于集成到 OS 中以及设备端处理的速度。然而,社区也在呼吁 Apple 进一步超越 "performative" 更新,并解决 macOS 上 VoiceOver 屏幕阅读器的长期问题,一些用户认为它多年来一直处于 "maintenance mode"。
交互速度
来自社区的一个有趣的洞察是,揭示了视力正常的人如何感知辅助音频,与重度用户如何实际使用它的之间的差距。盲人用户听屏幕阅读器的速度往往是“无法想象的速度”,在视力正常的人听起来就像是噪音。挑战在于 AI 驱动的 TTS (Text-to-Speech) 如何在这些极端速度下保持清晰度和一致性。
附加更新摘要
Apple 还宣布了几个规模较小但具有影响力的更新:
- Vehicle Motion Cues: 减少 visionOS 中乘客的晕动症。
- Sony Access Controller Support: 在 iOS, iPadOS, 和 macOS 上扩展游戏无障碍功能。
- Name Recognition: 扩展了在超过 50 种语言中通过语音提及姓名时通知聋哑或听障人士的能力。
- FaceTime API: 一个新的 API 允许将手语翻译人员添加到正在进行的通话中。