Gemini能”看”Mac屏幕了:免费功能虽好,但有个隐患

谷歌本周三为 macOS 版 Gemini 推送了两项新功能:一项是更聪明的语音听写,另一项则允许 Gemini “看懂”Mac 屏幕上正在发生的一切,并代替用户执行操作。据 Lifehacker 高级技术编辑 Jake Peterson 介绍,这两项功能全部免费,但后者在便利之外也带来了值得留意的隐私与安全问题。

智能听写:自动删掉”嗯””啊”

第一项更新叫”智能听写”。在 Mac 上按下 Fn 键开始说话,Gemini 会把语音实时转成文字,并”在光标处即时润色”——自动去掉口头禅、结巴和”嗯””啊”之类的语气词,输出的文本更接近正常书写。该功能在 Mac 的任何窗口中都能使用,适合口述草拟邮件、消息或文档,省去逐句自我修改的麻烦。

需要注意的是,智能听写默认开启。也就是说,所有在 Mac 上使用 Gemini 的用户都会自动用上它,除非主动进设置里关闭。

屏幕感知:让 AI 接手复杂任务

第二项更新是”屏幕感知推理”(screen-aware reasoning),默认关闭、需手动开启。开启后,Gemini 获得理解 Mac 屏幕内容的权限。比如打开备忘录后按 Fn 键说”把这些笔记整理成下午会议用的摘要”,Gemini 就会自动定位到备忘录应用、分析文本并完成整理,全程无需切换到专门的应用。

指令还可以连续叠加:先让 Gemini 起草一封团队聚餐邮件,并从 Mac 上指定的几份文件中提取参与人员、预算、饮食禁忌等信息;接着让它在地图里搜索特定类型的餐厅作为备选。中途说错了也能随时纠正——比如先说聚餐定在周五 18:30,随后补一句”抱歉,改成 19:00″,Gemini 会相应调整。

便利背后的风险

把整个屏幕交给 AI 查看,隐私风险显而易见。此外还有”提示词注入”这一安全隐患:黑客可以把恶意指令藏在网页里,AI 在执行任务时读到这些指令,会误以为是用户本人的要求,进而照做——比如打开恶意网站下载文件。就目前的 Gemini 而言,这类风险尚不算突出,因为它还不是能完全自主行动的智能体(谷歌真正的自主智能体 Gemini Spark 仅面向最高档付费订阅用户开放)。

总体来看,屏幕感知功能确实能让 Gemini 从一个聊天窗口升级为覆盖全 Mac 的助手。愿意尝鲜的用户可以一试,但开启前应清楚了解其中实实在在的风险,敏感场景下建议保持关闭。

来源:Lifehacker


发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注