上线仅一天就撤回:谷歌地球的AI改图功能踩了什么雷

谷歌为地球(Google Earth)推出的一项人工智能新功能,只存活了大约一天就被紧急撤下。这项功能允许用户用一句文字指令,直接对真实的卫星影像进行AI编辑和修改。上线首日引发外界对”伪造真实世界”的强烈担忧后,谷歌迅速宣布回滚。

一句提示词,就能篡改真实卫星图

据科技媒体The Verge报道,谷歌在周四上线了这项新能力,其背后调用的是谷歌的图像生成模型Nano Banana 2。用户只要在Google Earth里输入文字提示,就能对某个真实地点的卫星图或地表影像进行改写,效果几乎相当于凭空生成一张以假乱真的”真实世界深度伪造图”。

问题在于,卫星影像长期被外界视为客观、可信的地理证据。一旦任何人都能用自然语言随手改写这类画面,其潜在的误导风险不言而喻。有独立研究者在测试中,凭空在真实地理位置上添加了本不存在的建筑、设施和场景,用以说明这项功能可能被滥用于制造虚假信息。

水印为何拦不住风险

功能上线当天,谷歌方面最初回应称,通过Nano Banana 2在Google Earth中生成的图像都带有数字水印,公司也对”有害主题”的图像生成做了拦截。换句话说,谷歌认为水印加上内容过滤,足以控制风险。

然而,这套防线很快被证明并不牢靠。上述研究者演示称,他用Google Earth生成的一段视频,成功骗过了第三方AI检测工具Hive的识别;这意味着即便带着水印,被篡改的画面和视频依然可能在传播链条中被当成真实素材扩散。他还提到,在自己的测试里”没有任何提示词被拒绝、没有任何内容被弱化,系统也从未建议换一种说法再试”,也就是几乎没有有效的内容护栏。

谷歌:先下架,再补护栏

仅仅一天之后,谷歌改口宣布回滚该功能。官方表示:”我们知道人们格外信任Google Earth所呈现的可靠世界视图。我们看到地理信息专业人士把这项功能用于一系列有价值的用途,但也看到有人分享的生成图像疑似违反了我们的政策。因此,我们将在Google Earth中回滚这项功能,同时着手部署更强的防护措施。”

谷歌同时强调,这些被生成的图像并不会出现在其他用户看到的Google Earth主界面里,而且都被标注为AI生成。尽管如此,功能”朝生暮死”的经历依然说明:当强大的生成式AI直接嫁接到人们高度信任的地图与地理平台上时,仅靠水印和主题过滤远远不够,如何在开放能力与防止滥用之间取得平衡,仍是所有大厂绕不开的难题。

来源:The Verge


发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注