OpenAI 推社区安全报告,ChatGPT 可自动终止暴力执念对话

当地时间 10 月 30 日,OpenAI 发布两项社区安全新举措:推出《社区安全报告》,并针对未成年人进一步强化限制。仅在 2026 年第三季度,OpenAI 就向执法部门移交了 200 余起案件线索,用于干预迫在眉睫的暴力威胁。

社区安全报告制度

OpenAI 承诺定期发布《社区安全报告》(Community Safety Report),系统公开在暴力预防、其他社区安全议题以及各项防护机制实际成效方面的进展。报告将说明系统如何训练以识别、调查并应对社区安全风险,并分享危害表现形式的匿名案例、新增缓解措施与政策调整,附上相关数据。

首期报告计划于 2027 年初发布,覆盖 2026 年下半年的安全数据,此后每半更新一次。这意味着 OpenAI 从「内部执行规则」转向「定期公开可核查数字」,便于监管机构、家长与研究人士监督。

对话自动终止机制

OpenAI 在 5 月已上线一项能力:用简短的事实摘要回顾早期预警信号,使后续对话回应更谨慎。在此基础上,新机制进一步扩展——当最近对话出现可能的暴力征兆时,ChatGPT 在提供可能被滥用的信息上会更加保守;并在预测用户未满 18 岁时提前套用更严格限制,即便对话本身没有暴力意图。

更关键的是,当对话显示用户开始执念于暴力、或萌生严重伤害他人的念头时,ChatGPT 可自动终止当前对话,以即时阻断这种心理与行为倾向。若同一账户因该原因导致对话被多次强制中断,OpenAI 可能会临时冻结该账户。官方表示,仍在持续投入技术与实操层面的保护,包括更可靠地识别预警信号、判断何时及如何介入。

对全体用户的限制收紧

OpenAI 的模型训练本就不提供用于规划或实施暴力的指导。本次进一步收紧了 ChatGPT 对既往大规模袭击事件及其实施者相关问题的回应方式:即便相关信息已在网络公开发布,模型提供的细节也会更少。

限制范围包括所涉武器装备的参数与获取途径,以及可能放大施暴者知名度的伤亡规模对比。这些限制不论用户的年龄与提问动机,一律适用。与此同时,公众仍可借助 ChatGPT 了解此类事件的全貌、受害者与社区受到的影响,并学习如何识别危险预警信号以防范未来暴力。

青少年保护升级

下表汇总本轮面向不同人群的核心安全举措:

举措适用对象核心要点
社区安全报告全体公众每半年公开暴力预防与防护成效数据
对话自动终止全体用户识别暴力执念时自动结束对话,多次触发或暂停账号
既往袭击细节限制全体用户不论年龄与动机,精简武器、伤亡规模等细节
青少年武器信息限制18 岁以下即便无暴力意图,也限制武器与安防系统实用信息
家长通知青少年账户账户因反复讨论暴力被冻结时第一时间通知家长

面向 18 岁以下用户的 ChatGPT 体验,新增了对武器相关实用信息的进一步限制,涵盖可能用于促成暴力的安防系统信息,即便没有任何暴力意图信号也在限制范围内。未成年人仍可使用该服务了解如何化解冲突、寻求帮助并联络可信成年人。OpenAI 的年龄预测系统会随使用过程持续评估新信号,将适龄用户纳入未成年体验;被误判的用户可通过年龄验证合作方确认成年并解除相关保护。

常见问题

问:ChatGPT 什么情况下会主动结束对话? 答:当对话显示用户开始执念于暴力、或萌生严重伤害他人的念头时,ChatGPT 可自动终止当前对话;同一账户因此被多次中断,账号可能被临时暂停。

问:社区安全报告多久发布一次? 答:首期计划 2027 年初发布,覆盖 2026 年下半年,此后每半年更新一次。

问:为什么对既往袭击事件的限制不论年龄一律适用? 答:OpenAI 认为相关细节可能被滥用或放大施暴者知名度,因此不以用户年龄或提问动机作为豁免条件,但公众仍可了解事件影响与预警知识。

信息来源

– IT之家:OpenAI 称 ChatGPT 可自动终止表现出暴力执念的对话(2026-10-31) – OpenAI 官方博客:Community safety report and new protections for teens(2026-10-30) – 腾讯新闻 / IT时代网 相关报道(2026-10-31)