
他把最危险的秘密告诉 ChatGPT。两个月后,FBI 找到了他
2026 年 3 月,25 岁的 Darren Zhou 刚刚结束一段六个月的感情。他住在佛罗里达,在 Goldman Sachs 做金融分析,大学以优异成绩毕业,没有犯罪记录。从外面看,他仍然拥有一条体面的职业道路;但在前女友离开以后,他开始频繁打开 ChatGPT,向那个永远在线的聊天框谈论嫉妒、愤怒,以及怎样把她追回来。
最初的对话很像许多人失恋后的深夜倾诉。他告诉 ChatGPT 前女友喜欢什么、经常去哪里、哪些男人让他不安,也反复猜测她是否已经开始新的关系。朋友会疲惫,家人可能评判,心理治疗又不便宜,AI 却不会露出不耐烦的表情。我们以为自己只是在使用一个工具,身体却很容易采用倾诉的姿势,把原本不敢告诉真人的话全部交出去。
Zhou 后来说出的内容,已经不是普通的失控情绪。根据《Palm Beach Post》取得的法庭记录,他告诉 ChatGPT,自己准备在月底前杀死前女友,还描述了武器、地点和行动步骤。在持续数周的对话里,他反复演练绑架、强奸、谋杀和自杀,威胁对象后来还扩大到了她的家人。
现实中的他也没有停留在想象里。前女友因为他的嫉妒、控制和不稳定而提出分手,并且害怕到不敢当面告诉他。她封锁了他的电话和社交账号,他就换号码继续联系,发送骚扰、性羞辱和威胁信息。她去健身房时收到过只有健身房名字的信息,这意味着他不仅知道她在哪里,也希望她知道自己正在被注视。
OpenAI 的系统发现了这些对话,并把它们交给人工审核。公司随后向 FBI 报告,联邦探员又把大约两个月的聊天记录转给当地警方。警员认为,这些内容已经形成持续的计划与演练,而不是一句愤怒时脱口而出的话。警方确认了受害者的安全,结合她保存的信息展开调查,并在 5 月逮捕 Zhou。他后来对严重跟踪、书面死亡威胁和非法使用通信设备等指控认罪,获得八年缓刑,其中最初两年需要接受电子监控。
如果故事到这里结束,它会成为一则很容易理解的科技新闻:AI 发现危险,公司及时报警,一个年轻女性可能因此躲过了伤害。我不想用隐私要求她赌命,也不认为她有义务相信施害者“也许只是说说”。在这个具体案件里,OpenAI 很可能做出了正确决定。
可真正值得写的,恰恰是正确决定之后发生的事。当所有人都因为这次抓对了人而赞成这套系统,我们是否也在默认一家私人公司可以检查亿万人的对话,判断谁已经越过危险的界线,再把他的身份和表达交给国家?正确的结果并不会自动赋予一项权力正当性,而最危险的监测能力,往往正是从一个没有人愿意反对的案例开始。
一个聊天框怎样变成警报系统
我在上一篇文章里写过另一个进入 FBI 视野的 AI 用户。一名被控从上市公司转走超过 1.5 亿美元的商人,用 Claude 制作了大约 31 份辩护材料。许多人以为 Anthropic 举报了他,事实却是 FBI 在搜查他的设备时发现了文件。没有人需要出卖他,他已经把证据保存在自己的电脑里。
Zhou 案构成了完全相反的一面。这一次,警方不是先拿到搜查令,再从设备里发现 AI 内容;OpenAI 主动识别了对话,主动判断风险,再主动把信息交给 FBI。两条路径最后都让聊天记录进入执法系统,但后一条路径意味着,平台已经不只是保存数据的仓库,它开始承担类似预警机构的角色。
OpenAI 公开描述过这套流程。第一层是自动监测,系统使用分类器、推理模型、哈希匹配、黑名单和其他工具,从大量内容中寻找可能与现实伤害有关的信号。第二层是人工审核,受过训练的人员可以查看被标记的内容、前后对话,以及一段时间内的行为模式。公司认为某人可能对他人造成迫近且可信的伤害时,就会通知执法部门。
这套流程听起来比“模型看到一句危险的话就自动报警”谨慎得多,但它仍然包含一个无法被技术消除的判断:什么叫迫近,什么又叫可信?一句话可能是犯罪前的演练,也可能来自小说创作、案件研究、角色扮演、引用他人威胁或者一次没有行动意图的精神崩溃。OpenAI 甚至明确表示,即使用户没有同时说出对象、手段和时间,公司仍可能根据其他信号认定风险已经达到报告门槛。
自动识别系统面对一个经典难题。如果门槛设得很高,它会漏掉真正准备行动的人;如果为了避免漏报而把门槛降低,更多没有犯罪意图的对话就会进入人工审核。审核人员想减少误判,又需要查看更多上下文、更长的聊天历史和更多账户行为。机器看得太少容易判断错误,为了少犯错,它就必须看得更多,这正是监测系统最难摆脱的逻辑。
想看更多实战拆解?
AI、工程与实验,每月 1–2 封。
无垃圾邮件,随时取消。
问题还不止于模型是否准确。从发现、解释到举报,每一步都由同一家公司完成。用户通常不知道自己的对话何时进入人工审核,不知道审核员看到了多少信息,也不知道平台最终向警方提供了什么。公众同样看不到一年有多少聊天被标记、多少人被报告、多少报告最终没有发现真实危险。OpenAI 的隐私政策还保留了宽泛的处理空间:为了执行公司政策、阻止违法活动、保护安全或降低法律责任,它可以监测内容,并向政府或其他第三方提供用户数据。
用户注册时点击了“同意”,并不能解决这项权力的正当性。没有人会与一家掌握基础设施的公司逐条谈判隐私条款,更没有人在凌晨两点倾诉时重新阅读政策更新。真正的结构是,一家软件公司同时成为侦察者、判断者和举报者,而它判断错误的代价,最终由屏幕另一端的人承担。
第一次判断错误时,发生了什么
我们不需要凭空想象误判的后果。Google 已经提供了一个几乎与此同构的案例,而那套系统同样始于一个没有人会反对的目标:发现儿童性虐待材料,保护正在受到伤害的孩子。
2021 年,一位被媒体称为 Mark 的父亲发现幼儿的腹股沟严重肿胀。当时正值疫情期间,他按照远程医疗人员的要求拍下患处,让医生判断病情。医生看过照片后开出抗生素,孩子很快康复;那张照片则被手机自动同步到了 Google Photos,进入另一套他几乎没有意识到的检查流程。
Google 使用已确认非法内容的哈希值寻找相同或相似文件,也使用人工智能发现可能从未出现过的新内容,再由审核人员确认。美国法律要求平台在已经知悉疑似儿童性虐待材料后,向美国国家失踪与受虐儿童中心报告。问题在于,这套系统看见了孩子身体的照片,却看不见医生的要求、父亲的焦虑和正在接受治疗的感染。
Google 把照片判断为疑似儿童性虐待材料,关闭了 Mark 的 Gmail、Google Photos、Google Fi 和其他关联账户,并触发旧金山警方调查。他失去了多年的邮件、联系人、孩子的照片和原来的电话号码。警方后来检查材料,确认他没有实施犯罪,Google 却仍然拒绝恢复他的账户。
Google 表示自己的误报率很低,而且人工审核在系统中发挥重要作用。仅 2022 年上半年,公司就提交了超过一百万份报告,暂停约 27 万个账户。这些数字说明系统确实可能发现大量真实伤害,也说明一次内部判断可以影响多少人的生活。在这样的规模里,“误报率很低”安慰不了那个已经被当作罪犯调查的父亲。
这并不证明 Google 不应该打击儿童性虐待,也不证明 OpenAI 应该对明确的谋杀计划保持沉默。它证明的是,正义的目标不会让监测系统自动变得可靠,更不会让掌握系统的公司自动获得不受监督的权力。今天最容易判断的对象是一个现实中已经跟踪女性、反复描述谋杀计划的人;明天进入审核室的,可能是写犯罪小说的作者、调查极端组织的记者、讨论自卫的家暴受害者,或者在崩溃中写下自己并不准备实行的话的人。
当同一套 AI 服务全世界时,问题会更加危险。在佛罗里达,对具体对象的杀人计划很容易被理解为公共安全威胁;在另一个国家,政府口中的“危险”可能是一场抗议、一份腐败证据、一次堕胎咨询、一种性取向,或者对当权者的批评。一旦平台已经具备监测对话、识别身份、保留记录和传递数据的能力,扩大使用范围未必需要重建系统,可能只需要一项内部政策、一部新法律,或者一次政府施压。
把选择权拿回来
我反对的不是这一次有人保护了 Zhou 的前女友,而是私人公司按照内部规则拥有没有清晰边界、没有外部审计的普遍监测权。如果社会认为必须为迫近的生命危险保留紧急例外,这条界线就应该由公开规则划定。报告必须经过人工复核,只披露阻止伤害所需的最少数据,并接受独立审计;平台也应该定期公布标记、人工审核、报警和误报的匿名统计,让公众知道这项权力究竟如何被使用。
在这些制度真正建立以前,我们可以先改变自己使用 AI 的方式。日常写作、翻译和一般问题可以继续交给云端服务,但公司机密、医疗记录、法律问题、私人关系和政治活动不应该原样上传。删除姓名、地址、公司和项目代号,只提供解决问题真正需要的信息。所谓“临时聊天”减少的是部分留存,并不等于对话从未进入平台的安全系统。
如果内容一旦泄露会改变你的事业、自由或者家庭,最稳妥的选择仍然是本地运行的开放权重模型。模型和聊天界面应当运行在自己控制的设备上,同时关闭日志、遥测、崩溃上传和自动云备份,并给设备和本地数据库加密。否则模型虽然在本地,聊天记录却悄悄同步到 iCloud、Google Drive 或 OneDrive,秘密只是从模型公司搬到了另一台服务器。
Self-hosting 也不能只看模型部署在哪里。把模型放进自己租用的云服务器,硬件和网络仍然属于云平台,聊天界面、向量数据库、监控工具和备份系统也可能保留副本。真正的自托管是一条完整的数据链:谁控制计算,谁能读取日志,数据是否离开设备,备份在哪里,以及系统关闭以后还有什么继续存在。
还有一条建议,我想说得足够明确。如果你担心本国的审查、调查或政治风险,不要使用受本国直接司法管辖的 AI 服务商处理敏感内容。选择与你所在国家保持司法距离的平台,让本国机构无法直接向它发出命令并迅速取得身份和完整对话。判断标准不只是品牌来自哪里,还要看与你签约的公司主体、服务器、员工和可被强制执行的资产是否位于本国。
外国服务商当然不是绝对保密。它受所在地法律约束,政府之间也存在跨境司法协作,自己的设备还可能被依法搜查。司法距离提供的是程序摩擦和风险分散,不是豁免权;但在隐私保护中,增加一道必须被跨越的法律边界,本身就有价值。能在本地运行就不要上传,必须使用云端时,至少不要让最敏感的数据集中在本国服务商、同一家公司和同一个司法体系里。
这些建议不是帮助准备伤害别人的人躲避警方。绝大多数需要隐私的人没有犯罪计划,他们只是在创造一家公司、面对一种疾病、处理一段关系、寻找法律帮助,或者生活在一个不允许诚实表达的地方。保护隐私不是保护犯罪,它是在保护普通人拥有一个不必首先接受私人公司审查的思考空间。
Darren Zhou 的案件让我们看见 AI 监测最好的一面:它可能在危险变成行动以前保护一个人。Mark 的经历让我们看见同一套逻辑最容易被忽略的一面:一个善意建立的系统,也能在缺少上下文时把无辜的人推向警方。我们不必因为害怕后者就放弃前者,但也不能因为庆幸前者就停止追问权力的边界。
AI 的未来不应该要求我们在强大的能力和私密的思想之间二选一。开放权重、本地推理、真正可执行的数据最小化,以及跨司法管辖区的选择,都在让另一种未来成为可能:我们仍然可以向 AI 求助,却不必把整个人生一起交出去。真正值得信任的 AI,不是更擅长监视我们,而是强大到能够帮助我们,也克制到愿意把记忆、边界和最后的决定留给我们自己。
新文章,直接发到你的邮箱。
AI、工程与实验,每月 1–2 封。
无垃圾邮件,随时取消。