大概是在 5 月 12 日左右,网上开始传开这类截图:
给 DeepSeek 发送 <think> 后,模型直接输出一大段无关、随机、有时像小说 / 对话的内容。比如:
有网友认为是这是其他网友的提问,被触发后展示。
故而继而有人担心会泄露隐私。
后来也有博主出来科普:
这一现象既不是模型 Bug、数据泄露,也不是 AI 意识觉醒,而是自回归语言模型 + 被攻破的对话模板共同作用的结果,学术上称为Special Token Injection(特殊令牌注入),是 AI 安全领域早已被研究的常见问题。
用户发送的是 AI 模型内部对话协议的分隔符,直接输入会破坏对话模板,让模型误以为对话流程回到了 “起点”,只能从训练数据里随机生成内容,因此每次回应都不同。
5 月 18 日傍晚,DeepSeek 官方回应,表示异常回复属于特殊字符引发的模型幻觉,不涉及安全问题或隐私泄露。
DS 表示后期会修复,优化体验。
(参考:DS、硅星GenAI、微博)