谷歌 DeepMind 研究再登 Nature 封面，隐形水印让 AI 无所遁形

谷歌 DeepMind 团队最近在 Nature 期刊上发表了一项研究，开发了一种名为 SynthID-Text 的水印方案，可以应用于大型语言模型（LLM），以跟踪 AI 生成的文本内容。这种水印方案可以在不影响 LLM 生成文本质量的前提下，通过一种名为 Tournament sampling 的采样算法，在生成过程中添加水印。

文本水印与图片水印不同，它需要在不影响内容质量的情况下隐形。DeepMind 的方案通过随机种子生成器和评分函数，在生成过程中将水印引入到下一个 token 中。检测水印时，使用 Scoring 函数来衡量随机种子与文本 token 之间的相关性。

实验中，研究人员在自家的 Gemini 和 Gemini Advanced 模型上进行了测试，评估了超过 2000 万个实时交互的响应，用户反馈正常。同时，SynthID-Text 的实现仅修改了采样程序，对 LLM 的训练没有影响，并且在推理时的延迟可以忽略不计。

为了配合 LLM 的实际使用场景，研究者还将水印与推测采样集成在一起，确保了方案在实际生产系统中的应用。

在识别 AI 生成的内容方面，目前有三种方法：第一种是在 LLM 生成时留底，但成本和隐私问题较大；第二种是事后检测，计算文本的统计特征或训练 AI 分类器，成本高且限制在特定数据域内；第三种则是添加水印，可以在训练阶段、生成过程中或生成后添加。

SynthID-Text 采用的是在生成过程中添加水印的方法。这种方法由随机种子生成器、采样算法和评分函数三个新组件组成。随机种子生成器根据前几个 token 和水印 key 生成随机种子 r(t)，采样算法使用 r(t) 从 LLM 生成的分布中采样下一个 token。评分函数则用于检测文本中的水印，通过计算所有 token 在所有水印函数中的平均得分来判断文本是否带有水印。

影响评分函数检测性能的主要因素有文本长度和 LLM 本身的熵。文本越长，水印证据越多，检测的统计确定性越高。LLM 的熵则受模型大小、强化学习、提示、温度和其他解码设置的影响。

在实践中，生成水印方案的计算成本较低，因为仅涉及对采样层的修改。同时，水印方案需要与推测采样相结合，以适应大规模生产环境的需求。研究人员提出了两种带有推测采样的生成水印方案：高可检测性水印推测采样和快速水印推测采样。前者保留了水印的可检测性，但可能降低推测采样的效率；后者则保留了推测采样的效率，但可能降低水印的可检测性。

总的来说，DeepMind 的隐形水印方案为追踪 AI 生成的文本内容提供了一个有效的解决方案，同时保证了文本质量和不增加显著的计算成本。这一研究对于提高 AI 生成内容的透明度和可追溯性具有重要意义。