分久必合：统一伪造图像检测 Unified Fake Image Detection

大家猜猜看下面这张聊天截图用了什么伪造手法：

（应该）有点小难选的吧~~~

需要说明的是，你的答案对应了你需要调用什么样的伪造图像检测模型，因为现有的图像被动取证研究基本拆分为了多个独立的赛道，这些赛道主要包括但不限于 AIGC （整图生成）检测，（自然）图像（部分）篡改检测，（纯）文档（图像）篡改检测，Deepfake（伪造人脸）检测等^[1]。而且这些赛道的模型是不互通的，也就是一个图像篡改检测模型不能检测文档篡改图像，一个 Deepfake 检测器也对 AIGC 的人脸不起效，以此类推^[1]。当然你可以硬用 deepfake 检测器检测 AIGC 图像，只不过结果是类似随机猜测，没有参考价值而已。

一悖论的出现

那么在实际中，对这张聊天截图进行真伪的检测就陷入了一个「预判悖论」：

用户需要对图像的伪造手段进行判断，以调用正确取证模型得到结果；但，如果用户都能预判图像的伪造手段了，那用户还何必需要取证模型呢？

这个悖论的解决方案也极其直接：

构建一个统一伪造图像检测（Unified Fake Image Detection，下称 Unified FID）模型，也就是不预设图像的伪造手段，对任意方法伪造的图像都可进行检测。那么实际中用户也只需将需要检测的图像输入一个 Unified FID 检测器，就能得到相应的结果。

二图像被动取证赛道的分与合

在我们继续深入 Unified FID 之前，有一个必要讲的问题是，为什么图像被动取证领域或者叫内容安全领域发展成了（至少）四条完全独立的赛道呢，难道研究者们没有考虑实际应用情况？

然，天下大势，分久必合，合久必分。

正如实际场景将所有检测方案推向必然统一一样，对不同伪造手法发展出完全独立的检测方案也是技术发展的必然。

内容安全 / 被动取证 / 图像伪造检测技术的发展趋势归因于伪造手段的边界从明确到模糊的变化。或者简而言之，是大模型能力快速发展所导致的拟像效应：伪造手段逐渐走向黑盒化和统一化，都变成由大模型代劳的模式。

2.1分：伪造手段边界明确的年代

只需要将时钟回拨一两年，其实大家就能看到，对应不同内容的伪造图像，基本要采取不同的伪造方式。比如人脸伪造，除了 Deepfake 的效果以外，如果你采用 PS 等方法，基本都是一眼假的效果，根本没有检测的必要，人眼就能分辨。而对于文档图像，则必须要逐字手动 PS，保证字体、大小、色号等的一致性，如果简单使用生成模型，那么一定是连基本的字形都生成不对的状态。

因此，这时的需求也很明确，对应不同的图像，其实伪造的手法是相对固定的，针对这一系列伪造手法构建对应模型不仅效果好（专用性强），而且成本低。于是慢慢科研上就对不同的伪造手法发展出了独立的四条赛道，虽然有部分重复的地方（比如图像篡改的 inpainting 也包含了 AI 模型直接生成），但基本都互相独立：训练数据独立，模型方案独立，测评数据和方式也独立，而且在实际使用中也不会导致任何困扰。

2.2合：大模型抹平了伪造手段的边界

然而随着以 GPT-Image-2 为代表的生成与理解统一模型以及大量 harness 工具的上线，大模型直接根据用户需求完成图像伪造的能力得到了质变。以我们对香港保险行业的观察为例，今天大部分用于骗保的高质量（肉眼难以分辨的）伪造图像都是由大模型直接完成的（伪造就医证明、伪造索赔金额、伪造保险记录等）。这以前是手动 PS 的活，而 PS 的学习和时间成本都很高，且不是所有场景都适用，但是现在都直接大模型代劳了，而且完成的很出色。导致了现有伪造图像呈现「低大高强」的典型特征：门槛低，数量大，定制化程度高，欺骗性强。

大模型的能力基本覆盖或者模糊了以前图像伪造手段的处理边界，就是对任意内容的图像，其实都由大模型代劳即可。

三统一伪造图像检测任务的BP定义

3.1统一伪造图像检测 = AIGC 检测吗

既然都是大模型伪造，那么 Unified FID 是不是就是一个 AIGC 检测模型呢？

答案是否定的：

大模型伪造能力主要得益于 harness 工具而非简单的 diffusion 生成。大模型借助理解能力，会在生成的过程中不断监测图像内容是否完美符合用户需求，并且通过 harness 层不断自主调用各类工具修正图像内容，包括抠图，重绘，deepfake 换脸等工具。很多大模型会为此调用大量工具对图像内容进行精修，比如 codex 的单图生成往往花费数分钟之久，就是各类工具不断调用对生成过程进行约束的结果。现有大量 AIGC detection benchmark 主要关注大模型一次性生成的整张图像。这里包含两个要素：一是整图，即不包含大模型在真实图像上的二次或者局部伪造（最新的工作^[2]刚好也验证了现有AIGC检测模型对局部伪造的鉴别能力其实非常欠缺）。二是一次性，即不考虑人工或用其他（B）大模型对（A）大模型生成的图像进行的再次修改或二创；以及（A）大模型通过 harness 工具对图像的自我修正。

此外，在很长时间范围内，我们在互联网上面对的都是一个混合环境，也就是有很多大模型伪造的图像，也有很多是手工、小模型伪造的图像。这一方面归因于，历史上已经积攒了大量非大模型时代的伪造图像。另一方面则是，虽然大模型能力不断强化，但至今仍不能完全取代手工、特定模型等的篡改方案。比如，在科学（尤其医学、材料等方向）论文的图像中，图像具体位置上哪怕微弱的荧光、电泳等反应结果都带有强烈且明确的指示意涵，大模型在未来较长一段时间内都难以精确理解并准确约束这类图像的生成结果，实操中仍需依赖手工copy-move、splicing等方式伪造图像（也就是图像篡改检测中的手工复制粘贴、拼接等手法）。我们当然希望一个Unified FID模型能对科学论文图像伪造有效（毕竟科学论文的伪造图像样本稀缺、标注困难且危害性极大）。所以，只能检测AIGC图像的模型，甚至只能处理大模型伪造图像的模型都是不能实现 Unified FID的。（经过最新测试，GPT-Astra的computer-use能力已经可以准确调度PS软件修图，所以未来大模型生成图像甚至可能跟手工P图的特征更相近，而非单纯的AIGC的图像特征）。

那么 Unified FID 任务到底是什么呢（BP 定义）：

3.2B：Binary Classification

首先，从任务范式上（B: Binary Classification）：

Unified FID 是一个图像二分类任务，输入图像，输出该图像对应的 0/1 分类标签。

也就是 f(x) = y, x = image, y = 0/1 的范式

这个范式里面代表：

标准训练数据集的构成为（图像，标签）/ (x, y) pair，即：

1. 模型只读入图像，然后直接预测该图像对应的 0/1（真/伪）标签。

2. 不能有关于图像伪造手法等的其他信息标注在训练数据中。

3. 但是自监督 / 半监督 / 无监督的方法辅助获取伪造手法等额外信息用于提升分类准确率是完全合理也可行的。

4. 利用预训练大模型获取其他相关信息也是合理且可行的，只要保证训练集 / 测试集输入均只有图像本身，额外构建 prompt engineering、post-training 等方法利用基座大模型攫取额外图像信息不会对任务范式造成任何影响。这相当于是基于大模型强化了 f(·) 函数，使其可以从 x 中获取额外信息。

3.3P：Polymath

其次，从模型性能上（P: Polymath）：

Unified FID 要求一个通才模型同时超越多个专才模型，也就是一个统一的模型要在各个子领域上，比如典型的我们前面说的四个子领域：Deepfake、AIGC、图像篡改和文档篡改，同时超越各自子领域（尽可能多）的 SOTA 模型。这样一个模型才是真正在实际中有应用价值的模型。尤其在我国超大规模内容平台的治理、反诈风控与舆情巡检这些特有场景下，在审核拦截、欺诈识别与舆情取证等环节，模型面对的是亿量级、来源与伪造手法都完全不可预设的图像，只有超越专才模型的精度，才能让Unified FID模型在这类场景中格外有效。

在有了定义之后，Unified FID 任务貌似有很多简单直接的实现方式，比如直接选一个基础模型在拉通的数据集上进行 fine tuning / post training 好像就行了。

四统一伪造图像检测任务的研究蓝图

那 Unified FID 到底难在哪里，我们下面将梳理研究蓝图（blueprint）并逐点分析：

总体上，Unified FID的技术路线可以比较清晰的分为三条：

单体小模型路线、大模型路线、大小模型协同路线

4.1单体小模型路线

这是目前我们研究最深入的一个路线，因为这个路线首先有一个非常强的领域直觉，就是图像被动取证这些子领域都在学习同一个东西 :artifacts，也就是伪造手法在图像上留下的痕迹。既然大家学的东西都是相通的，那么每个子领域现在都有这么多非常 work 的专用小模型，是不是可以通过将数据集和训练设定对齐拉通的方式，扩增大量数据并筛选出一个最强小模型，就可以解决 Unified FID 问题了呢？

这个思路非常有直觉，而且也很有意义，因为筛选最强单体小模型的过程能帮助我们提炼大量 insights，这对未来如何构建 Unified FID 专用的基座大模型是非常有帮助的。

但是通过我们从 ForensicHub 的测试来看，基本上没有任何一个子领域 SOTA 模型能实现我们 P 的要求。哪怕将所有子领域数据和训练设定打通，也没有任何一个子领域模型能强到通吃其他子领域的模型。简而言之，就是即便用 B 子领域数据训练 A 子领域的模型之后，A 子领域的模型也打不过 B 子领域的原有模型。甚至经过我们大量实验，把 ABCD 所有子领域数据都喂给某一（A）子领域模型后，它的性能却发生了明显下降，尤其在该（A）子领域本身下降极其明显。我们在 ForensicHub 上就发现了这一现象，然后在 SICA 中管这一发现叫做领域负迁移，也就是只要混入了其他域的训练数据，模型性能基本就会明显下降。领域负迁移现象的存在说明，依靠现有模型和数据拉通训练的方案是难以实现 Unified FID 的^[3]。

但是等等，这个思路至少在一开始我们直觉上是非常正确的啊~所以，应该是直觉错了么？

为此，我们在 SICA 中做了大量实验摸索：

首先，我们 linear probe 了子领域模型在拉通数据集训练后的特征空间，发现所有这样训练后的模型特征矩阵都存在比较明显的秩问题，SVD 分解后前 20 维特征共线性都较强（特征冗余太多，表征能力不足），表示模型其实没学到太多有用的 artifacts 特征。

其次，我们探查了上述模型在拉通数据训练过程中的梯度情况，发现了明显的梯度冲突，不同领域之间存在显著的负梯度对齐（梯度更新方向相反），使梯度的联合优化频繁产生相互抵消的更新，从而增加优化难度（并未真正 converge ）并促使模型走向折中解 的。

最后，我们探查了各个子领域非常有效也常用的手工特征，他们不仅不相同，甚至互相不能迁移，比如 deepfake 的 rPPG 人脸生理特征就根本无法迁移到自然图像或者文档篡改领域上，表示不同子领域中，各种 artifacts 本质上确实就是有特异性的。

综上三点，我们得出结论：

吉喆现象会带来异构特征的兼容性问题，尤其在单体小模型路线中，用极其有限的特征空间去兼容庞杂的异构artifacts表征，将非常容易引发特征空间坍塌。也就是，模型基本只会学习各个子领域共同的特征表达，放弃学习每个子领域独特的 artifacts 表征（特异性），最终学到的 artifacts 特征是一个平均/退化后的表达，导致 artifacts 特征坍塌（到平凡解 trivial solution），不再对各种篡改手法均有效（没有区分度）。简单说就是，模型在有限（不充裕）的特征空间下尝试为异构的 artifacts 建立一个尽可能共享/统一的表征，结果就是这个表征会在artifacts之间相互妥协，导致对各种artifacts都有点效果，但是也都没什么特别好的效果（有点用，但不多）。

4.2大模型路线

这是目前我们投入最多的方向，因为：

首先，大模型本身良好的 OOD 泛化能力是解决被动取证领域长期泛化性难点的关键。

并且，大模型有更大的特征空间，若能恰当约束特征空间流形，将artifacts特征划分到各个正交或者完全不相交的子空间中去，便可有效化解特征的统一性和特异性的矛盾，解决吉喆现象，避免特征空间的坍塌。

此外，大模型还拥有优秀的推理、用户意图理解和 agent 调用能力；在检测结果的迭代、解释、审计和外部工具协作等方面的潜力都非常好，具备极高的实用价值。比如可以让大模型做了检测之后自动给出对这个检测结果的解释以及调用外部物理 agent 或工具去审计核验这个解释是否正确，然后继续修正检测结果，这样构成一个 agent-based model 的 harness 环，很完美。

目前我们上线的 DeFakerOne 大模型也就是根据这套思路做的^[4]。

然而，尽管高昂训练成本所换来的超大参数空间可以有效解决特征坍塌问题，但Unified FID大模型在训练和推理中仍分别存在如下两方面科学问题（大家可以看看我们的 tech report，我就不在此重复问题的推理过程了）：

这种能力退化或者模型坍塌会导致极其严重的后果，比如大模型的 OOD 数据的泛化能力、大模型对检测结果的自动解释能力、大模型根据用户上下文对检测结果的修正能力、大模型调度 agent 对检测结果进行审计等的可能性都基本丧失了。或者更简而言之，这个模型就不会说话，也不能理解用户指令了，只会机械地对图像做二分类了，完全偏离了我们使用大模型的核心初衷。

在 post-training 阶段这个模型坍塌问题的本质机理我们目前还在探索中，这个问题应该不仅会存在在取证方向上，很多垂直领域随着训练数据量的积攒应该都会有类似问题慢慢出现。这是一个非常有价值也比较难的研究方向，欢迎大家一起讨论。

因此，如何对大模型路线下的 Unified FID 模型做推理加速也是一个核心问题。剪枝、量化、硬件尤其国产硬件加速等都是这个问题下的高潜力研究方向。

4.3大小模型协同路线

这是一个最直接、最不绕弯子的路线——反正我们各个子领域都有 sota 了，那就通过大模型路由调度一次吧，把小模型检测结果综合反馈给大模型判断即可（MoE 思想）。目前 Unified FID 除我们组外，很多强组（包括但不限于北大张健老师^[5]、港中深吴保元老师^[6]、中科大谢洪涛老师^[7]、深大李斌老师^[8]、北邮张继威老师等）都走了这条路线，大家可以多follow他们的工作，我就不赘述这条路线里科学问题的推导和凝练过程了。

总的来说，这条路线是目前发展最迅速的方向，也是最快能出成果的方向。需要继续深入研究的两个科学问题在于：

五写在最后

综上我们大概梳理了 Unified FID 这个任务的背景、定义、三条技术路线、各个路线对应的科学问题以及潜在的解决方案。这相当于为我们组过去 1-2 年的关键研究工作做了一个快速总结和对 Unified FID 问题的阐述做了一个简单的开场。关于 Unified FID 一些具体技术路线的可行性分析和潜力研判我会放到后一篇博文继续深入分析。

还需要在最后特别说明的是：我不认为 Unified FID 与现有的各个专有模型之间是替代关系，而应该是上下游关系。尤其在司法取证，传媒鉴证等强合规场景下，考虑到专用模型往往都结合了良好的领域先验知识，由 Unified FID 准确快筛、再由专用模型做证据审计（Evidence Auditing）的可解释取证（Explainable Forensics）模式将会是未来理想的工作流。

因为最近收到了很多邮件询问相关问题，所以我的第一篇博客比较长，对目前 30 多封邮件中的几乎所有问题都做了解答，可能有所遗漏和谬误，也欢迎大家联系我进行指正和修改。

目前海外也有很多研究者对 Unified FID 方向有一定兴趣，这篇博文的英文版已经同步发布，欢迎直接阅读~

Last but not least,

最后更新：2026 年 10 月 1 日