分久必合：统一伪造图像检测 Unified Fake Image Detection

大家猜猜看下面这张聊天截图用了什么伪造手法：

（应该）有点小难选的吧~~~

需要说明的是，你的答案对应了你需要调用什么样的伪造图像检测模型，因为现有的图像被动取证研究基本拆分为了多个独立的赛道，这些赛道主要包含但不限于 AIGC 检测（整图生成），（自然）图像（部分）篡改检测，（纯）文档（图像）篡改检测，Deepfake（伪造人脸）检测等^[1]。

对应各种赛道的模型是不互通的，也就是一个图像篡改检测模型不能检测文档篡改图像，一个 Deepfake 检测器也对 AIGC 的人脸不起效，以此类推^[1]。

一预判悖论

那么在实际中，对这张聊天截图进行真伪的检测就陷入了一个「预判悖论」：

用户需要对图像的伪造手段进行判断，以调用正确取证模型得到结果；但，如果用户都能预判图像的伪造手段了，那用户还何必需要取证模型呢？

这个悖论的解决方案也极其直接：

构建一个统一伪造图像检测（Unified Fake Image Detection，下称 Unified FID）模型，也就是不预设图像的伪造手段，对任意方法伪造的图像都可进行检测。那么实际中用户也只需将需要检测的图像输入一个 Unified FID 检测器，就能得到相应的结果。

二为什么会分成四条独立赛道

在我们继续深入 Unified FID 之前，有一个必要讲的问题是，为什么图像被动取证领域或者叫内容安全领域发展成了四条完全独立的赛道呢，难道研究者们没有考虑实际应用情况？

然，天下大势，分久必合，合久必分。

正如实际场景将所有检测方案推向必然统一一样，对不同伪造手法发展出完全独立的检测方案也是技术发展的历史必然。

内容安全 / 被动取证 / 图像伪造检测技术的历史趋势变化归因于伪造手段的边界从明确到模糊的变化。或者简而言之，是大模型能力快速发展所导致的拟像效应：伪造手段逐渐走向黑盒化和统一化，都变成由大模型代劳的模式。

2.1分：伪造手段边界明确的年代

只需要将时钟回拨一两年，其实大家就能看到，对应不同内容的伪造图像，基本要采取不同的伪造方式。比如人脸伪造，除了 Deepfake 的效果以外，如果你采用 PS 等方法，基本都是一眼假的效果，根本没有检测的必要，人眼就能分辨。而对于文档图像，则必须要逐字手动 PS，保证字体、大小、色号等的一致性，如果简单使用生成模型，那么一定是连基本的字形都生成不对的状态。

因此，这时的需求也很明确，对应不同的图像，其实伪造的手法是相对固定的，针对这一系列伪造手法构建对应模型不仅效果好（专用性强），而且成本低。于是慢慢科研上就对不同的伪造手法发展出了独立的四条赛道，虽然有部分重复的地方，但基本都互相独立：训练数据独立，模型方案独立，测评数据和方式也独立。在使用中也不会导致任何困扰。

2.2合：大模型抹平了伪造手段的边界

然而随着以 GPT-Image-2 为代表的生成与理解统一模型以及大量 harness 工具的上线，大模型直接根据用户需求完成图像伪造的能力得到了质变。以香港保险行业的数据为例，今天绝大部分用于骗保的高质量（肉眼难以分辨的）伪造图像都是由大模型直接完成的（伪造就医证明、伪造索赔金额、伪造保险记录等）。这以前是手动 PS 的活，而 PS 的学习和时间成本都很高，且不是所有场景都适用，但是现在都直接大模型代劳了，而且完成的很出色。导致了现有伪造图像 低大高强 的典型特征：门槛低，数量大，定制化程度高，欺骗性强。

大模型的能力基本覆盖或者模糊了以前图像伪造手段的处理边界，就是对任意内容的图像，其实都大模型代劳即可。

2.3统一伪造图像检测 = AIGC 检测吗

既然都是大模型伪造，那么 Unified FID 是不是就是一个 AIGC 检测模型呢？

答案是否定的：

首先，大模型伪造重点得益于 harness 工具而非简单的 diffusion 生成。大模型借助理解能力，会在生成的过程中不断监测图像内容是否完美符合用户需求，并且通过 harness 层不断自主调用各类工具修正图像内容，包括抠图，重绘，deepfake 换脸等工具。绝大部分大模型会为此调用数十项工具对图像内容进行精修，比如 GPT-Image-2 的单图生成往往花费数分钟之久就是各类工具不断调用对生成过程进行约束的结果。而 AIGC 图像往往被限定为大模型一次性生成的整张图像。这里包含两个要素：一是整图，不包含大模型在真实图像上的二次或者局部伪造；二是一次性，不考虑大模型调用工具基于生成—理解循环对图像的各类逐步修正。

其次，在很长时间范围内，我们在互联网上面对的都是一个混合环境，也就是有很多大模型伪造的图像，也有很多是手工、小模型伪造的图像。历史上已经积攒了大量非大模型时代的伪造图像，此外，虽然大模型能力不断强化，但至今仍不能完全取代手工、特定模型等的篡改方案。比如，目前最强的文档伪造手段依然是手工抠图 + PS 的方案。如果只能处理大模型伪造的图像也并不能实现 Unified FID。

三任务定义：B 与 P

那么 Unified FID 任务到底是什么呢 （BP 定义）：

3.1B：Binary Classification

首先，从任务范式上（B: Binary Classification）：

Unified FID 是一个图像二分类任务，输入图像，输出该图像对应的 0/1 分类标签。

也就是 f(x) = y, x = image y = 0/1 的范式

这个范式里面代表：

标准训练数据集的构成为（图像，标签）/ (x, y) pair，即：

1. 模型只读入图像，然后直接预测该图像对应的 0/1（真/伪）标签。

2. 不能有关于图像伪造手法的标签其他信息标注在训练数据集中。

3. 但是自监督 / 半监督 / 无监督的方法辅助获取伪造手法等额外信息用于辅助提升分类准确是完全合理也可行的。

4. 利用预训练大模型获取其他相关信息也是合理且可行的，训练集 / 测试集输入均只有图像本身，额外构建 prompt engineering、post-training 等方法从基座大模型中攫取额外图像信息不会对任务范式造成任何影响。这相当于是基于大模型强化了 f(·) 函数，使其可以从 x 中获取额外信息。

3.2P：Polymath

其次，从模型性能上（P: Polymath）：

Unified FID 要求一个通才模型同时超越多个专才模型，也就是一个统一的模型要在各个子领域上，比如典型的我们前面说的四个子领域：Deepfake、AIGC，篡改和文档篡改，同时超越各自子领域的 SOTA 模型。这样一个模型才是真正在实际中有应用价值的模型。

那么有了定义，貌似 Unified FID 任务有很多很简单直接的实现方式，并不难，比如直接找一个基座模型然后把所有子领域数据拉通对基座做 post-training。

四三条技术路线

那下面我们具体来讲讲 Unified FID到底难在哪里，也就是技术的 blueprint：

Unified FID 的技术路线可以比较清晰的分为三类：

单体小模型路线、大模型路线、大小模型协同路线

4.1单体小模型路线

这是目前我们研究最深入的一个路线，因为这个路线首先有一个非常强的领域直觉，就是图像被动取证这些子领域都在学习同一个东西 :artifacts，也就是伪造手法在图像上留下的痕迹。既然大家学的东西都是相通的，那么每个子领域现在都有这么多非常 work 的专用小模型，是不是可以通过将数据集和训练设定对齐拉通的方式，筛选出一个最强小模型，然后在 Unified FID 的数据集上训练就解决问题了呢？

这个思路非常有直觉，而且也很有意义，因为筛选最强单体小模型的过程能帮助我们提炼大量 insights，这对未来如何构建 Unified FID 专用的基座大模型是非常有帮助的。

但是通过我们从 ForensicHub 的测试来看，基本上没有任何一个子领域 SOTA 模型能实现我们 P 的要求，也就是哪怕将所有子领域数据和训练设定打通，也没有任何一个子领域模型能强到通吃其他子领域的模型。也就是哪怕用 B 子领域数据训练 A 子领域的模型之后，A 子领域的模型也打不过 B 子领域的原有模型。甚至经过我们大量实验，把 ABCD 所有子领域数据都喂给某一（A）子领域模型后，他们性能却发生了明显下降，尤其在该（A）子领域本身下降极其明显。我们在 SICA 中管这一发现叫做领域负迁移，也就是只要混入了其他域的训练数据，模型性能必然会下降。领域负迁移现象的存在说明，依靠现有模型和数据拉通训练的方案是注定无法实现 Unified FID 的^[2]。

但是等等，这个思路至少在一开始我们直觉上是非常正确的啊~所以，应该是直觉错了么？

为此，我们在 SICA 中做了大量实验摸索：

首先，我们 linear probe 了子领域模型在拉通数据集训练后的特征空间，发现所有这样训练后的模型特征矩阵都存在比较明显的秩问题，SVD 分解后前 20 维特征共线性都较强（特征冗余太多，表征能力不足）。

其次，我们探查了上述模型在拉通数据训练过程中的梯度情况，发现了明显的梯度冲突，不同子领域数据对模型的梯度更新方向完全相反，导致模型梯度在训练过程中基本沿着妥协方向缓慢下降。

最后，我们探查了各个子领域非常有效也常用的手工特征，他们不仅不相同，甚至互相不能迁移，比如 deepfake 的 rPPG 人脸生理特征就根本无法迁移到自然图像或者文档篡改领域上。

因此，我们得出结论：

吉喆现象在单体小模型中必然会导致一个结果 --- 特征坍塌，也就是模型基本只会学习各个子领域共同的特征表达，放弃学习每个子领域独特的 artifacts（特异性），最终学到的 artifacts 特征是一个退化后的 trivial 表达，artifacts 特征坍塌，不再对各种篡改手法有区分度。

4.2大模型路线

这是目前我们投入最多的方向，因为：

首先，大模型本身良好的 OOD 泛化能力是解决被动取证领域长期泛化性难点的关键。

并且，大模型有着超大的特征空间，可以有效解决吉喆现象。也就是可以将特征划分到各个正交或者完全不相交的子空间中去，这样就不会导致模型在统一性和特异性中做两难选择了，有效绕过了特征空间坍塌问题。

此外，大模型本身良好的对话、用户意图理解和 agent 调用能力，所以在对检测结果的迭代、解释、审计和外部工具协作上都潜力非常好，非常具备使用价值。比如可以让大模型做了检测之后自动给出对这个检测结果的解释以及调用外部物理 agent 或工具去审计核验这个解释是否正确，然后继续修正检测结果，这样构成一个 agent-base model 的 harness 环，非常完美。

目前我们上线的 DeFakerOne 大模型也就是根据这套思路做的^[3]。

然而大模型除了训练成本问题以外，大家可以看看我们的 tech report，存在两点非常亟待解决的科学问题：

这种能力退化或者模型坍塌会导致极其严重的后果，比如大模型的 OOD 数据的泛化能力、大模型对检测结果的自动解释能力、大模型根据用户上下文对检测结果的修正能力、大模型调度 agent 对检测结果进行审计等的可能性都完全丧失了。或者更简而言之，这个模型就不会说话，也不能理解用户指令了，只会机械地对图像做二分类了，完全偏离了我们使用大模型的核心初衷。

在 post-training 阶段这个模型坍塌问题的本质机理我们目前还在探索中，这个问题应该不仅会存在在取证方向上，很多垂直领域随着训练数据量的积攒应该都会有类似问题慢慢出现。这是一个非常有价值也比较难的研究方向，也欢迎大家一起讨论。

因此，如何对大模型路线下的 Unified FID 模型做推理加速也是一个核心问题。剪枝、并行、硬件尤其国产硬件加速等都是这个问题下的高潜力研究方向。

4.3大小模型协同路线

这是一个最直接、最不绕弯子的路线 --- 反正我们各个子领域都有 sota 了，那就通过大模型路由调度一次吧，把小模型检测结果综合反馈给大模型判断即可（MoE 思想）。目前 Unified FID 除我们组外，很多强组（港中深吴保元老师、中科大谢洪涛老师、北邮张继威老师等）都走了这条路线。

这条路线是目前发展最迅速的方向，也是最快能出成果的方向。主要可以继续深入的科学问题在于：

五写在最后

综上我们大概梳理了 Unified FID 这个任务的背景、定义、三条技术路线、各个路线对应的科学问题以及潜在的解决方案。

因为最近收到了太多邮件询问了相关话题，所以我的第一篇博客比较长，对目前 30 多封邮件中的几乎所有问题都做了解答，可能有所遗漏和谬误，也欢迎大家联系我进行指正和修改。

后续有时间我会写一个英文博客，目前也有很多外国研究者对 Unified FID 方向有一定兴趣。不过最近应该写不出来了~希望他们就将就下，直接大模型翻译吧~