随着生成式人工智能技术的快速发展,合成图像的真实性与视觉质量不断提升。然而,高质量合成图像也给阻止虚假信息传播、版权保护和数字内容溯源带来了新的挑战。合成图像溯源是追踪合成图像来源至其特定生成模型的关键任务。现有方法通常依赖深度神经网络提取局部或统计图像特征,但它们往往忽视与相似生成架构相关的内在关联,导致泛化能力较差。
针对上述问题,如图1所示,本文提出了一种差异驱动的层次化合成图像归因框架DHA(Discrepancy-Driven Hierarchical Approach)。受人类感知过程的启发,我们观察到:使用不同原型生成器重建图像的过程能够揭示出可量化的生成架构相似度指标。这种在重建差异中表现出的强烈且一致的层次趋势构成了一个内在且可靠的信号。该信号非常适合构建通用的溯源边界,并直接支持开放集溯源。

图1. DHA整体架构。
在此基础上,本文设计了一种基于交叉注意力机制的图像差异提取器(Image Discrepancy Extractor, IDE),以学习原始图像与重建图像之间的多维差异特征。IDE首先利用DINOv3提取图像特征,再通过交叉注意力机制对原始图像与重建图像之间的差异信息进行建模,输出差异幅度、差异嵌入和差异显著性图。其中,差异幅度用于衡量不同生成架构之间的匹配程度,差异嵌入用于捕获模型特有的判别信息,而差异显著性图则能够直观定位重建过程中出现的失真区域,从而增强归因结果的可解释性。进一步地,本文构建了一种由粗到细的层次化归因策略。首先,分别利用GAN和DM原型模型对输入图像进行重建,并通过IDE获得对应的GAN差异得分(GDS)和DM差异得分(DDS)。随后,根据两个差异得分的分布规律实现对真实图像、已知GAN、已知DM以及未知生成模型的粗粒度区分,并进一步识别未知模型所属的GAN或DM生成范式。对于已知生成模型,本文进一步融合原始图像特征与差异嵌入,实现具体生成模型的细粒度归因。通过这种层次化设计,DHA能够同时兼顾已知模型的细粒度归因与未知生成模型的开放集识别。
实验结果显示,本方法在涵盖真实图像、GAN生成图像和DM生成图像的六种评估场景中均取得了良好的归因性能。此外,多种扰动测试进一步验证了该方法的鲁棒性。该研究从生成架构相似性的角度揭示了重建差异的层次化规律,为构建面向生成模型的可解释、细粒度合成图像来源归因方法提供了一种新的思路。
上述研究由我院朱志颖副教授、平萍副教授共同完成。相关成果以“DHA: A Discrepancy-Driven Hierarchical Approach for Synthetic Image Attribution”为题,于2026年11月正式发表于国际权威期刊《IEEE Transactions on Multimedia》(TMM),DOI为10.1109/TMM.2026.3753142。该期刊为中国计算机学会(CCF)推荐A类期刊。