评估 Copyleaks AI 图像检测器的准确性
循序渐进的方法
我们认为，全面透明地披露人工智能图像检测器的准确率（包括误报率和漏报率）以及需要改进的方面，比以往任何时候都更加重要，以确保其得到负责任的使用和推广。这份全面的分析旨在全面透明地展示我们人工智能图像检测器 V1.1 模型的测试方法。
我们的模型旨在通过生成检测区域的叠加图来检测图像中经人工智能处理的部分。测试验证了该人工智能图像检测器在区分真实人像照片和人工智能生成或人工智能处理的图像方面具有很高的检测精度，同时保持了极低的误报率。
方法论
我们采用双团队系统，精心设计了评估流程，以确保一流的质量、标准和可靠性。我们有两个独立的部门负责评估模型：数据科学团队和质量保证团队。每个团队使用各自的评估数据和工具独立工作，互不接触对方的评估流程。这种分离确保了评估结果的公正性、客观性和准确性。此外，所有测试数据均与训练数据严格分离；我们仅使用从未与我们的AI图像检测器交互过的新图像来测试模型。为了确保测试始终具有相关性和挑战性，我们会持续更新评估数据集，纳入由最新GenAI模型生成的图像。
测试集构建
对于每个新模型的发布，Copyleaks 的质量保证 (QA)和数据科学团队都会独立收集并创建各种测试数据集。每个数据集包含有限数量的图像，并带有指示其来源的预期标签。这些数据集分为两类：
- 完全由人拍摄：由相机捕捉的真实图像，未经人工智能生成技术修改。这些图像来自经过验证的数据集或由人工创建。
- 全人工智能：完全由最新人工智能模型生成的图像。
我们使用多种生成式人工智能模型创建了人工智能生成的图像。测试针对 Copyleaks API 进行，我们将得分汇总以计算模型的性能。
评估仅针对符合以下技术要求的图像进行：最小尺寸为 512×512 像素，文件大小小于 32 MB，分辨率小于 16 兆像素，如文档中所述。
评估指标
该产品以人工智能生成的图像片段叠加图的形式进行预测。然后，根据模型对图像进行分类的准确度（即模型对图像真实类别的分类准确率）来评估其整体性能。
按图像类型划分的性能指标
为了提供清晰可靠的准确度衡量标准，我们根据被测图像的类型使用不同的像素级指标：
- 对于人像图像：关键指标是像素级误报率 (FPR) 。要使图像被判定为成功检测（真阴性），错误标记为“AI”的像素百分比必须低于 5% 。这一严格的阈值确保模型不会错误地将真实图像判定为人工智能图像。
- 对于人工智能图像：主要指标是像素级真阳性率 (TPR) 。要使图像被视为成功检测（真阳性），正确识别为“人工智能”的像素百分比必须大于 95% 。这确保模型能够全面识别完全生成的内容。
汇总报告指标
The overall accuracy figures presented in the Results tables, such as TNR (Human Accuracy) and TPR (AI), are aggregated from these pixel-level success criteria. For example, the TNR is the percentage of all tested human images that successfully met the <5% false positive pixel threshold.
结果
数据科学团队测试
数据科学团队对包含不同分辨率、拍摄设备、图像生成器和内容类型的图像的大型多样化数据集进行了以下独立测试。
| 数据集名称 | 人物图像（n=31,374） | AI图像（n=33,947） |
|---|---|---|
| 准确性 | 98.6% | 97.6% |
QA团队测试
模型训练完成后，质量保证团队使用专门为评估而创建的图像进行了独立测试。测试数据集包含分辨率各异、由不同设备拍摄、由各种图像生成器生成且内容类型多样的图像。
| 数据集名称 | 人类图像（n=10,000） | AI图像（n=10,000） |
|---|---|---|
| 准确性 | 99.3% | 98% |
误差分析
在评估过程中，我们会识别并分析错误的评估结果，以便数据科学团队能够纠正其根本原因。所有错误都会被系统地记录，并根据其性质和特点进行分类，这一过程被称为“根本原因分析”。该流程旨在了解错误的根本原因并识别重复出现的模式，从而确保模型的持续改进和适应性。这些见解将用于优化模型的后续版本。
局限性
虽然我们的模型取得了最先进的结果，但没有哪个检测系统是完美的，我们的模型也可能出错，例如对特定像素集进行错误分类。
该人工智能图像检测器经过专门训练，能够识别最新生成式人工智能工具生成的图像篡改。目前，该系统无法检测其他常见的图像修改，包括：
- 手动编辑：由人使用Photoshop等传统照片编辑软件进行的更改。
- 拼贴画：将不同真实照片的部分元素组合在一起而创作的图像。
- 简单滤镜和调整：应用摄影效果（例如“复古”、黑白）或基本调整（例如锐化、模糊、裁剪）。