跳到主要内容

标注审核与复核流程

这个概念解决什么问题​

AI 标注快，但准确率不是 100%。一个标注批次往往有几百张图，万一某张标错了被混进数据集，最后污染模型，损失远大于人工审核的成本。怎么在不拖慢迭代速度的前提下，把数据质量守好？

VortLab 用两层质量把关解决这个问题：图片级审核负责单张图的对错，批次级复核负责整个批次能不能交付。两层各管各的，不互相替代。这一页把整条流程理清楚。

两层质量把关​

字段类型必填默认值说明
图片级审核层级可选管图片逐张检查 AI 标注的结果，对的通过、错的退回、没目标的标记反例。主要把关 AI 标注质量。标注员或审核员都能做。
批次级复核层级可选管批次标注员完成整个批次后提交，项目管理员做最终确认，决定批准还是退回。批准后才能合并导入数据集。只有管理员能做。
审核管图片，复核管批次

这是一句话版术语规范，不要混用：

  • 审核：图片级操作。对 AI 标注的图逐张确认或退回。
  • 复核：批次级操作。整个批次提交后的最终确认。

审核面向单张图的标注质量，复核面向整个批次的交付能力。

完整流程图​

AI 标注 → 置信度分流
  │
  ├── 高于自动通过线 → 自动通过（已通过）
  │
  └── 低于自动通过线 → 待审核
        │
        ├── 人工通过 → 已通过
        ├── 人工退回 → 已退回 → 修正后重新审核
        └── 无目标 → 标记反例

全部审核完成 → 提交复核
  │
  ├── 管理员批准 → 复核通过待导入 → 合并导入数据集
  └── 管理员退回 → 批次回到 active → 修正后重新提交
怎么看这张流程图
  • 上半部分是图片级审核，发生在标注员提交批次之前。
  • 下半部分是批次级复核，发生在标注员提交批次之后。
  • 红色路径（退回 / 已退回）都是循环的，不是终点。最终都会汇入「合并导入数据集」。

审核状态 6 种​

每张图片在批次里都会处于以下状态之一，图片网格顶部的 6 个筛选 Tab 按这些状态分组。

字段类型必填默认值说明
全部筛选 Tab可选—批次里的所有图片，不区分状态。
未标注筛选 Tab可选—还没有任何标注来源的图。annotation_source 为空，纯原始图。反例图不计入未标注。
反例筛选 Tab可选—标记为「无目标」的图，只有图片本身，没有标注框。详见[反例标记](/docs/annotation/review#反例标记)。
待审核筛选 Tab可选—等待人工确认的图。包括 AI 标注且置信度低于自动通过线的图，以及被退回后重新修改的图。
已通过筛选 Tab可选—通过审核的图。可能是人工确认通过，也可能是置信度高于自动通过线被系统自动通过。纯人工新建的标注默认进入这里。
已退回筛选 Tab可选—人工审核认为标注有问题，退回等待修正。

自动通过线​

什么是自动通过线

AI 在标注时会给出一个置信度（confidence），表示它对这个标注有多确定。系统按这条线把图片分流：

  • 置信度高于线的图，自动标记为已通过，不进入人工待审核队列。
  • 置信度低于线的图，才会出现在你的审核队列里。

默认值是 0.5，往「高质量」拖阈值升高，往「高效率」拖阈值降低。第一次跑建议用默认值，看一遍自动通过和待审核的比例再调。

高置信度不会覆盖人工退回

已经被人工退回的图，即使置信度高于自动通过线，也不会被自动通过。人工判断永远优先于 AI 置信度，防止用同一个模型反复推翻你的决定。

拖动滑块调整自动通过线时，只影响后续重新分类，不会动已退回的图片。

自动通过线怎么调

滑块在审核视图顶部，面包屑和筛选 Tab 之间。拖动时实时显示当前阈值下的两个统计：

  • 「自动通过 N 张」：高于阈值的图，不需要人工看。
  • 「需审核 N 张」：低于阈值的图，会进你的审核队列。

阈值越高，自动通过的越少，需要人工审核的越多，整体质量把控越严。阈值越低，自动通过的越多，人工工作量小，但漏检错误的风险也高。

复核退回后​

批次回到 active 状态

管理员退回批次时填写的退回原因会显示在批次详情页左侧醒目位置（红色高亮）。批次状态回到 active，标注员可以继续修改。

修改完成后，批次详情页的按钮文案变成「重新提交」，点它再次进入待复核队列。

提交前的自查清单

提交复核前建议做 4 项自查，能大幅减少被退回的概率：

  • 所有图片都已标注（批次详情统计的「未标注」数为 0）。
  • 如果启用过审核，「待审核」数为 0。
  • 类别使用合理，没有把所有目标都标成一个类别。
  • 抽查几张图，确认标注框 / 多边形贴合目标。

做完这 4 项再提交，能少跑很多冤枉路。

角色与分工​

两种角色
  • 标注员：负责把批次里的图都标完。标完之后点「提交复核」交给管理员。被退回的话根据退回原因修改，然后重新提交。
  • 项目管理员：在「批次复核」侧边栏查看所有提交上来的批次，逐个检查标注质量，决定批准还是退回。批准之后，可以把结果合并导入数据集。
复核分组只有管理员能看到

全局标注批次列表左侧侧边栏的「批次复核」分组（包含「待复核」和「复核通过」）只有拥有审核权限的账号才会显示。普通标注员看不到这个分组，只能看到「我负责的」下面的「标注中 / 待复核 / 待修改 / 已完成」。

接下来​