Artificial Intelligence Trainer practice paper

四级 / 三级 / 二级 | 30 questions | Name:__________ Score:______

Back Hide answers 15 Q30 Q50 Q100 Q

1同一图像被两名标注员分别标为不同类别,首先应如何处理?

  1. A. 随机保留一个
  2. B. 删除全部同类图像
  3. C. 核对标注规范并复核争议,必要时完善边界说明
  4. D. 按谁提交更早选谁

2训练集与测试集包含同一用户高度相似样本,会有什么风险?

  1. A. 使标签自动正确
  2. B. 评估数据泄漏
  3. C. 必然降低所有指标

3数据增强对分类标签应满足什么条件?

  1. A. 增强后语义仍支持原标签
  2. B. 必须改变为反义句
  3. C. 随意删去否定词

4在图像标注项目中,标注员对同一张图片中的遮挡目标按“可见部分轮廓”完成框选,复核员发现该批数据要用于训练检测模型,此时最合理的处置是

  1. A. 要求标注员改为按目标完整范围框选并补充遮挡标记
  2. B. 保留原框选结果并直接把遮挡样本从训练集中剔除
  3. C. 把遮挡目标的标注类别统一改为背景类别
  4. D. 让复核员按完整范围重标后覆盖原标注且不记录差异

5在设计一个文本情感分类数据集的划分与评估方案时,下列做法合理的有(multiple)

  1. A. 按时间切分以避免同一用户跨集合造成泄漏
  2. B. 分层抽样保持各集合类别比例接近
  3. C. 只在训练集上拟合分词器与向量化参数
  4. D. 用测试集反复调参直到指标最优
  5. E. 把验证集与测试集合并以增加评估样本量

6在图像分类标注项目中,标注员对同一张含遮挡的目标图片先标了“行人”,复核时发现遮挡面积超过一半,按规范应如何处置最合适?

  1. A. 维持“行人”标签,在备注中写明遮挡比例
  2. B. 改为“不确定”标签并转交复核仲裁
  3. C. 直接删除该图片,不纳入数据集
  4. D. 改标为“非行人”,因为遮挡导致特征不足

7多选:在标注质量复核中,以下哪些做法有助于发现系统性标注错误?

  1. A. 对每个标注员按比例随机抽样复核
  2. B. 统计各标签的使用频率并与先验分布对比
  3. C. 只复核标注员自认为拿不准的样本
  4. D. 用已训练模型对全量标注做一致性筛查
  5. E. 把复核工作交给同一位标注员自查

8某团队在模型评估时发现验证集F1为0.85而测试集F1为0.72,差距明显,最应先检查的环节是

  1. A. 验证集与测试集的划分是否独立同分布
  2. B. 模型在验证集上是否过拟合
  3. C. 测试集样本量是否过小
  4. D. 评估脚本的F1计算实现是否正确

9某团队用同一批数据训练了三个模型,分别得到准确率0.81、0.82、0.83,直接选择0.83的模型上线,最需要补充的评估步骤是

  1. A. 在独立测试集上比较三者并做显著性检验
  2. B. 查看哪个模型训练轮数最少以节省资源
  3. C. 比较三个模型的参数量大小
  4. D. 检查三个模型的训练损失是否都已收敛

10某团队在模型上线后发现某类别的预测错误率明显高于其他类别,复查训练数据发现该类别样本仅占总量的 3%,下一步最合理的做法是

  1. A. 直接删除该类别以简化问题
  2. B. 对该类别进行过采样或收集更多样本
  3. C. 整体增加所有类别的样本量
  4. D. 调整评估指标为宏平均后重新上线

11在图像数据标注项目中,为“行人”目标框制定标注规范时,要求标注框边界与目标可见轮廓边缘保持固定间距,这一做法的主要目的是什么

  1. A. 保证同一目标在不同标注员之间选取边界的一致性
  2. B. 让标注框面积略大于目标便于模型学习背景信息
  3. C. 减少标注框数量以加快标注速度
  4. D. 使标注框与图像边缘保持安全距离以防裁剪

12在图像标注项目中,标注员对同一张图片中的遮挡目标边界框反复调整仍无法确定范围时,最符合标注规范的处置是

  1. A. 按可见部分紧贴边缘画框并标记为遮挡
  2. B. 按目标完整轮廓推测画框并标记为可见
  3. C. 跳过该目标并在备注中写无法标注
  4. D. 扩大边界框至包含相邻同类目标

13标注平台新增一批医疗影像数据,标注员在标注前被要求先阅读标注手册并完成试标考核,这一步在质量管理体系中属于

  1. A. 标注前的准入与一致性校准
  2. B. 标注后的质量抽检与返工
  3. C. 数据集的划分与版本管理
  4. D. 模型评估指标的选取与计算

14某团队在训练对话模型时,把用户历史对话中的敏感信息直接保留在训练数据中,最合适的处置是

  1. A. 在训练前对敏感信息进行检测并脱敏替换
  2. B. 在模型部署后再对输出做敏感词过滤
  3. C. 把敏感信息所在整段对话从数据集中删除
  4. D. 要求标注员在标注时跳过敏感信息所在轮次

15在模型评估中,某团队发现验证集损失持续下降但验证集业务指标停滞,最应先排查的环节是

  1. A. 训练集是否被误当作验证集使用
  2. B. 损失函数是否与业务目标不一致
  3. C. 学习率是否设置得过高
  4. D. 批次大小是否超过显存容量

16在文本分类数据标注中,标注指南未对“讽刺性正面评价”给出明确归类,多名标注员将其分别标为正面和负面,质量复核首先应当做什么?

  1. A. 直接按多数标注员的意见统一
  2. B. 补充标注指南并组织一致性校准
  3. C. 删除所有讽刺类样本
  4. D. 把该类别从标签体系中移除

17某团队将数据集按 8:1:1 划分为训练集、验证集和测试集,但在模型选择阶段反复使用测试集调整超参数,这会导致

  1. A. 测试集评估结果偏乐观且泛化估计失真
  2. B. 训练集样本利用率下降但评估更稳定
  3. C. 验证集失去作用而测试集仍然可靠
  4. D. 模型欠拟合风险显著增加

18在标注任务中引入「黄金样本」的主要目的是

  1. A. 提高标注员单日产出上限
  2. B. 持续监控标注质量并发现偏差
  3. C. 替代最终的抽样复核环节
  4. D. 减少标注规范中的类别数量

19在提示工程中,为让模型按固定字段输出JSON,最应先采取的做法是

  1. A. 在提示中给出字段名和示例输出格式
  2. B. 把温度参数调到最高以增加多样性
  3. C. 要求模型自由发挥后人工整理字段
  4. D. 在系统提示中只写请认真回答

20某文本分类数据集共10000条,其中正类800条、负类9200条,若直接按8:2随机划分训练集与测试集,最可能出现的问题是

  1. A. 测试集中正类样本过少导致评估指标不稳定
  2. B. 训练集与测试集的类别比例会与原始数据不一致
  3. C. 随机划分会使训练集出现重复样本
  4. D. 负类样本会被自动降采样导致信息损失

21在图像数据标注项目中,标注员对同一张图片先标了「遮挡车辆」又改标为「完整车辆」,复核时发现该车约四成车身被前车挡住。按常见标注规范,正确判定应是

  1. A. 维持「完整车辆」,因为车轮廓可辨认
  2. B. 改为「遮挡车辆」,因为存在明显遮挡
  3. C. 改为「忽略区域」,因为无法确定类别
  4. D. 新增一个「部分车辆」标签并保留两项

22标注平台要求对每条标注结果记录「标注员、标注时间、所用规范版本」。新增这一要求的主要目的是

  1. A. 提升标注界面的操作响应速度
  2. B. 支持问题追溯与规范版本对比
  3. C. 自动完成标注质量的一致性校验
  4. D. 减少标注任务的总体人力成本

23某数据标注项目在验收时发现同一标注员对相似样本的标签一致性很高,但与其他标注员差异明显,最可能的问题是

  1. A. 该标注员对规范的理解与其他成员存在系统性偏差
  2. B. 该标注员标注速度过快,导致随机错误增多
  3. C. 该标注员使用的标注工具版本与其他成员不同
  4. D. 该标注员负责的样本难度整体低于其他成员

24某项目在划分数据集时采用随机划分,但数据中存在同一用户的多条记录,下列划分策略中最能降低评估偏差的是

  1. A. 按用户分组划分,确保同一用户记录只出现在训练集或测试集之一
  2. B. 按时间顺序划分,把较早记录作训练集、较晚记录作测试集
  3. C. 按类别比例分层抽样,保证训练集和测试集类别分布一致
  4. D. 先随机划分,再对测试集中与训练集同用户的记录进行剔除

25语音转写数据标注完成后,质检员抽取5%样本逐字复核,发现某标注员负责的片段中数字与专有名词错误集中出现,下一步最有效的质量改进动作是

  1. A. 把该标注员全部片段退回并重新随机抽检
  2. B. 针对数字与专有名词补充标注规范与专项练习
  3. C. 降低该标注员后续任务的抽检比例以节省人力
  4. D. 将该标注员片段直接从训练集中剔除不再使用

26在语音标注项目中,规范要求对含背景音乐的语音片段标注为含噪,某标注员把所有背景音乐音量低于人声的片段都标为纯净,复核时应判定

  1. A. 标注正确,背景音乐低不影响识别
  2. B. 标注错误,规范以是否含背景音乐为准
  3. C. 标注正确,人声清晰即可视为纯净
  4. D. 标注错误,应改标为无效片段

27在编写提示词时,工程师希望模型按固定字段输出结果便于程序解析,最应在提示中明确的是

  1. A. 输出字段名与字段顺序
  2. B. 模型的温度参数取值
  3. C. 训练数据的来源分布
  4. D. 推理硬件的显存容量

28某团队在划分数据集时先用全部数据训练模型,再从中随机抽取20%作为测试集评估,这种做法导致的主要问题是

  1. A. 测试集信息已泄露给模型使评估偏乐观
  2. B. 测试集比例过小导致方差过大
  3. C. 训练集样本被重复计入测试集
  4. D. 模型无法完成正常收敛

29质量复核发现某标注员提交的100条数据中有8条把“行人”标成了“骑行者”,复核员最合适的下一步处置是

  1. A. 退回该批次并附上错例要求全量自查
  2. B. 只把8条错误改完直接入库
  3. C. 把该标注员所有历史数据全部作废
  4. D. 将该标注员账号权限立即永久停用

30某项目将数据集按8:1:1随机划分后,发现同一用户的多条记录同时出现在训练集和测试集中,导致评估指标虚高,正确的改进措施是

  1. A. 按用户维度分组后再划分,确保同一用户只出现在一个子集
  2. B. 改为按时间顺序划分并打乱同一用户的记录
  3. C. 增大测试集比例到2:1:7以稀释重叠影响
  4. D. 在测试前删除训练集中出现过的用户记录

Answer key

  1. C 知识点:标注分歧应按统一规范和裁决流程处理。C正确;A、D无语义依据;B无理由丢弃数据并可能引入偏差。
  2. B 知识点:模型可能利用重复信息使分数偏高。A项错误:划分方式不能纠正标签;B项正确:模型可能利用重复信息使分数偏高;C项错…
  3. A 知识点:改变语义可能使标签失效。A项正确:改变语义可能使标签失效;B项错误:反义变化常改变类别;C项错误:删否定词可能反…
  4. A 知识点:遮挡目标的标注规范与复核处置。遮挡目标应按完整范围框选并标注遮挡属性,才能让检测模型学到目标整体位置;仅按可见轮…
  5. A、B、C 知识点:数据集划分与评估的防泄漏原则。按时间切分、分层抽样、仅在训练集拟合预处理都合理。错误项:用测试集调参会造成信息泄…
  6. B 知识点是遮挡样本的标注处置规范。正确项对:遮挡超阈值应标不确定并进入仲裁流程,保留可追溯性。错误项一错在自行备注不能替代…
  7. A、B、D 知识点是系统性错误的发现方法。正确项对:随机抽样、标签分布对比、模型一致性筛查都能暴露系统偏差。错误项三错在只查自认不确…
  8. A 知识点:验证集与测试集分布一致性。两者差距大通常源于分布不一致或划分泄漏,应优先检查划分的独立同分布性。过拟合解释的是训…
  9. A 知识点:模型评估与选择。正确项对:小差距需独立测试与统计检验判断是否真实差异。错误项:训练轮数、参数量、训练损失收敛都不…
  10. B 知识点:类别不平衡的处理。正确项针对少数类过采样或补采数据,能直接缓解样本不足。A 项删除类别会丢失业务能力;C 项整体…
  11. A 知识点是标注规范中边界框定义的一致性控制。正确项对:固定间距把主观边界选择转化为可执行规则,降低标注员间差异。错误项一错…
  12. A 知识点:遮挡目标的标注规范。正确项对:遮挡目标应只标注可见部分并打遮挡属性,保证框位置可复现。错误项一:按完整轮廓推测属…
  13. A 知识点:标注质量管理的前置环节。正确项对:试标考核用于统一理解、筛除不合格人员,属准入校准。错误项一:抽检返工发生在标注…
  14. A 知识点:训练数据合规处理应在训练前完成。检测并脱敏可保留语义同时降低风险;部署后过滤不能防止模型记住敏感信息;整段删除损…
  15. B 知识点是代理损失与业务目标的一致性。正确项:损失下降而业务指标不涨,常见原因是损失函数未对齐业务目标,优化方向与业务收益…
  16. B 知识点是标注指南与标注一致性管理。争议源于规则缺失,应先补充指南并做校准;直接按多数意见会掩盖规则问题;删除样本会损失真…
  17. A 知识点是数据集划分与模型评估的独立性。正确项对:测试集被用于调参后不再独立,评估会偏乐观。错误项二错在样本利用率不是核心…
  18. B 黄金样本是预先确定正确答案的嵌入样本,用于持续监控标注准确率与偏差。它不直接提升产出上限,也不能替代复核,更与类别数量无…
  19. A 知识点:结构化输出提示设计。给出字段名与示例能让模型对齐输出结构。错误项:提高温度会增加随机性不利于结构稳定;自由发挥再…
  20. A 知识点:类别不平衡下的数据集划分。正确项对:正类仅占8%,按比例划分后测试集正类约160条,少数类评估波动大。错误项:分…
  21. B 知识点:目标检测标注中的遮挡判定。遮挡比例达到规范阈值(如可见部分不足主体大部分)时应标为遮挡类而非完整类,故B正确。A…
  22. B 知识点:标注过程元数据的作用。记录人员、时间与规范版本便于追溯和版本差异分析,故B正确。A错在元数据记录与界面速度无关;…
  23. A 知识点:标注一致性分析与系统性偏差。正确项对:内部一致性高但与他人差异大,典型是规范理解偏差。错误项:速度过快通常表现为…
  24. A 知识点:分组划分避免实体泄漏。同一用户多条记录若跨训练测试,会因用户特征相似导致评估偏乐观,按用户分组可避免。错误项B时…
  25. B 知识点是质检发现后的针对性改进。错误集中在特定类型说明是规则掌握问题,应补规范并做专项训练;全部退回重抽成本高且未解决根…
  26. B 知识点是标注规范中类别判定依据;规范以是否含背景音乐为准,音量低仍属含噪。背景音乐低不影响识别属于主观判断;人声清晰不等…
  27. A 知识点是提示工程中的结构化输出约束。正确项对:指定字段名与顺序能让输出稳定可解析。错误项一错在温度参数属调用参数,不是提…
  28. A 知识点是数据集划分与数据泄露。先训练后抽取测试集,模型已见过这部分数据,评估结果会偏乐观,属于典型泄露。比例大小、样本重…
  29. A 知识点是标注质量闭环:发现系统性混淆需退回自查并保留错例。正确项对:退回并附错例可定位混淆原因,防止同类错误扩散。错误项…
  30. A 知识点:数据泄漏常由同一实体跨子集造成,应按实体分组划分。正确项按用户分组可消除泄漏。错误项一:按时间划分仍可能让同一用…