1同一图像被两名标注员分别标为不同类别,首先应如何处理?
- A. 随机保留一个
- B. 删除全部同类图像
- C. 核对标注规范并复核争议,必要时完善边界说明
- D. 按谁提交更早选谁
2训练集与测试集包含同一用户高度相似样本,会有什么风险?
- A. 使标签自动正确
- B. 评估数据泄漏
- C. 必然降低所有指标
3数据增强对分类标签应满足什么条件?
- A. 增强后语义仍支持原标签
- B. 必须改变为反义句
- C. 随意删去否定词
4在图像标注项目中,标注员对同一张图片中的遮挡目标按“可见部分轮廓”完成框选,复核员发现该批数据要用于训练检测模型,此时最合理的处置是
- A. 要求标注员改为按目标完整范围框选并补充遮挡标记
- B. 保留原框选结果并直接把遮挡样本从训练集中剔除
- C. 把遮挡目标的标注类别统一改为背景类别
- D. 让复核员按完整范围重标后覆盖原标注且不记录差异
5在设计一个文本情感分类数据集的划分与评估方案时,下列做法合理的有(多选)
- A. 按时间切分以避免同一用户跨集合造成泄漏
- B. 分层抽样保持各集合类别比例接近
- C. 只在训练集上拟合分词器与向量化参数
- D. 用测试集反复调参直到指标最优
- E. 把验证集与测试集合并以增加评估样本量
6在图像分类标注项目中,标注员对同一张含遮挡的目标图片先标了“行人”,复核时发现遮挡面积超过一半,按规范应如何处置最合适?
- A. 维持“行人”标签,在备注中写明遮挡比例
- B. 改为“不确定”标签并转交复核仲裁
- C. 直接删除该图片,不纳入数据集
- D. 改标为“非行人”,因为遮挡导致特征不足
7多选:在标注质量复核中,以下哪些做法有助于发现系统性标注错误?
- A. 对每个标注员按比例随机抽样复核
- B. 统计各标签的使用频率并与先验分布对比
- C. 只复核标注员自认为拿不准的样本
- D. 用已训练模型对全量标注做一致性筛查
- E. 把复核工作交给同一位标注员自查
8某团队在模型评估时发现验证集F1为0.85而测试集F1为0.72,差距明显,最应先检查的环节是
- A. 验证集与测试集的划分是否独立同分布
- B. 模型在验证集上是否过拟合
- C. 测试集样本量是否过小
- D. 评估脚本的F1计算实现是否正确
9某团队用同一批数据训练了三个模型,分别得到准确率0.81、0.82、0.83,直接选择0.83的模型上线,最需要补充的评估步骤是
- A. 在独立测试集上比较三者并做显著性检验
- B. 查看哪个模型训练轮数最少以节省资源
- C. 比较三个模型的参数量大小
- D. 检查三个模型的训练损失是否都已收敛
10某团队在模型上线后发现某类别的预测错误率明显高于其他类别,复查训练数据发现该类别样本仅占总量的 3%,下一步最合理的做法是
- A. 直接删除该类别以简化问题
- B. 对该类别进行过采样或收集更多样本
- C. 整体增加所有类别的样本量
- D. 调整评估指标为宏平均后重新上线
11在图像数据标注项目中,为“行人”目标框制定标注规范时,要求标注框边界与目标可见轮廓边缘保持固定间距,这一做法的主要目的是什么
- A. 保证同一目标在不同标注员之间选取边界的一致性
- B. 让标注框面积略大于目标便于模型学习背景信息
- C. 减少标注框数量以加快标注速度
- D. 使标注框与图像边缘保持安全距离以防裁剪
12在图像标注项目中,标注员对同一张图片中的遮挡目标边界框反复调整仍无法确定范围时,最符合标注规范的处置是
- A. 按可见部分紧贴边缘画框并标记为遮挡
- B. 按目标完整轮廓推测画框并标记为可见
- C. 跳过该目标并在备注中写无法标注
- D. 扩大边界框至包含相邻同类目标
13标注平台新增一批医疗影像数据,标注员在标注前被要求先阅读标注手册并完成试标考核,这一步在质量管理体系中属于
- A. 标注前的准入与一致性校准
- B. 标注后的质量抽检与返工
- C. 数据集的划分与版本管理
- D. 模型评估指标的选取与计算
14某团队在训练对话模型时,把用户历史对话中的敏感信息直接保留在训练数据中,最合适的处置是
- A. 在训练前对敏感信息进行检测并脱敏替换
- B. 在模型部署后再对输出做敏感词过滤
- C. 把敏感信息所在整段对话从数据集中删除
- D. 要求标注员在标注时跳过敏感信息所在轮次
15在模型评估中,某团队发现验证集损失持续下降但验证集业务指标停滞,最应先排查的环节是
- A. 训练集是否被误当作验证集使用
- B. 损失函数是否与业务目标不一致
- C. 学习率是否设置得过高
- D. 批次大小是否超过显存容量
16在文本分类数据标注中,标注指南未对“讽刺性正面评价”给出明确归类,多名标注员将其分别标为正面和负面,质量复核首先应当做什么?
- A. 直接按多数标注员的意见统一
- B. 补充标注指南并组织一致性校准
- C. 删除所有讽刺类样本
- D. 把该类别从标签体系中移除
17某团队将数据集按 8:1:1 划分为训练集、验证集和测试集,但在模型选择阶段反复使用测试集调整超参数,这会导致
- A. 测试集评估结果偏乐观且泛化估计失真
- B. 训练集样本利用率下降但评估更稳定
- C. 验证集失去作用而测试集仍然可靠
- D. 模型欠拟合风险显著增加
18在标注任务中引入「黄金样本」的主要目的是
- A. 提高标注员单日产出上限
- B. 持续监控标注质量并发现偏差
- C. 替代最终的抽样复核环节
- D. 减少标注规范中的类别数量
19在提示工程中,为让模型按固定字段输出JSON,最应先采取的做法是
- A. 在提示中给出字段名和示例输出格式
- B. 把温度参数调到最高以增加多样性
- C. 要求模型自由发挥后人工整理字段
- D. 在系统提示中只写请认真回答
20某文本分类数据集共10000条,其中正类800条、负类9200条,若直接按8:2随机划分训练集与测试集,最可能出现的问题是
- A. 测试集中正类样本过少导致评估指标不稳定
- B. 训练集与测试集的类别比例会与原始数据不一致
- C. 随机划分会使训练集出现重复样本
- D. 负类样本会被自动降采样导致信息损失
21在图像数据标注项目中,标注员对同一张图片先标了「遮挡车辆」又改标为「完整车辆」,复核时发现该车约四成车身被前车挡住。按常见标注规范,正确判定应是
- A. 维持「完整车辆」,因为车轮廓可辨认
- B. 改为「遮挡车辆」,因为存在明显遮挡
- C. 改为「忽略区域」,因为无法确定类别
- D. 新增一个「部分车辆」标签并保留两项
22标注平台要求对每条标注结果记录「标注员、标注时间、所用规范版本」。新增这一要求的主要目的是
- A. 提升标注界面的操作响应速度
- B. 支持问题追溯与规范版本对比
- C. 自动完成标注质量的一致性校验
- D. 减少标注任务的总体人力成本
23某数据标注项目在验收时发现同一标注员对相似样本的标签一致性很高,但与其他标注员差异明显,最可能的问题是
- A. 该标注员对规范的理解与其他成员存在系统性偏差
- B. 该标注员标注速度过快,导致随机错误增多
- C. 该标注员使用的标注工具版本与其他成员不同
- D. 该标注员负责的样本难度整体低于其他成员
24某项目在划分数据集时采用随机划分,但数据中存在同一用户的多条记录,下列划分策略中最能降低评估偏差的是
- A. 按用户分组划分,确保同一用户记录只出现在训练集或测试集之一
- B. 按时间顺序划分,把较早记录作训练集、较晚记录作测试集
- C. 按类别比例分层抽样,保证训练集和测试集类别分布一致
- D. 先随机划分,再对测试集中与训练集同用户的记录进行剔除
25语音转写数据标注完成后,质检员抽取5%样本逐字复核,发现某标注员负责的片段中数字与专有名词错误集中出现,下一步最有效的质量改进动作是
- A. 把该标注员全部片段退回并重新随机抽检
- B. 针对数字与专有名词补充标注规范与专项练习
- C. 降低该标注员后续任务的抽检比例以节省人力
- D. 将该标注员片段直接从训练集中剔除不再使用
26在语音标注项目中,规范要求对含背景音乐的语音片段标注为含噪,某标注员把所有背景音乐音量低于人声的片段都标为纯净,复核时应判定
- A. 标注正确,背景音乐低不影响识别
- B. 标注错误,规范以是否含背景音乐为准
- C. 标注正确,人声清晰即可视为纯净
- D. 标注错误,应改标为无效片段
27在编写提示词时,工程师希望模型按固定字段输出结果便于程序解析,最应在提示中明确的是
- A. 输出字段名与字段顺序
- B. 模型的温度参数取值
- C. 训练数据的来源分布
- D. 推理硬件的显存容量
28某团队在划分数据集时先用全部数据训练模型,再从中随机抽取20%作为测试集评估,这种做法导致的主要问题是
- A. 测试集信息已泄露给模型使评估偏乐观
- B. 测试集比例过小导致方差过大
- C. 训练集样本被重复计入测试集
- D. 模型无法完成正常收敛
29质量复核发现某标注员提交的100条数据中有8条把“行人”标成了“骑行者”,复核员最合适的下一步处置是
- A. 退回该批次并附上错例要求全量自查
- B. 只把8条错误改完直接入库
- C. 把该标注员所有历史数据全部作废
- D. 将该标注员账号权限立即永久停用
30某项目将数据集按8:1:1随机划分后,发现同一用户的多条记录同时出现在训练集和测试集中,导致评估指标虚高,正确的改进措施是
- A. 按用户维度分组后再划分,确保同一用户只出现在一个子集
- B. 改为按时间顺序划分并打乱同一用户的记录
- C. 增大测试集比例到2:1:7以稀释重叠影响
- D. 在测试前删除训练集中出现过的用户记录