1同一图像被两名标注员分别标为不同类别,首先应如何处理?
2训练集与测试集包含同一用户高度相似样本,会有什么风险?
3数据增强对分类标签应满足什么条件?
4在图像标注项目中,标注员对同一张图片中的遮挡目标按“可见部分轮廓”完成框选,复核员发现该批数据要用于训练检测模型,此时最合理的处置是
5在设计一个文本情感分类数据集的划分与评估方案时,下列做法合理的有(多选)
6在图像分类标注项目中,标注员对同一张含遮挡的目标图片先标了“行人”,复核时发现遮挡面积超过一半,按规范应如何处置最合适?
7多选:在标注质量复核中,以下哪些做法有助于发现系统性标注错误?
8某团队在模型评估时发现验证集F1为0.85而测试集F1为0.72,差距明显,最应先检查的环节是
9某团队用同一批数据训练了三个模型,分别得到准确率0.81、0.82、0.83,直接选择0.83的模型上线,最需要补充的评估步骤是
10某团队在模型上线后发现某类别的预测错误率明显高于其他类别,复查训练数据发现该类别样本仅占总量的 3%,下一步最合理的做法是
11在图像数据标注项目中,为“行人”目标框制定标注规范时,要求标注框边界与目标可见轮廓边缘保持固定间距,这一做法的主要目的是什么
12在图像标注项目中,标注员对同一张图片中的遮挡目标边界框反复调整仍无法确定范围时,最符合标注规范的处置是
13标注平台新增一批医疗影像数据,标注员在标注前被要求先阅读标注手册并完成试标考核,这一步在质量管理体系中属于
14某团队在训练对话模型时,把用户历史对话中的敏感信息直接保留在训练数据中,最合适的处置是
15在模型评估中,某团队发现验证集损失持续下降但验证集业务指标停滞,最应先排查的环节是
16在文本分类数据标注中,标注指南未对“讽刺性正面评价”给出明确归类,多名标注员将其分别标为正面和负面,质量复核首先应当做什么?
17某团队将数据集按 8:1:1 划分为训练集、验证集和测试集,但在模型选择阶段反复使用测试集调整超参数,这会导致
18在标注任务中引入「黄金样本」的主要目的是
19在提示工程中,为让模型按固定字段输出JSON,最应先采取的做法是
20某文本分类数据集共10000条,其中正类800条、负类9200条,若直接按8:2随机划分训练集与测试集,最可能出现的问题是
21在图像数据标注项目中,标注员对同一张图片先标了「遮挡车辆」又改标为「完整车辆」,复核时发现该车约四成车身被前车挡住。按常见标注规范,正确判定应是
22标注平台要求对每条标注结果记录「标注员、标注时间、所用规范版本」。新增这一要求的主要目的是
23某数据标注项目在验收时发现同一标注员对相似样本的标签一致性很高,但与其他标注员差异明显,最可能的问题是
24某项目在划分数据集时采用随机划分,但数据中存在同一用户的多条记录,下列划分策略中最能降低评估偏差的是
25语音转写数据标注完成后,质检员抽取5%样本逐字复核,发现某标注员负责的片段中数字与专有名词错误集中出现,下一步最有效的质量改进动作是
26在语音标注项目中,规范要求对含背景音乐的语音片段标注为含噪,某标注员把所有背景音乐音量低于人声的片段都标为纯净,复核时应判定
27在编写提示词时,工程师希望模型按固定字段输出结果便于程序解析,最应在提示中明确的是
28某团队在划分数据集时先用全部数据训练模型,再从中随机抽取20%作为测试集评估,这种做法导致的主要问题是
29质量复核发现某标注员提交的100条数据中有8条把“行人”标成了“骑行者”,复核员最合适的下一步处置是
30某项目将数据集按8:1:1随机划分后,发现同一用户的多条记录同时出现在训练集和测试集中,导致评估指标虚高,正确的改进措施是
参考答案
- C 知识点:标注分歧应按统一规范和裁决流程处理。C正确;A、D无语义依据;B无理由丢弃数据并可能引入偏差。
- B 知识点:模型可能利用重复信息使分数偏高。A项错误:划分方式不能纠正标签;B项正确:模型可能利用重复信息使分数偏高;C项错…
- A 知识点:改变语义可能使标签失效。A项正确:改变语义可能使标签失效;B项错误:反义变化常改变类别;C项错误:删否定词可能反…
- A 知识点:遮挡目标的标注规范与复核处置。遮挡目标应按完整范围框选并标注遮挡属性,才能让检测模型学到目标整体位置;仅按可见轮…
- A、B、C 知识点:数据集划分与评估的防泄漏原则。按时间切分、分层抽样、仅在训练集拟合预处理都合理。错误项:用测试集调参会造成信息泄…
- B 知识点是遮挡样本的标注处置规范。正确项对:遮挡超阈值应标不确定并进入仲裁流程,保留可追溯性。错误项一错在自行备注不能替代…
- A、B、D 知识点是系统性错误的发现方法。正确项对:随机抽样、标签分布对比、模型一致性筛查都能暴露系统偏差。错误项三错在只查自认不确…
- A 知识点:验证集与测试集分布一致性。两者差距大通常源于分布不一致或划分泄漏,应优先检查划分的独立同分布性。过拟合解释的是训…
- A 知识点:模型评估与选择。正确项对:小差距需独立测试与统计检验判断是否真实差异。错误项:训练轮数、参数量、训练损失收敛都不…
- B 知识点:类别不平衡的处理。正确项针对少数类过采样或补采数据,能直接缓解样本不足。A 项删除类别会丢失业务能力;C 项整体…
- A 知识点是标注规范中边界框定义的一致性控制。正确项对:固定间距把主观边界选择转化为可执行规则,降低标注员间差异。错误项一错…
- A 知识点:遮挡目标的标注规范。正确项对:遮挡目标应只标注可见部分并打遮挡属性,保证框位置可复现。错误项一:按完整轮廓推测属…
- A 知识点:标注质量管理的前置环节。正确项对:试标考核用于统一理解、筛除不合格人员,属准入校准。错误项一:抽检返工发生在标注…
- A 知识点:训练数据合规处理应在训练前完成。检测并脱敏可保留语义同时降低风险;部署后过滤不能防止模型记住敏感信息;整段删除损…
- B 知识点是代理损失与业务目标的一致性。正确项:损失下降而业务指标不涨,常见原因是损失函数未对齐业务目标,优化方向与业务收益…
- B 知识点是标注指南与标注一致性管理。争议源于规则缺失,应先补充指南并做校准;直接按多数意见会掩盖规则问题;删除样本会损失真…
- A 知识点是数据集划分与模型评估的独立性。正确项对:测试集被用于调参后不再独立,评估会偏乐观。错误项二错在样本利用率不是核心…
- B 黄金样本是预先确定正确答案的嵌入样本,用于持续监控标注准确率与偏差。它不直接提升产出上限,也不能替代复核,更与类别数量无…
- A 知识点:结构化输出提示设计。给出字段名与示例能让模型对齐输出结构。错误项:提高温度会增加随机性不利于结构稳定;自由发挥再…
- A 知识点:类别不平衡下的数据集划分。正确项对:正类仅占8%,按比例划分后测试集正类约160条,少数类评估波动大。错误项:分…
- B 知识点:目标检测标注中的遮挡判定。遮挡比例达到规范阈值(如可见部分不足主体大部分)时应标为遮挡类而非完整类,故B正确。A…
- B 知识点:标注过程元数据的作用。记录人员、时间与规范版本便于追溯和版本差异分析,故B正确。A错在元数据记录与界面速度无关;…
- A 知识点:标注一致性分析与系统性偏差。正确项对:内部一致性高但与他人差异大,典型是规范理解偏差。错误项:速度过快通常表现为…
- A 知识点:分组划分避免实体泄漏。同一用户多条记录若跨训练测试,会因用户特征相似导致评估偏乐观,按用户分组可避免。错误项B时…
- B 知识点是质检发现后的针对性改进。错误集中在特定类型说明是规则掌握问题,应补规范并做专项训练;全部退回重抽成本高且未解决根…
- B 知识点是标注规范中类别判定依据;规范以是否含背景音乐为准,音量低仍属含噪。背景音乐低不影响识别属于主观判断;人声清晰不等…
- A 知识点是提示工程中的结构化输出约束。正确项对:指定字段名与顺序能让输出稳定可解析。错误项一错在温度参数属调用参数,不是提…
- A 知识点是数据集划分与数据泄露。先训练后抽取测试集,模型已见过这部分数据,评估结果会偏乐观,属于典型泄露。比例大小、样本重…
- A 知识点是标注质量闭环:发现系统性混淆需退回自查并保留错例。正确项对:退回并附错例可定位混淆原因,防止同类错误扩散。错误项…
- A 知识点:数据泄漏常由同一实体跨子集造成,应按实体分组划分。正确项按用户分组可消除泄漏。错误项一:按时间划分仍可能让同一用…
