1同一图像被两名标注员分别标为不同类别,首先应如何处理?
2疾病筛查类模型中正类比例很低,仅报告准确率可能产生什么问题?
3语音转写中无法辨识的片段应怎样处理?
4检索增强生成中的检索步骤主要提供什么?
5训练数据按时间划分测试集主要适合什么目的?
6在图像标注项目中,标注员对同一张图片中的遮挡目标按“可见部分轮廓”完成框选,复核员发现该批数据要用于训练检测模型,此时最合理的处置是
7某团队在划分数据集时先用全部数据做特征标准化,再切分训练集和测试集,这种做法导致的主要风险是
8某图像标注团队要把 1 万张图片按 8:1:1 划分训练集、验证集和测试集,且同一拍摄场景的图片必须整体进入同一子集,正确的划分操作是
9在语音转写标注项目中,质检员复核一段含多人交替说话的音频时,以下哪些做法符合可复现的质量复核要求(多选)
10模型评估中,某二分类模型在正样本占比1%的数据集上准确率达到99%,该指标最可能说明什么?
11多选:在标注质量复核中,以下哪些做法有助于发现系统性标注错误?
12某团队用同一批标注数据既训练又测试模型,得到很高的评估分数,这种评估方式的核心缺陷是
13某文本分类标注任务中,两名标注员对同一批500条样本的标注一致率为82%,若要将一致率提升到可用水平,下一步最合理的做法是
14某分类模型在训练集上准确率99%、验证集上72%,数据标注复核确认标签无误,最应优先尝试的改进方向是
15某团队用 1000 条已标注文本训练意图分类模型,训练集准确率 99%、验证集准确率 62%,最可能的原因是
16某团队在模型上线后发现某类别的预测错误率明显高于其他类别,复查训练数据发现该类别样本仅占总量的 3%,下一步最合理的做法是
17在提示工程中,需要让大模型对一批用户评论做情感分类,并要求输出只能为“正面”或“负面”,最有效的提示设计是
18某提示工程任务中,模型对同一问题多次回答格式不稳定,有时输出JSON有时输出段落,最有效的改进措施是什么
19某标注员在文本实体标注中把“北京大学”整体标为“组织”,而规范要求院校名整体标注为“机构”,复核员应如何记录该问题
20某模型在测试集上准确率 0.92,但上线后对某新地区数据准确率骤降至 0.61,最应先排查的是
21标注平台新增一批医疗影像数据,标注员在标注前被要求先阅读标注手册并完成试标考核,这一步在质量管理体系中属于
22某模型在验证集上F1为0.92,在测试集上F1为0.71,训练集F1为0.95,最合理的诊断是
23在模型评估报告中,业务方发现“整体准确率95%”但实际使用中投诉很多,最可能被忽略的评估维度是
24在语音数据标注中,标注员遇到录音里两人同时说话的片段,按规范应标注为重叠语音,但某标注员将其切成两段分别标注为单人语音,复核时判定该标注错误,主要理由是
25在提示工程迭代中,为系统排查模型在某抽取任务上输出不稳定的原因,下列做法合理的有(多选)
26在文本分类数据标注中,标注指南未对“讽刺性正面评价”给出明确归类,多名标注员将其分别标为正面和负面,质量复核首先应当做什么?
27在构建机器学习数据集时,以下哪些做法有助于降低训练集与测试集之间的数据泄漏风险?(多选)
28在质量复核中,复核员发现某标注员对“模糊边界目标框”的标注普遍偏大,最合理的纠正措施是
29在模型评估阶段,以下哪些做法有助于获得更可靠的泛化性能估计(多选)
30某团队在模型评估时把测试集反复用于调参,最终报告的指标最可能出现的问题是
31在提示工程中,为让模型按固定字段输出JSON,最应先采取的做法是
32某分类模型在测试集上准确率很高,但按类别查看时少数类召回率接近零,最恰当的处理是
33对一批语音转写数据进行质量复核时,发现某标注员将大量背景音乐片段标记为“静音”,复核员判定该标注存在系统性错误,其主要依据是
34标注项目进入收尾阶段,质检员发现某批次中约5%的样本存在“同一目标被重复标注两个框”的问题,最合适的处置是
35模型评估报告显示准确率为 0.95,但混淆矩阵表明少数类样本几乎全部被预测为多数类。若要更真实反映模型对少数类的识别能力,应重点查看
36标注平台要求对每条标注结果记录「标注员、标注时间、所用规范版本」。新增这一要求的主要目的是
37某标注项目要求对语音片段做“是否包含唤醒词”的二分类,标注员遇到听不清的片段时,按可复现流程应优先
38某团队用大模型生成标注初稿再由人工审核,若发现初稿在否定句上错误率偏高,较合理的改进措施是
39某团队完成一轮数据标注后,质检抽样发现某标注员的边界框普遍比规范大一圈,下列纠正措施中最能针对性解决该问题的是
40在图像标注项目中,标注员对同一批图片连续两天完成标注,质检员用同一份标注规范复核后发现两天的框选位置差异较大,最应优先排查的环节是
41语音转写数据标注完成后,质检员抽取5%样本逐字复核,发现某标注员负责的片段中数字与专有名词错误集中出现,下一步最有效的质量改进动作是
42某团队做文本情感标注,规范规定中性文本归入中性类,但标注员把大量中性短评标成正面,复核时应优先检查
43提示工程中让模型完成多步推理任务时,在提示里给出一个完整的输入输出示例,这种做法通常称为
44在数据集划分时,工程师把同一用户产生的多条记录分别随机放进训练集和验证集,导致验证集指标明显偏高,这种划分方式造成的问题属于
45标注项目经理要为新任务制定可复现的标注流程,以下做法中最能保证复现性的是
46某团队在划分数据集时先用全部数据训练模型,再从中随机抽取20%作为测试集评估,这种做法导致的主要问题是
47在图像标注项目中,标注员对同一张图片中的同一目标重复画了两个高度重叠的边界框,质量复核时判定为不合格,最直接的判定依据是
48标注规范中规定“遮挡面积超过50%的目标不标注”,某标注员对遮挡约30%的目标也选择不标,质量复核应判定为
49在构建提示词时,要求模型从一段客服对话中抽取“用户诉求”和“情绪倾向”两个字段,为了让输出便于程序解析,最稳妥的提示设计是
50在多选题库建设中,为降低标注结果的可复现性风险,下列做法中合理的有(多选)
