1同一图像被两名标注员分别标为不同类别,首先应如何处理?
2疾病筛查类模型中正类比例很低,仅报告准确率可能产生什么问题?
3语音转写中无法辨识的片段应怎样处理?
4检索增强生成中的检索步骤主要提供什么?
5训练数据按时间划分测试集主要适合什么目的?
6在图像标注项目中,标注员对同一张图片中的遮挡目标按“可见部分轮廓”完成框选,复核员发现该批数据要用于训练检测模型,此时最合理的处置是
7某团队在划分数据集时先用全部数据做特征标准化,再切分训练集和测试集,这种做法导致的主要风险是
8某图像标注团队要把 1 万张图片按 8:1:1 划分训练集、验证集和测试集,且同一拍摄场景的图片必须整体进入同一子集,正确的划分操作是
9在语音转写标注项目中,质检员复核一段含多人交替说话的音频时,以下哪些做法符合可复现的质量复核要求(多选)
10模型评估中,某二分类模型在正样本占比1%的数据集上准确率达到99%,该指标最可能说明什么?
11多选:在标注质量复核中,以下哪些做法有助于发现系统性标注错误?
12某团队用同一批标注数据既训练又测试模型,得到很高的评估分数,这种评估方式的核心缺陷是
13某文本分类标注任务中,两名标注员对同一批500条样本的标注一致率为82%,若要将一致率提升到可用水平,下一步最合理的做法是
14某分类模型在训练集上准确率99%、验证集上72%,数据标注复核确认标签无误,最应优先尝试的改进方向是
15某团队用 1000 条已标注文本训练意图分类模型,训练集准确率 99%、验证集准确率 62%,最可能的原因是
16某团队在模型上线后发现某类别的预测错误率明显高于其他类别,复查训练数据发现该类别样本仅占总量的 3%,下一步最合理的做法是
17在提示工程中,需要让大模型对一批用户评论做情感分类,并要求输出只能为“正面”或“负面”,最有效的提示设计是
18某提示工程任务中,模型对同一问题多次回答格式不稳定,有时输出JSON有时输出段落,最有效的改进措施是什么
19某标注员在文本实体标注中把“北京大学”整体标为“组织”,而规范要求院校名整体标注为“机构”,复核员应如何记录该问题
20某模型在测试集上准确率 0.92,但上线后对某新地区数据准确率骤降至 0.61,最应先排查的是
21标注平台新增一批医疗影像数据,标注员在标注前被要求先阅读标注手册并完成试标考核,这一步在质量管理体系中属于
22某模型在验证集上F1为0.92,在测试集上F1为0.71,训练集F1为0.95,最合理的诊断是
23在模型评估报告中,业务方发现“整体准确率95%”但实际使用中投诉很多,最可能被忽略的评估维度是
24在语音数据标注中,标注员遇到录音里两人同时说话的片段,按规范应标注为重叠语音,但某标注员将其切成两段分别标注为单人语音,复核时判定该标注错误,主要理由是
25在提示工程迭代中,为系统排查模型在某抽取任务上输出不稳定的原因,下列做法合理的有(多选)
26在文本分类数据标注中,标注指南未对“讽刺性正面评价”给出明确归类,多名标注员将其分别标为正面和负面,质量复核首先应当做什么?
27在构建机器学习数据集时,以下哪些做法有助于降低训练集与测试集之间的数据泄漏风险?(多选)
28在质量复核中,复核员发现某标注员对“模糊边界目标框”的标注普遍偏大,最合理的纠正措施是
29在模型评估阶段,以下哪些做法有助于获得更可靠的泛化性能估计(多选)
30某团队在模型评估时把测试集反复用于调参,最终报告的指标最可能出现的问题是
31在提示工程中,为让模型按固定字段输出JSON,最应先采取的做法是
32某分类模型在测试集上准确率很高,但按类别查看时少数类召回率接近零,最恰当的处理是
33对一批语音转写数据进行质量复核时,发现某标注员将大量背景音乐片段标记为“静音”,复核员判定该标注存在系统性错误,其主要依据是
34标注项目进入收尾阶段,质检员发现某批次中约5%的样本存在“同一目标被重复标注两个框”的问题,最合适的处置是
35模型评估报告显示准确率为 0.95,但混淆矩阵表明少数类样本几乎全部被预测为多数类。若要更真实反映模型对少数类的识别能力,应重点查看
36标注平台要求对每条标注结果记录「标注员、标注时间、所用规范版本」。新增这一要求的主要目的是
37某标注项目要求对语音片段做“是否包含唤醒词”的二分类,标注员遇到听不清的片段时,按可复现流程应优先
38某团队用大模型生成标注初稿再由人工审核,若发现初稿在否定句上错误率偏高,较合理的改进措施是
39某团队完成一轮数据标注后,质检抽样发现某标注员的边界框普遍比规范大一圈,下列纠正措施中最能针对性解决该问题的是
40在图像标注项目中,标注员对同一批图片连续两天完成标注,质检员用同一份标注规范复核后发现两天的框选位置差异较大,最应优先排查的环节是
41语音转写数据标注完成后,质检员抽取5%样本逐字复核,发现某标注员负责的片段中数字与专有名词错误集中出现,下一步最有效的质量改进动作是
42某团队做文本情感标注,规范规定中性文本归入中性类,但标注员把大量中性短评标成正面,复核时应优先检查
43提示工程中让模型完成多步推理任务时,在提示里给出一个完整的输入输出示例,这种做法通常称为
44在数据集划分时,工程师把同一用户产生的多条记录分别随机放进训练集和验证集,导致验证集指标明显偏高,这种划分方式造成的问题属于
45标注项目经理要为新任务制定可复现的标注流程,以下做法中最能保证复现性的是
46某团队在划分数据集时先用全部数据训练模型,再从中随机抽取20%作为测试集评估,这种做法导致的主要问题是
47在图像标注项目中,标注员对同一张图片中的同一目标重复画了两个高度重叠的边界框,质量复核时判定为不合格,最直接的判定依据是
48标注规范中规定“遮挡面积超过50%的目标不标注”,某标注员对遮挡约30%的目标也选择不标,质量复核应判定为
49在构建提示词时,要求模型从一段客服对话中抽取“用户诉求”和“情绪倾向”两个字段,为了让输出便于程序解析,最稳妥的提示设计是
50在多选题库建设中,为降低标注结果的可复现性风险,下列做法中合理的有(多选)
参考答案
- C 知识点:标注分歧应按统一规范和裁决流程处理。C正确;A、D无语义依据;B无理由丢弃数据并可能引入偏差。
- D 知识点:类别不均衡时,多数类占比可使准确率偏高,应结合召回率等指标。D正确;A无必然关系;B两者分母不同;C高准确率不代…
- C 知识点:保留不确定性避免虚构文本。A项错误:猜写会引入错误标签;B项错误:无依据删除损害完整性;C项正确:保留不确定性避…
- C 知识点:资料作为生成的上下文证据。A项错误:检索通常不涉及权重训练;B项错误:来源仍需评价可靠性;C项正确:资料作为生成…
- C 知识点:时间划分可体现时序泛化。A项错误:时间变化可能造成分布差异;B项错误:仍需查重控制;C项正确:时间划分可体现时序…
- A 知识点:遮挡目标的标注规范与复核处置。遮挡目标应按完整范围框选并标注遮挡属性,才能让检测模型学到目标整体位置;仅按可见轮…
- A 知识点:数据泄漏与预处理顺序。标准化应只在训练集上拟合再应用到测试集,否则测试信息泄漏。错误项:样本数不变;类别比例不由…
- B 知识点:数据泄漏与分组划分。正确项对:以场景为最小单位分组后再随机分配,可避免同场景图片跨子集造成信息泄漏。错误项一:按…
- A、C、D 知识点:语音标注质量复核的可复现流程。正确项一对:按统一说话人编号规则核对可保证一致性与可追溯。正确项三对:低置信片段单…
- B 知识点是不平衡数据下的评估指标选择。正确项对:高准确率可能来自多数类预测,需结合召回率等指标。错误项一错在准确率高不能推…
- A、B、D 知识点是系统性错误的发现方法。正确项对:随机抽样、标签分布对比、模型一致性筛查都能暴露系统偏差。错误项三错在只查自认不确…
- B 知识点:数据集划分与数据泄漏。训练测试重叠使模型记住样本,评估分数虚高。样本量不足表现为欠拟合,与重叠问题不同;复杂度问…
- A 知识点:标注一致性提升流程。正确项对:一致率不足时应通过分歧样本对齐语义边界并补充规范,从源头降低歧义。错误项:剔除低一…
- A 知识点:过拟合的识别与处置。正确项对:训练与验证差距大且标签无误,典型过拟合,应正则化或降复杂度。错误项:扩大测试集不解…
- B 知识点:模型评估中过拟合的识别。训练准确率远高于验证准确率是过拟合的典型表现。A 项验证集少会引起波动,但不会造成如此稳…
- B 知识点:类别不平衡的处理。正确项针对少数类过采样或补采数据,能直接缓解样本不足。A 项删除类别会丢失业务能力;C 项整体…
- A 知识点:分类任务的提示工程约束设计。明确任务、限定标签集合、给出示例并约束输出格式,能显著降低输出漂移。只说明任务会让模…
- A 知识点是提示工程中的输出格式约束。正确项对:给出示例和字段顺序属于结构化约束,能稳定输出形态。错误项一错在提高温度会加剧…
- A 知识点是标注质量复核中的错误归类与统计。正确项对:使用错误标签属于标签体系使用错误,应记录并纳入准确率。错误项一错在漏标…
- A 知识点:分布偏移与泛化评估。正确项对:地区变化导致特征分布偏移,是测试与线上差异的首要排查点。错误项一:参数量不足通常表…
- A 知识点:标注质量管理的前置环节。正确项对:试标考核用于统一理解、筛除不合格人员,属准入校准。错误项一:抽检返工发生在标注…
- B 知识点:通过三集合指标差异判断数据分布与过拟合。训练与验证都高而测试骤降,典型指向验证集与测试集分布不一致;欠拟合应三集…
- A 知识点:整体指标会掩盖子群体性能差异。若某些关键子群体准确率低,整体仍可能高,导致实际投诉多;推理耗时影响体验但不直接解…
- B 知识点是重叠语音标注对声学特征归属的影响。正确项:同时说话片段含混叠声学特征,切成两段单人标注会使每段都混入他人语音,破…
- A、B、D 知识点是提示工程的可复现流程与错误分析。正确项:固定模板与解码参数可排除随机性干扰;统计各版本抽取完整率能量化对比;按缺…
- B 知识点是标注指南与标注一致性管理。争议源于规则缺失,应先补充指南并做校准;直接按多数意见会掩盖规则问题;删除样本会损失真…
- A、B、C 知识点是数据泄漏的常见防控措施。按时间、按用户分组、先去重再划分都能减少同源样本跨集合;先标准化全量再划分会把测试集统计…
- B 知识点是标注质量问题的根因纠正。正确项对:普遍偏大说明标准理解偏差,应再培训与校准。错误项一错在只改结果不解决标准理解;…
- A、B、E 知识点是可靠模型评估的流程要求。正确项一对:分层抽样保持类别比例,减少划分偏差。正确项二对:训练集内再分验证集可避免测试…
- A 反复用测试集调参会把测试集信息泄漏进模型选择,使报告指标偏乐观。它不会直接造成分布偏移、脚本报错或推理变慢。
- A 知识点:结构化输出提示设计。给出字段名与示例能让模型对齐输出结构。错误项:提高温度会增加随机性不利于结构稳定;自由发挥再…
- A 知识点:类别不均衡下的评估。整体准确率高会掩盖少数类失效,需用混淆矩阵定位误判流向。错误项:提高阈值不解决类别问题;增加…
- B 知识点:语音数据标注类别定义。正确项对:背景音乐不是静音,标为静音违反类别定义,属系统性错误。错误项:数量超均值不必然错…
- B 知识点:标注缺陷的精准修复。正确项对:定位到具体缺陷样本做去重修复,并记录问题用于复盘最合理。错误项:整批重标成本过高;…
- B 知识点:不平衡数据下的评估指标选择。准确率会被多数类主导,少数类识别能力应看召回率与F1,故B正确。A错在准确率与训练损…
- B 知识点:标注过程元数据的作用。记录人员、时间与规范版本便于追溯和版本差异分析,故B正确。A错在元数据记录与界面速度无关;…
- A 知识点:标注不确定性与仲裁机制。正确项对:听不清属于不确定样本,应进入仲裁,保证可追溯和一致性。错误项:凭印象标注会引入…
- A 知识点:模型辅助标注的错误分析与提示迭代。正确项对:针对错误类型补示例并定向抽查,能有效降低系统性错误。错误项:提高温度…
- A 知识点:标注质量问题的根因纠正。边界框普遍偏大说明规范理解偏差,再培训并重标抽检批次可针对性纠正。错误项B只是规避问题,…
- B 知识点是标注一致性的根因分析。规范中边界判定描述模糊会直接造成同一人不同时间的判断漂移,属于系统性根因,应优先排查;疲劳…
- B 知识点是质检发现后的针对性改进。错误集中在特定类型说明是规则掌握问题,应补规范并做专项训练;全部退回重抽成本高且未解决根…
- B 知识点是标注质量复核中的一致性检查;中性被大量标成正面说明正面类内部一致性可能异常,应优先检查。打字速度与标注正确性无直…
- B 知识点是提示工程中示例数量的术语;给出一个完整示例属于单样本提示。零样本提示不提供示例;思维链提示强调展示推理步骤而非仅…
- A 知识点是划分时的数据泄漏。正确项对:同一用户记录跨训练验证出现,会让模型在验证集见到相关样本,指标虚高即泄漏。错误项一错…
- A 知识点是标注流程的可复现性。正确项对:规范版本固定并留变更记录,才能让不同时间不同人复现同一判定。错误项一错在个人习惯灵…
- A 知识点是数据集划分与数据泄露。先训练后抽取测试集,模型已见过这部分数据,评估结果会偏乐观,属于典型泄露。比例大小、样本重…
- A 知识点是标注重复性检查:同一目标只应有一个有效边界框,重复框会造成计数与训练标签冲突。正确项对:一物多框直接违反唯一性,…
- A 知识点是标注规范阈值执行:超过50%才不标,30%应标。正确项对:未达阈值却跳过,属于漏标。错误项一错在规范并非所有遮挡…
- A 知识点:结构化抽取任务需在提示中约束字段名、取值范围和输出格式。正确项同时给出字段、枚举和示例,便于稳定解析。错误项一:…
- A、B、D 知识点:可复现性依赖明确规范、一致性度量和持续复核。正确项一提供边界对照减少歧义;正确项二用独立双标和一致性指标发现分歧…
