标注数据管理 / 首页
正在连接服务
数据总览

标注需求

查找已有需求和结果,进入具体需求后再执行、评估、抽样和发起 Agent 初标。

标注需求全部历史均保留
数据快照来自 Langfuse
等待人工确认异常项目优先
待处理反馈按问题和需求追踪

全部标注需求

先搜索是否已经存在相同用途的数据。

创建需求

创建标注需求

先创建空的标注需求;进入详情页后再添加一个或多个 Langfuse 问题集合。执行和评估将在需求创建成功后的详情页中分别发起

需求说明

名称和用途将用于后续搜索、执行、评估与审计。

执行器与标注口径

每个执行器工作流只绑定一套当前口径;创建后会固定当时的版本,后续更新不会改变本需求的历史。

读取中

标注需求详情

正在读取需求说明。

问题集合
执行器
标注口径
总问题
GT
完整答案
运行次数0
评估次数0
正在读取语义函数覆盖情况…

运行结果

顶部按执行批次组织;批次内按问题集合展示各自真实 Run,执行记录与评估记录语义独立。

问题数据内容

按问题集合分组查看问题、运行答案、中间过程、GT、评估理由、标注 Agent 和人工确认人员;没有 expected_output 时不展示来源答案区域。

第 1 页

问题详情

查看当前有效 GT、Agent 候选结果和相关参考;这里不能直接修改标注内容。

请选择问题

添加问题集合

把 Langfuse Dataset 作为问题集合加入当前标注需求;已有运行会按后端规则发现并关联。

发起执行

只运行执行器,不自动开始评估。

选择问题集合

一次可选择一个、多个或全部问题集合;每个问题集合会保留自己的真实 Run。

发起 GT 对比评估

选择一个已结束的执行批次,使用当前有效 GT 做确定性对比。

请选择执行批次系统只评估该执行范围内已有有效 GT 的问题。

标注任务

创建新任务,或进入已有任务查看全部问题和标注进度。

已有标注任务

每个任务固定自己的问题范围、标注规则、责任人员和抽样预算。

创建标注任务

按问题数量从所选问题集合中冻结本次独立初标范围。

选择标注范围

可选择一个或多个问题集合;范围只依据 canonical 问题冻结,不读取 Run、评估或历史答案。

当前仅使用 RANDOM 单层等概率无放回抽样;每个任务都从所选 canonical 问题全集独立抽取,不依据历史执行、评估或抽样记录排除问题。

标注任务

标注任务

进入任务后查看全部问题,再发起 Agent 初标。

任务问题0本任务固定范围
已完成初标00%
已确认0当前已形成 GT 或裁定结论
正在读取人工审核分工…

任务问题

显示本任务范围内的全部问题

尚未选择问题请选择左侧问题查看初标状态和只读结果。

发起 Agent 初标

为当前任务发布 Agent 初标工作。

修改人工审核分工

首次人工裁定前可以调整人员;保存后系统会重新均分全部问题。

每个问题只分给一人,各审核员题量最多相差 1。修改不会改变任务问题范围和 Agent 初标结果。

人工审核

个人审核任务

查看当前审核员负责的问题和审核记录。

请从任务总览选择审核员
问题责任审核员处理优先级需要关注等待时间
正在读取待确认项目…
人工复核

人工复核

逐题查看 Agent 初标结果、理由和规则证据。

问题

当前问题的关注点会显示在这里。

待确认

请选择一个待确认项目

请选择一个待确认项目

确认 Agent 处置建议

认可后使用 Agent 已保存的处置类型、理由和事实依据,不需要重复填写。

使用反馈

反馈

关联具体需求或问题说明现象。反馈不会直接修改原标注。

全部反馈
处理中
反馈编号相关数据问题描述状态提交人
正在读取反馈…

提交反馈

说明问题和影响,后续处理将新增记录。

查看并处理反馈

先核对问题和当前有效 GT;处理结论不会直接修改标注。

正在读取反馈上下文…

申请补充能力

选择 Agent 已发现的能力缺口并描述业务期望;具体设计、实现、接入和验证由 Agent 或对应开发流程完成。

候选函数审核

语义函数审核

候选提交、审核、退回、拒绝和正式入库都在标注系统的语义函数审核模块内完成。

读取工作流角色…
当前操作模式
语义函数数量趋势按需查看测试集与 RAG 数量变化
标注口径

标注口径版本管理

每个执行器工作流绑定一套当前口径;工作流内不同意图或分支的判断规则统一放在这套口径的对应步骤中。

当前版本

请选择标注口径

版本、创建人和修改原因会显示在这里。

新版本立即成为该执行器的当前口径已经创建的需求仍使用原版本,历史不会被覆盖。

各步骤的判断规则

请选择一个版本查看。

版本记录

暂无版本记录。

新建标注口径

仅为尚未绑定口径的执行器创建;已有口径的执行器请使用“创建新版本”。问题和答案是系统固定字段,中间步骤可定义为任意无环 DAG。

各步骤判断规则

可新增、删除、排序步骤,选择前置步骤,并指定哪个步骤产出/校验最终答案。

基于当前版本创建

适合改错字、补充说明和改善表达;结构、前置关系、最终答案节点和执行器保持不变。

各步骤判断规则

结构只读;仅可修正规则文字和补充说明。