案例拆解
医药文档问答案例拆解:75% 的改善该怎样计算
用 SOP 检索场景说明耗时基线、同题复测与引用核验,建立可复核的项目验收口径。
4 分钟
12 分钟降到 3 分钟,计算得出 75% 的耗时减少。但这个目标只有在问题、人员和判断标准足够可比时,才有业务意义。
从同一组问题开始
面对约 800 份质量文档,可以选择 30 个常见问题,覆盖术语定位、步骤查找、表格条件和无依据问题。先由业务人员使用原有方式查找,记录从看到问题到确认出处的耗时,而不是只记搜索框响应速度。
系统做了什么
导入时记录文档编号、版本、状态和可见角色。检索先按权限与有效版本过滤,再返回相关段落。问答界面展示引用,使用者仍需核对原文。对作废版本和无依据问题的处理,与正常问题同样进入测试集。
将错误答案计入结果
如果一个答案在 10 秒内生成,却引用了错误版本,不能算一次成功查询。应分别记录有效回答比例、引用正确性、权限隔离和成功任务耗时。不要只报平均速度,把错误与人工返工留在统计之外。
验收目标的正确写法
当项目将同一组任务的平均耗时基线设为 12 分钟、验收目标设为 3 分钟以内时,对应目标降幅为 75%。这不是模型准确率,也不等于人员成本减少 75%。上线报告还应附样本数、日期、失败任务和人工复核方式。
完整结构见医药 SOP 项目场景。项目范围与交付清单见医药文档 AI 问答。实际项目应以启动时的基线和验收时的复测记录为准。