Somya Chatterjee 等 · Microsoft Research · 阅读原文
原始来源：Somya Chatterjee 等 · Microsoft Research
企业助手需要处理的不是孤立问答。一个项目的决定可能散在邮件、会议和文档里，人员关系和时间先后也影响答案。真实客户资料又不适合随意拿来共享测试。微软介绍的 Industry Evaluation Data Generation Platform 因此先合成一套企业环境，再从其中生成评测问题。
环境包含组织、员工、通信与项目历史；微软称这种隔离工作区为 tenant。角色与工作频率参考 O*NET 职业资料，岗位信息帮助构造职称和部门，公开财报提供组织规模等背景。制药、资本市场和软件公司三类环境各有不同工作流程，并让邮件线索和项目决定随时间展开，以支持“上次讨论后改变了什么”之类问题。
问题生成也不是任意编一句：先从常见工作任务筛选行业适用项，再加入领域语言，绑定合成环境里的具体资料，改写成自然提问，最后核查准确性与重复。结构、语境、行为和内容检查用来改善生成数据。团队报告相对早期生成方案，内部综合质量分提高39%，每个环境包含数百名用户。
这39%衡量的是合成数据质量，不是Copilot答题准确率。环境目前进入微软内部共享目录；本文没有获得公开数据集或独立复测。多轮交互、跨更长时间的组织变化以及实际执行动作，仍被原文列为后续评测方向。
可信度 65 · 重要性 87 · 新颖度 86
技术与主题
评测与基准 · 检索与知识 · Synthetic Enterprise Data · Temporal Evaluation · RAG
编辑评读
这条路线的新能力是让企业任务能被反复构造、共享和回归测试。普通文档问答容易漏掉时间关系：答案引用了一份真实文档，却可能引用的是旧决定。先构造组织与历史，再从其中出题，可以把这些关系纳入题目的生成条件，减少只有表面行业词汇的测试。
公开职业和组织资料能约束角色分布，却不能自动保证每封邮件都像真实工作。内部质量分上升说明生成器更符合既定标准，仍需要检查这些标准是否能预测真实任务中的错误。尤其生成器和评判器若使用相近假设，很容易共同偏爱整齐、明确的沟通，而漏掉真实企业里的省略、反复和冲突。
可迁移的做法是先写出一个要测试的关系，例如同一决定被修改之后，助手能否区分旧版本与新版本，再生成承载这个关系的材料和问题。这样合成环境服务于可说明的能力，而不只追求更像一家公司的外观。若要证明现实收益，还需在适当权限下用实际任务验证排序是否一致；这是后续建议，不是微软这篇文章已经给出的结果。