职位描述
加入我们,你将专注于让商家经营 Agent 持续变强:依托商家主数据体系,通过系统化的效果评测与问题归因,精准定位 Agent 表现不佳的根因,并针对性优化经营知识库、Skill 与工具能力,形成「评测 归因 优化 回归」的高频迭代循环,直接推动商家 Agent 从可用走向被依赖。
你将负责:
1、构建并运营商家经营场景的 AI 效果评测体系,设计评测集与评价标准,落地自动化评测与回归流程,让每一次优化都有可信度量;
2、对 Agent 的失败与劣化样本做深度归因分析,定位问题根因究竟落在知识缺失、Skill 编排、工具能力、上下文构造还是数据口径上,输出可执行的优化结论;
3、依托商家主数据体系持续优化经营知识库,包括知识抽取与补全、质量校验、冲突消解与失效淘汰,保障知识越用越准;
4、优化 Agent 的 Skill 与工具体系,改进任务编排、上下文工程、工具调用成功率与稳定性,提升端到端任务完成率与体验;
5、将线上真实表现持续反哺回评测集与知识库,沉淀可复用的归因方法与优化范式,让优化循环自身不断增强;
6、与研发、算法、产品及业务团队紧密协同,把优化成果转化为可衡量的商家经营效果。
职位要求
1、本科及以上学历,计算机科学、软件工程、数据或相关专业背景;
2、具备扎实的工程能力与数据分析能力,能独立完成数据处理、指标定义与效果分析,熟悉 SQL 与离线/实时数据链路;
3、理解 AI 应用技术体系,熟悉 Prompt/上下文工程、RAG、Agent 任务编排、工具调用等机制,有实际调优经验;
4、结果导向,对数据敏感,具备良好的问题拆解与根因追查能力,能把模糊的「效果不好」拆成可定位、可验证的具体问题;
5、沟通协作能力好,能与算法、研发、产品和业务高效对齐。
6、能独立负责一个业务子域的完整优化闭环,主导评测体系设计与归因方法论沉淀,而非仅执行既有流程;
7、具备体系化优化能力,能识别优化投入的边际收益并合理排布优先级,带动 1–2 名同学一起产出;