预训练算法工程师
职位描述
1. 设计预训练技术路线，确定数据配比、训练超参（LR schedule、batch size ramp-up、序列长度渐进策略）
2. 负责预训练数据工程：数据清洗（去重、PII过滤、质量分类）、tokenization、数据混合策略、课程学习
3. 大规模分布式训练配置与优化：3D并行策略、显存优化、通信优化
4. 实现长Context训练方案：RoPE扩展训练，NTK-aware插值或YaRN
5. 训练监控与调优：loss曲线分析、梯度异常检测、训练稳定性保障、checkpoint管理
6. 定期中间评测，根据评测结果调整数据配比和训练策略
职位要求
1. 硕士及以上学历，AI/NLP/系统方向
2. 有完整的大模型预训练项目经验，参与过7B+模型预训练
3. 精通大规模分布式训练：Megatron-LM/DeepSpeed/FSDP，有64卡以上训练实操经验
4. 熟悉预训练数据工程：数据清洗、去重、质量过滤、tokenization、数据配比优化
5. 熟悉训练监控和调试：loss分析、梯度监控、训练稳定性处理
6. 了解长Context训练技术：RoPE扩展、NTK-aware、YaRN
Job Type: Full-time
Work Location: In person
