岗位职责
1. 设计并实现面向异构算力设备（移动端、边缘盒子、桌面端）的轻量化推理引擎，覆盖 Android/Linux/Windows 多平台，支持动态模型加载、内存优化、算力感知调度。
2. 针对不同设备算力（ARM NEON、x86 AVX、Mobile GPU），设计模型量化策略（INT4/INT8/FP16），适配主流开源模型（Qwen、Llama、Mistral、Phi等），实现推理延迟 < 500ms、内存占用 < 4GB 的生产级标准。
3. 构建端侧 Agent 执行引擎（AgentCore Harness），实现工具调用、多轮对话、上下文管理、流式输出、离线运行能力，与TianxiAI形成端边云协同闭环。
4. 设计端侧模型蒸馏回灌机制，支持云端大模型能力包向端侧增量更新，实现版本一致性校验、能力感知路由、断点续传与灰度发布。
5. 建立端侧推理性能基准体系（RTF、首token延迟、内存峰值、功耗），输出端侧模型选型指南，推动模型压缩工具链、自动化评测、CI/CD 流水线落地。
岗位要求
1、5年以上 AI 系统或推理引擎开发经验，深度参与过至少一个端侧推理框架的核心模块设计（ONNX Runtime / MNN / NCNN / MLX / llama.cpp / ExecuTorch）
2、精通 C++17 及以上版本，具备扎实的多线程与高并发编程能力，熟悉并发队列、无锁/低锁设计、锁竞争分析与性能优化；熟悉 Rust 者优先
3、深入理解大模型推理的核心瓶颈，能够从显存带宽、计算能力、PCIe 传输、CPU-GPU 页交换等维度定位性能问题，理解 Prefill 与 Decode 阶段在计算密集、访存密集及并行特征上的差异
4、有生产环境端侧模型部署经验，熟悉模型转换工具链（ONNX / CoreML / TFLite / MLC-LLM）
5、深入掌握 KV-Cache 底层原理及工程实现，熟悉 PagedAttention、逻辑块与物理块管理、页表映射、显存池等关键机制，能够针对长上下文和高并发场景优化缓存利用率
6、熟悉大模型推理请求调度策略，包括连续批处理（Continuous Batching）、动态批处理、预取与请求抢占，能够在吞吐、时延、公平性和资源利用率之间进行系统性权衡
7、具备 GPU 显存管理与优化经验，熟悉显存池化、显存碎片治理、CPU-GPU 页交换与 Offload 机制，能够设计受限算力和受限内存设备上的模型装载与运行方案
8、熟悉推理服务性能度量与调优方法，能够围绕吞吐量（TPS）、首 Token 时延（TTFT）、单 Token 解码时延（TPOT）建立基准测试、性能剖析和持续优化体系
