职位描述
1.湖仓一体底座架构建设:参与构建&优化淘天营销&交易大数据湖仓(Lakehouse),深度融合Iceberg/Hudi/Paimon等表格式与Flink(实时)、Spark(离线)、Hologres/StarRocks(交互式分析)等计算引擎,打造高性能、可靠的数据服务平台。
2.打造AI就绪的知识库:主导从原始多模态业务数据(如业务文档、用户行为日志、交易记录、商品图文等)到结构化知识资产的端到端 pipeline 建设。通过数据清洗、实体识别、关系抽取、知识融合等技术,构建覆盖营销、商品、交易全链路的统一业务知识库(含数据模型、数据血缘、知识图谱),为大模型提供强大的增强生成(RAG/GraphRAG/OAG等)能力。
3.驱动数据研发效能革命:设计并开发元数据驱动的自动化工具链(如智能建模、自动ETL、智能数据血缘追踪),将复杂的湖仓和知识库构建过程产品化、低代码化,极大提升团队的数据生产效率和研发体验。
职位要求
1.计算机或相关专业本科及以上学历,1-3年以上大型互联网公司大数据平台开发经验。
2.熟练掌握SQL,并熟悉至少一种主流大数据处理框架(如Spark, Flink)或数据湖仓技术(如Data Lake, Iceberg, Hudi)
3.对AI前沿技术有热情和实践,了解大语言模型(LLM)基本原理,有以下任一经验者优先:
知识工程:熟悉知识图谱、关系抽取、实体对齐等技术。
知识增强检索:了解或使用过如 向量RAG/GraphRAG/混合检索系统。
多模态数据处理:有处理文本、图像等多模态数据的经验。
4.对电商营销、交易、商品等业务领域有浓厚兴趣和快速学习能力。