数据工程师（高级）

该职位来源于猎聘 数据工程师（高级） - 设计、构建和维护高吞吐量、容错的本地数据平台，同时构建高效的数据处理与分析作业，具备深入的在线服务数据监控和调优功能 - 在私有云或本地节点上构建、部署和优化企业级可扩展数据库及对象存储解决方案；执行索引优化和分区调整以应对航空工作负载 - 执行将现有存储架构迁移至现代Apache Iceberg湖仓一体架构所需的实践测试、基准测试和实施工作，包括但不限于查询效率、严格的时间旅行、ACID及模式演进控制 - 构建和维护基础平台服务，从复杂非结构化文档中解析、分块并提取结构化智能信息，转化为机器可读的结构化语义资产，为高精度信息检索做出贡献 - 将分散的本地化数据集存储单元整合为统一的内部数据联邦，最大限度降低延迟并标准化跨平台查询访问，实现自动数据库配置与资源分配 - 实施端到端数据标注系统，管理标注生命周期，确保为预测性AI生成高质量基准数据集和真实基准 - 支持AI可信度指标与数据质量基础的实施，并参与传统数据分析课题 交付成果： - 本地数据平台建设： 建立空客中国本地稳定、高效、统一的数据门面策略与平台 - 端到端Iceberg湖仓基础及高性能数据API： 通过具有严格ACID增强功能的高性能数据API服务，为业务用户提供稳定高效的数据访问接口 - 本地数据仓库贡献： 作为本地数据仓库建设的关键贡献者，完成统一关键存储和计算的配置，建立本地元数据管理系统 - 深入的数据质量门禁和监控功能： 基于数据标注框架建立真实基准和可信度指标库 关键绩效指标（KPIs）： - 本地数据平台效率、容错性和稳定性 - 数据质量、指标与标注框架的数据分析基础 - 后端服务与数据访问（高性能ACID API） - 本地Iceberg湖仓及端到端数据联邦中心 - 数据库即服务（DBaaS）自动配置与分配门面 - 结构化与非结构化知识提取功能 - 数据目录与元数据管理系统 任职资格： 学历： - 计算机科学、软件工程、数据科学或相关定量领域的学士或硕士学位 经验： - 5年以上数据平台工程或机器学习基础设施实践经验 - 至少2-3年大规模数据平台管理及与数据洞察集成的实践经验 技术技能： | 技能领域 | 具体要求 | |---------|---------| | 存储与湖仓 | 具备ETL生态系统和对象存储框架及现代湖仓结构的实践经验，特别是Apache Iceberg和Parquet | | 数据库管理 | 熟练使用HIVE和关系型数据库（PostgreSQL、MySQL）、NoSQL、时序或向量数据库 | | 数据联邦 | 具有联邦查询引擎实践经验或构建自动化数据库即服务（DBaaS）控制平面的经验 | | 脚本与解析 | 精通Python和专家级SQL（高级性能分析和调优）；具备编写稳健文档解析器、结构化与非结构化数据映射的经验；具备Shell脚本能力者优先 | | 数据质量 | 具备数据质量系统建设的扎实实践经验，熟悉数据分析和数据标注中间件；具备在生产环境中建立指标基础和数据洞察分析的实际经验 | | 加分项 | 具备DataOps或MLOps经验者优先；具备Docker和AWS或华为云技术栈经验者优先 | 基本技能： - 出色的英语口语和书面沟通能力，用于技术文档编写和全球协作 - 卓越的书面及口头表达能力，能够弥合技术人员与非技术人员之间的沟通鸿沟 - 优秀的人际交往能力和团队精神，能够与跨职能团队有效协作 - 秉持持续改进理念，在快速发展的AI/大数据领域保持技术更新