大数据工程师

该职位来源于猎聘 岗位职责 1. AI训练数据开发 负责AI训练数据平台建设及数据处理流程开发，支撑算法模型训练与迭代。 负责图像、视频、激光雷达（LiDAR）等多模态感知数据的采集、清洗、处理及数据管理。 深度参与训练数据全生命周期管理，包括数据筛选、数据挖掘、数据生成、质量评估及数据交付。 建设和优化数据处理Pipeline，提升训练数据生产效率与数据质量。 参与数据闭环系统建设，支持数据回传、场景发现、问题分析及数据迭代。 2. 数据挖掘与场景发现 基于模型表现及业务需求开展数据挖掘工作，识别关键场景和长尾问题。 参与Corner Case、Hard Case等关键场景的挖掘与管理。 协助算法团队分析模型失效场景，通过数据优化持续提升模型效果。 参与数据生成、数据增强及样本均衡策略设计，提高训练数据覆盖度。 3.平台及工程开发 负责AWS云端数据处理链路开发与维护。 负责海量数据存储、计算及数据流转架构建设。 与算法、测试、数据标注团队协同，推动训练数据问题闭环解决。 建立数据质量监控体系，持续优化数据处理效率和系统稳定性。 任职要求 本科及以上学历，计算机、人工智能、软件工程、数据科学等相关专业。 3年以上数据开发、AI数据相关经验 熟练掌握Python 熟练使用SQL，具备数据分析和数据处理经验 熟悉Linux开发环境 AI数据能力 深度参与过图像、视频或激光雷达等传感器数据相关项目。 具备数据挖掘（Data Mining）、样本分析或训练数据治理经验。 理解CNN等深度学习模型训练流程及训练数据构建逻辑。 具备从模型效果反向分析训练数据问题的能力。 熟悉AWS云平台相关服务（S3、EC2、EMR等）。 熟悉MySQL、PostgreSQL等数据库。 优先条件 自动驾驶、ADAS、机器人行业经验 计算机视觉（CV）相关经验 AI训练数据平台经验 LiDAR点云数据处理经验 MLOps平台经验