AI infra专家-杭州

该职位来源于猎聘 【职位描述】 训练方向： 负责分布式训练框架的设计与优化，支撑医学大模型（LLM及多模态）的预训练、SFT微调、Post-Training（RLHF/GRPO/PPO等强化学习对齐）全流程训练任务。 构建高效稳定的训练数据Pipeline，包括数据预处理、数据加载与调度、Checkpoint管理（异步快照、分布式Checkpoint、断点续训）等基础设施。 优化大规模分布式训练的性能与稳定性，包括并行策略设计与调优（数据并行/张量并行/流水线并行/序列并行）、MoE架构训练与专家并行（Expert Parallelism）、FP8/BF16混合精度训练、长上下文训练（Ring Attention/Context Parallelism）、通信拓扑优化等。 推理方向： 负责模型推理引擎的选型、优化与定制开发，探索PD分离（Prefill-Decode Disaggregation）架构，保障线上推理服务的高吞吐、低延迟和高可用。 推进推理侧的关键技术优化，包括KV Cache管理（PagedAttention、多级缓存、KV Cache Offload）、量化压缩（FP8/INT8/INT4）、Continuous Batching、Chunked Prefill、Speculative Decoding、CUDA Graph优化等，持续提升推理效率和资源利用率。 设计和构建模型部署服务平台，涵盖模型版本管理、灰度发布、任务分发与路由、负载均衡、弹性扩缩容、资源池化与应用混部等能力。 管理高性能GPU计算集群，负责集群资源调度、监控告警、故障恢复等运维保障工作。 与医学算法、产品、运营以及业务工程团队通力合作，推进医学AI产品和技术的发展和应用，保障客户体验，实现业务落地和成本优化等目标。 【职位要求】 精通代码编写，包括但不限于C/C++/Python/Rust/Java等，熟悉Linux/Unix开发环境，具备良好的工程实现能力，有较强的代码调试和解决技术问题的能力。 熟悉计算机系统相关知识，包括计算机网络、操作系统、计算机体系结构、数据库等；对AI Infra相关技术有浓厚兴趣，熟悉Nvidia GPU及相关生态者优先。 对医疗健康领域有兴趣，了解医疗AI行业的特殊要求（如数据合规、模型可靠性、循证医学等）者加分。 有较强的团队精神和沟通交流能力，能够跨团队协作推动项目落地。 训练相关： 熟悉业界主流的分布式训练框架，包括但不限于PyTorch/Megatron/DeepSpeed/verl等，有大规模预训练、微调或RL训练（如GRPO/PPO）的实战经验。 具备分布式训练的高性能计算经验，如并行策略调优（数据并行/张量并行/流水线并行/序列并行）、MoE架构与专家并行（Expert Parallelism）、FP8/BF16混合精度训练、长上下文训练、梯度累积与通信拓扑优化、弹性Checkpoint等。 推理相关： 熟悉业界主流的推理引擎和框架，包括但不限于vLLM/SGLang/TensorRT-LLM等；有PD分离架构部署、大模型推理性能调优经验者优先。 具备推理侧关键技术优化经验，包括KV Cache管理（PagedAttention、Prefix Caching、多级缓存/Offload）、量化压缩（FP8/INT8/INT4/GPTQ/AWQ等）、Continuous Batching、Chunked Prefill、Speculative Decoding、CUDA Graph优化等。 有大模型部署平台设计及模型服务调度系统相关经验，包括模型部署和服务管理、任务分发和路由、负载均衡、弹性扩缩容、资源池化、应用混部等，熟悉K8s、Docker、Ray等技术。 对新的AI技术保持敏感和热情，熟悉主流AI算法，包括LLM大语言模型、多模态模型等；有相关研发经验者优先。 优先条件： 1.对主流的开源软件有深入的了解，并且对此有做出贡献； 2.具有自我驱动和自我管理能力，能够针对系统的不足提出改进方案并推动实现。