GPGPU 推理芯片性能优化工程师

该职位来源于猎聘 岗位职责

• 负责面向 GPGPU 推理芯片的大模型及深度学习算子性能分析与优化，提升芯片计算效率、访存效率和端到端推理性能。
• 负责 CUDA 算子的开发与深度优化，包括矩阵乘、卷积、Attention、归一化、激活函数、量化与反量化、通信等核心算子。
• 针对 GPU/GPGPU 微架构进行性能调优，包括线程组织、访存合并、共享内存使用、寄存器分配、计算与访存流水并行等。
• 负责大模型推理关键模块优化，包括 GEMM、FlashAttention、KV Cache、MoE、RoPE、RMSNorm、Sampling 等。
• 使用 Nsight Systems、Nsight Compute 等工具分析算子和模型性能瓶颈，建立 Roofline、带宽、算力及访存开销等性能模型。
• 负责算子融合、内核调度、数据布局、并行策略和流水线设计，降低 Kernel Launch、数据搬运及同步开销。
• 参与 FP16、BF16、FP8、INT8、INT4 等低精度推理方案的开发、精度验证与性能优化。
• 参与推理框架与芯片软件栈适配，包括 PyTorch、Triton、TensorRT-LLM、vLLM 等。
• 对标主流 GPU 平台，完成单算子和整网性能测试、瓶颈分析及优化方案落地。
• 与芯片架构、编译器、运行时和模型团队协作，提出软硬件协同优化建议，并推动芯片性能问题闭环。 任职要求
• 计算机、电子工程、微电子、自动化、数学等相关专业，本科及以上学历。
• 熟悉 CUDA 编程模型，具有 CUDA Kernel 开发和性能优化经验。
• 熟悉 GPU/GPGPU 架构，理解 Warp/Wavefront、SIMT、Occupancy、共享内存、寄存器、Cache 和全局内存等机制。
• 熟悉 CUDA 算子常见优化方法，包括：
• 全局内存合并访问与数据对齐；
• Shared Memory 分块及 Bank Conflict 优化；
• 寄存器复用与寄存器压力控制；
• 向量化访存、异步拷贝和双缓冲；
• Warp-level Primitive、Tensor Core 和 MMA 指令；
• Kernel Fusion、流水并行及计算访存重叠；
• Block、Warp、Thread 级任务划分与负载均衡。
• 熟悉至少一种高性能算子开发技术或库，如 CUTLASS、Triton、cuBLAS、cuDNN、FlashAttention。
• 熟悉 C/C++，具备良好的 Python 编程能力，能够阅读和分析汇编、中间表示或编译器生成代码。
• 熟悉深度学习基础算子和 Transformer、大语言模型推理流程，理解 Prefill、Decode、KV Cache、Continuous Batching 等关键机制。
• 能够使用性能分析工具定位计算、访存、同步、调度和通信瓶颈。
• 具备良好的问题分析、技术沟通和跨团队协作能力。 加分项
• 具有 GPU、NPU、AI 加速器或自研 GPGPU 芯片软件栈开发经验。
• 具有大模型推理引擎优化经验，熟悉 vLLM、TensorRT-LLM、SGLang、DeepSpeed 或 FasterTransformer。
• 具有 FlashAttention、PagedAttention、MoE、量化 GEMM 或稀疏计算优化经验。
• 熟悉 PTX、SASS、LLVM、MLIR，或具有编译器后端与指令级优化经验。
• 熟悉多卡并行和通信优化，包括 Tensor Parallel、Pipeline Parallel、Expert Parallel、NCCL 及通信计算重叠。
• 具有性能模型构建、芯片仿真器使用或软硬件协同设计经验。
• 有高性能计算、CUDA 算子或推理优化相关开源项目贡献者优先。 岗位产出
• 核心算子性能达到既定算力或带宽利用率目标；
• 提升典型模型在 Prefill、Decode 场景下的吞吐与时延表现；
• 建立完善的算子性能、精度和回归测试体系；
• 输出芯片性能瓶颈分析报告及软硬件协同优化建议。