大模型端侧部署工程师

该职位来源于猎聘 工作描述 1. 针对不同硬件平台(Qualcomm、Nvidia等)，进行结构化剪枝、知识蒸馏、模型转换和量化压缩等工作 2. 分析优化模型结构，将LLM、VLM，NLP等模型部署到对应平台，提升模型的推理速度与运算效率 3. 跟进新技术动态，优化现有模型、资源占用，降低推理时延和精度损失，提升模型效果 4. 完成项目相关技术文档的编写和整理 5. 与算法、硬件和供应商等相关团队密切配合，共同推进项目进度 职位要求 1. 本科及以上学历，计算机、人工智能等相关专业 2. 两年及以上相关工作经验 3. 熟悉深度学习基本原理，掌握至少一种深度学习框架(如PyTorch、TensorFlow) 4. 熟悉C/C++、Python等编程语言，具备良好的编程基础 5. 熟悉NPU、GPU等SOC的编程，模型网络结构优化以及内存等优化 6. 熟悉模型部署相关流程，如有TensorRT、NeuroPilot/SNPE等工具链使用经验 7. 有大语言模型和多模态大模型工程化部署、模型优化的经验 8. 具备较强的学习能力和动手能力，自我驱动力强