AI推理框架工程师

该职位来源于猎聘 岗位职责： 1.负责端侧高性能AI推理框架开发，充分挖掘后端硬件的算力，构建AI框架； 2.适配各类模型及业务算法模型，落地到云端推理卡及端侧设备上，包含车、手机、IoT设备等； 3.负责端侧大模型推理套件开发，优化推理性能，协助客户进行部署； 4.负责业界AI框架技术跟踪调研，以及学术界技术落地可行性分析。 岗位要求： 1.熟悉业界开源框架设计实现，包含TFLite、MNN、MindSpore Lite、TVM等，具有框架开发经验更佳； 2.熟悉自然语言模型结构，具备模型部署的调试调优能力，了解各种量化、剪枝、稀疏压缩等模型小型化技术，以及算子融合、图优化、访存优化等优化技术； 3.熟悉常见开源大模型Llama2、Mistral、Gemma、MoE等模型结构，以及KVCache、PageAttention、FlashAttention、ContinueBatch、Medusa、Eagel等推理优化技术，具有端侧大模型端侧部署经验； 4.熟悉CPU、GPU等通用硬件架构，以及相应指令集和算子库，了解一款主流NPU硬件架构和工具链，比如HTP、APU等 5.具备扎实的C++和Python的编程基础，有丰富的编程经验者优先； 6.具有较强的学习和解决问题的能力，拥有良好的团队合作和沟通能力。