岗位职责
1、负责深度学习在线推理引擎的设计与开发，打造低延时，高吞吐的推理引擎；
2、参与神经网络加速技术的调研、探索和落地；
3、负责nlp大模型在实际业务场景中落地。
任职要求
1、本科及以上学历，具备丰富的模型推理加速算法经验，熟悉各类主流加速库，如：tensorrt / cudnn / mkl / xla等；熟悉各类ir，包括不限于onnx；
2、熟悉主流深度学习框架：tensorflow / pytorch，熟悉主流推理引擎：triton / openvino；
3、有算子开发经验，具备深度学习模型性能分析和优化能力；
4、熟悉图优化、混合精度、剪枝、编译优化技术，有实操业务落地经验的优先；
5、熟悉模型部署优化，如模型量化、模型压缩，模型转换，模型稀疏化等；
6、熟练掌握c/c++/python编程，有大模型端到端落地经验者优先；
7、熟悉pytorch源码者优先。