1. 开发训练/推理框架,参与训练/推理框架对于不同硬件的支持和优化;
2. 从工程和算法层面对训练/推理框架进行优化,能解决精度和性能问题;
3. 参与训练/推理相关功能产品化,为客户提供稳定高效的解决方案;
4. 开发推理引擎的运行时系统。包括内存管理以及资源管理等等;
1. 计算机相关学科本科及以上学历;
2. 熟悉C++、Python等编程语言,5年以上C++开发经验;
3. 熟悉深度学习框架 Pytorch、JAX;
4. 有使用 MLIR/Triton/XLA/IREE 进行AI模型编译和优化的经验;
5. 熟悉计算机体系结构基础知识,有扎实异构计算优化(GPGPU/x86/ARM等)、高性能网络架构通信优化、分布式训练策略优化等方面的经验;
6. 熟悉多层次的软件优化经验,如分布式优化(PD分离)、存储优化、kv-cache优化、动态Batching、IO优化、算子/指令集优化等;
7. 熟悉 CUDA/ROCm Runtime和Driver PI及其底层实现,理解常用机制如异步launch,事件event,进程隔离/调度。
8. 有很好的团队协作能力与沟通能力,对技术和代码品质有追求。