1、负责多模态大模型LLM/VLM/AIGC推理服务架构设计和实现、推理优化、服务部署、应用落地等,保障系统的高可用和低成本;
2、保障中长期技术规划、重点项目规划与执行;
3、与业务侧产品研发团队合作,确保高标准的产品顺利交付。
1、计算机科学或相关专业,拥有5年以上软件开发经验;
2、具备5年以上Python/C/C++/Go开发经验,精通至少一种编程语言,具备扎实的软件工程设计技能;
3、具备一定算法背景,了解LLM/VLM/AIGC等,对大模型应用层创新有热情,追求卓越,致力于逼近模型能力边界与硬件理论算力极限;
4、具备丰富的大模型推理服务部署经验,掌握ComfyUI/VLLM/Slang/Ray/RPC等,有分布式高并发系统架构经验者优先;
5、了解GPU/NPU硬件特性,具备一定Kernel开发及调优经验者优先;
6、具备出色的沟通和团队协作能力。