Save Job
Posted 2y ago

大模型推理服务部署框架资深工程师-智能创作(北京/上海/深圳)

@ ByteDance
Shanghai or Beijing or Shenzhen
OnsiteFull Time
Responsibilities:designing architecture, deploying services, optimizing inference
Requirements Summary:5+ years software development experience, degree in computer science or related, proficiency in Python/C/C++/Go, experience deploying and optimizing large-model inference services, strong communication skills.
Technical Tools Mentioned:ComfyUI, VLLM, Slang, Ray, RPC, Python, C, C++, Go
Save
Mark Applied
Hide Job
Report & Hide
Job Description

1、负责多模态大模型LLM/VLM/AIGC推理服务架构设计和实现、推理优化、服务部署、应用落地等,保障系统的高可用和低成本;
2、保障中长期技术规划、重点项目规划与执行;
3、与业务侧产品研发团队合作,确保高标准的产品顺利交付。

1、计算机科学或相关专业,拥有5年以上软件开发经验;
2、具备5年以上Python/C/C++/Go开发经验,精通至少一种编程语言,具备扎实的软件工程设计技能;
3、具备一定算法背景,了解LLM/VLM/AIGC等,对大模型应用层创新有热情,追求卓越,致力于逼近模型能力边界与硬件理论算力极限;
4、具备丰富的大模型推理服务部署经验,掌握ComfyUI/VLLM/Slang/Ray/RPC等,有分布式高并发系统架构经验者优先;
5、了解GPU/NPU硬件特性,具备一定Kernel开发及调优经验者优先;
6、具备出色的沟通和团队协作能力。