Save Job
Posted 1y ago

AI多模态数据湖研发工程师-Data

@ ByteDance
Beijing, Beijing, China
OnsiteFull Time
Responsibilities:designing architecture, developing platform, optimizing scheduling
Requirements Summary:Bachelor's in computer science or related, strong programming in Java or Python, familiarity with K8s and cloud-native AI/big-data components, experience with Ray/Spark or LLM/platform development preferred.
Technical Tools Mentioned:K8s, Java, Python, Ray, Spark, LangChain, Dify
Save
Mark Applied
Hide Job
Report & Hide
Job Description

1、打造业界领先的大数据+AI云平台产品,满足大模型时代的数据处理及应用需求;
2、负责云平台的架构设计和研发,包括数据处理、资源调度、模型/算子管理、模型部署服务等;
3、基于K8s体系构建大规模任务处理系统,并负责GPU、CPU等多种异构资源的编排调度优化;
4、负责云平台与字节跳动火山引擎基础设施如计算、存储、AI模型等上下游生态的集成。

1、本科及以上学历,计算机相关专业;
2、拥有扎实的计算机基础和良好的编程能力,精通Java或Python语言,熟悉主流的Java或Python编程框架;
3、熟悉K8s工作原理、云原生AI/大数据生态常用的开源组件,或熟悉Ray、Spark等分布式数据处理框架者优先;
4、有深度学习、大模型、LLM应用等平台开发经验,或熟悉LangChain、Dify等开源Agent框架者优先;
5、熟悉大模型领域数据处理流程/算法者优先。