Xiaomi
Posted 10mo ago

顶尖实习-大模型芯片协同设计研究员-MiMo

Xiaomi
Beijing, Beijing, China
OnsiteInternship
Responsibilities
  • designing architecture
  • optimizing inference
  • co-designing chips
Requirements
  • Understand large model architecture and inference optimization
  • Experience with quantization
  • Sparsity, and efficient operators
  • Interest in computer architecture and chip co-design
  • CUDA/Triton experience and top-conference publications are pluses
Technical tools mentioned
CUDATriton

Job description

当模型规模触顶硬件天花板,真正的突破来自从模型到芯片的协同设计(Co-design)——让模型结构天然适配硬件特性,让芯片架构为模型量身定制。这正是我们在做的事。你将深入 MiMo 大模型的核心,从模型架构到推理效率,再到与自研芯片团队的深度协作,打通从算法到硅片的全链路。
你会做什么?
1、模型架构设计:参与大模型核心架构的探索与迭代,设计兼顾建模能力与计算效率的架构(如高效 Attention 等);
2、模型高效推理:研究低比特量化、稀疏化、投机解码等技术,在精度与推理效率之间找到最优解;
3、端到端性能优化:从算子、内存访问模式到系统级调度,推动软硬件协同的极致性能;
4、芯片协同设计:基于对芯片计算特性(数据流、存储层次、互联带宽)的理解,将模型侧的洞察转化为芯片架构的设计指引,与自研芯片团队紧密合作。

我们希望你是这样的人:
1、对大模型架构有扎实理解;
2、熟悉推理优化技术栈(量化/稀疏/投机解码/高效算子等);
3、对芯片/计算机体系结构有真实兴趣 。
加分项:
1、有大模型训练/微调经验;
2、有 CUDA/Triton kernel 开发经验;
3、在系统、体系结构或 ML 方向的顶会有论文发表。

About Xiaomi

Design and manufacturing of consumer electronics and smart devices.