职位名称
分布式推理工程师（Distributed Inference Engineer）
岗位职责
分布式推理系统开发
设计并实现大规模AI模型（如LLM、多模态模型）的分布式推理框架，优化吞吐量（Throughput）和延迟（Latency）。
开发模型并行（Tensor/Pipeline Parallelism）、动态批处理（Dynamic Batching）和连续批处理（Continuous Batching）策略。
解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。
高性能推理优化
优化计算图执行（如使用TensorRT、ONNX Runtime、vLLM等工具）。
实现量化（FP8/INT8）、KV Cache优化、Flash Attention等加速技术。
针对CPU/GPU/NPU等硬件进行底层性能调优（如CUDA内核优化、内存管理）。
模型部署与工具链建设
构建自动化模型部署流水线（推理的端到端Pipeline）。
开发监控和调试工具，实时跟踪推理性能（显存占用、计算利用率等）。
跨团队协作
与算法团队合作，针对推理场景优化模型架构（如减少计算量、优化算子）。
与运维团队协作，设计高可用、可扩展的推理服务架构。
技术要求
必备技能
精通 Python/C++，熟悉PyTorch/TensorFlow推理生态（如TorchScript、Triton Inference Server）。
深入理解 分布式系统（NCCL/RPC通信、GPU Direct RDMA）和 并行计算（CUDA、OpenMP）。
熟悉 推理加速技术（量化、剪枝、算子融合）和框架（TensorRT、vLLM 、Sglang）。
有 大规模模型服务化 经验（如使用FastAPI、gRPC构建高并发API）。
加分项
熟悉LLM推理优化（PagedAttention、Speculative Decoding）。
有国产硬件适配经验。
参与过开源推理框架（如GGML、TGI）贡献。
论文/专利成果（涉及模型压缩、分布式推理等方向）。
任职要求
学历：计算机/电子工程/数学等相关专业，本科及以上学历。
经验：3年以上AI模型部署或分布式系统开发经验。
特质：对性能优化有极致追求，能快速定位系统瓶颈。
工作地点
地点：北京/上海