1.参与大模型预训练数据的构建,不限于数据采集、数据清洗、数据增强,搭建高效的分布式数据pipeline;
2. 参与大预言模型的数据质量提升,不限于数据风控策略、异常数据检测、数据修复、特定领域数据扩充;
3. 参与模型训练数据标签体系的建设,建设数据自动打标服务,完成海量数据打标;
4. 参与模型数据的全生命周期调优工作,实现数据自动处理,提高数据的处理效率,缩减数据交付周期。
1. 本科以上、计算机相关专业,三年以上数据开发经验;
2. 精通Python语言,熟悉Spark、Ray等分布式框架,具备丰富的大规模数据处理实践经验是加分项;
3. 以下方向有实践经验或兴趣浓厚优先:大规模文本数据质量提升、多模态数据处理、文本数据清洗、语音数据处理。