负责公司数据闭环平台的数据采集、解析、清洗、预处理和组织,确保数据完整性和高质量
设计和优化数据处理流程,开发高效、可扩展的数据处理工具和脚本,提升数据处理效率
参与数据版本管理、数据格式转换和时间同步等工作,保证数据可追溯性和一致性
与算法团队和内部同学紧密协作,理解业务需求,优化数据流和处理流程
对数据质量问题进行分析和改进,推动数据处理标准化和流程优化
使用 Workflow 等调度平台管理数据处理任务,实现数据处理流程自动化
辅助管理常用数据库和中间件(MySQL、Redis 等),保证数据服务稳定
任职要求:
本科及以上学历,计算机科学、数据工程、软件工程、人工智能等相关专业
精通 Python,熟练使用常用数据处理库(如 Pandas、Numpy 等)
有数据清洗、数据预处理、数据解析或数据组织经验,熟悉完整数据处理流程
熟悉调度和任务管理平台(如 Airflow、Workflow 等),能够设计和维护数据处理任务
熟悉基本数据库操作(MySQL、PostgreSQL、Redis 等),保证数据处理稳定
注重数据质量,有良好的逻辑分析能力,思路清晰,团队协作能力强
本科及以上学历,计算机科学、数据工程、软件工程、人工智能等相关专业
精通 Python,熟练使用用数据处理库(如 Pandas、Numpy 等)
有数据清洗、数据预处理、数据解析或数据组织经验,熟悉完整数据处理流程
熟悉调度和任务管理平台(如 Airflow、Workflow 等),能够设计和维护数据处理任务
熟悉基本数据库操作(MySQL、PostgreSQL、Redis 等),保证数据处理稳定
注重数据质量,有良好的逻辑分析能力,思路清晰,团队协作能力强