Thundersoft
Posted 1y ago

大数据开发(数据挖掘、数据测试、java)

Thundersoft
Baoding, Hebei, China
OnsiteFull Time
Responsibilities
  • synchronizing data
  • creating topic
  • analyzing data
Requirements
  • Experience with MySQL/Sqoop, Kafka, Hadoop/Spark, Java
  • Data ETL
  • Modeling
  • Dashboards
  • Data mining/ML for autonomous driving, and cross-team collaboration
Technical tools mentioned
MySQLSqoopKafkaHadoopSparkJava

Job description

1.负责把传统数据库 MySQL 中的数据通过 Sqoop 工具把数据同步到大数据平台。
2.负责创建 kafka 的 topic 以及数据落地等。
3.负责根据数据,建库建表,接入数据,权限分配等。
4.负责根据原始数据提取出来更为细分的、更容易理解的、偏向于业务层面的数据。
5.负责后期的集群中数据的维护以及数据报表的展示
6.负责售后业务的数据分析,搭建并迭代业务数据体系,实现了售后KPI看板的上线,监控其业务的流畅性和完整度,发现问题并推动解决。
7.通过数据挖掘业务的优化点,全程和业务梳理业务逻辑,共同讨论业务优化方向,并且配合系统研发和系统产品做系统数据埋点,
8.推动优化方案的有效落地,迭代售后系统提高系统对人力的替代率,提高业务的工作效率
9.统计分析后台数据,并制作成统计图、波形趋势图等各种图表,并以日报、周报、月报、季度、年度报表,根据数据总结分析业务发展趋势,给业务发展提出建议

1. 基于自动驾驶大数据处理平台(例如Hadoop/Spark),利用数据挖掘、机器学习等相关算法,解决自动驾驶业务需求,为自动驾驶评测、功能迭代,运营决策提供数据分析依据
2. 与产品、系统等团队配合,分析和挖掘自动驾驶功能的体验痛点、表征原因、内在规律等,例如自动驾驶功能潜在风险与事故的数据分析与规律等
4. 负责自动驾驶领域的数据探索,从场景,评价,用户,运营等多个维度挖掘数据价值,发现数据和业务背后规律,应用于产品研发、用户运营、商业等各种领域

About Thundersoft

Global provider of intelligent operating system technologies and solutions.