1、打造大数据计算引擎服务,支撑字节跳动相关产品线(如抖音、今日头条);
2、负责对接Spark SQL、Presto、Hudi和Flink等计算引擎和组件,完善SQL语义和SQL优化器能力,提供功能强大、简单易用的OLAP计算服务;
3、针对字节跳动复杂的多机房架构,设计并实现简单易用的离线数仓计算引擎架构,为数仓用户屏蔽复杂的底层计算资源、存储资源、网络资源管控;
4、参与需求对接、技术调研和方案设计,理解并抽象业务需求,形成高效的技术方案并推动落地。
1、熟悉Spark、Presto、Druid、Kylin、Hive等主流大数据系统原理及源码(不要求熟悉所有技术栈);
2、熟悉主流OLAP引擎的优化原理,包括Filter下推和物化视图等,SQL优化器开发者优先;
3、熟悉离线数仓业务架构,具备丰富的数仓重构、数据治理、数仓优化经验;
4、具备离线数仓多机房架构建设经验,例如跨地区构建大数据计算引擎服务;
5、精通Java/Scala语言,包括JVM、类装载、线程、并发、IO资源管理、网络;
6、具备大规模系统的故障诊断与性能优化能力,具备快速定位线上问题和快速Debug的能力,具有较强的项目推动能力,能推动技术项目在业务侧的落地。