1、负责火山方舟Maas平台大数据及商业化后端系统核心研发,参与大规模用量统计、成本分析、计量计费等系统的构建,以及数据回流、训练样本处理系统;
2、针对火山方舟复杂的在离线业务场景,面向高吞吐、低延迟设计用量统计系统,确保复杂计数和消重的正确性;
3、针对火山方舟训推场景,设计和优化样本数据回流、样本预处理管线。
1、熟练掌握Java、Golang、Python等一门或多门编程语言,编程风格良好,有框架设计和抽象能力;
2、熟悉Spark/Flink/Hive/Clickhouse等大数据处理框架之一,有大数据处理及分析经验;
3、擅长从复杂业务场景中拆解核心问题,对系统的性能、扩展性、可用性等方面有深刻的理解;
4、以下条件为加分项:
1)熟悉K8s、Docker、微服务化等云原生技术;
2)参与过训练数据预处理、微调或分布式训练系统的后端对接;
3)参与过复杂计数和消重系统开发。