1、基于Paimon/Lance与Gravitino设计与研发理想汽车数据湖存储,解决海量元数据管理、分级存储、缓存加速、多模态存储、向量和全文检索等需求,支持数据平台、算法平台等数据存储和访问场景;
2、与团队合作完成湖仓一体底层存储建设,支持批流一体业务场景,优化业务数据链路;
3、负责维护线上分布式存储或大数据解决方案的SLA,基于用户的体验和数据持续优化。
1、全日制统招本科及以上学历,计算机相关专业
2、熟悉数据湖和元数据概念原理,Iceberg/Paimon/Lance及Gravitino/Polaris/Unity Catalog;
3、熟悉MPP库概念、架构和原理,精通OLAP相关技术,包括SQL语言应用、数据模型的设计和开发,至少熟悉一种OLAP组件及其特性和应用场景,Presto/StarRocks;
4、有大数据相关研发经验和数仓开发经验,对常见的大数据体系组件(Hadoop、Hive、Spark、Flink、Kafka等)有使用和开发经验;
5、加分项:熟悉本体语义或数据语义层的定义和应用。