参与多模态科学文献解析大模型算法的开发与研究,从非结构化的科学文献中,抽取结构化的信息,并用于下游更广泛的应用。内容包括且不限于科学图表理解,表格解析,反应式解析,通用OCR,多模态VQA,多模态RAG等,并对流程中某些部分算法进行深入探究,并将研究成果转化为学术论文。
职位职责:
1.多模态大模型训练各阶段方法设计与研究,解决多模态科学文献解析任务中的问题和需求;
2.参与大规模训练数据集的构建,确保数据质量和多样性;
3.进行模型性能分析,识别和解决训练过程中的瓶颈,优化推理效率。
1.拥有扎实的编程能力,精通至少一种编程语言;
2.对计算机视觉或自然语言处理有一定经验和理解,两者都有最佳;
3.优秀的文献阅读能力与良好的沟通协作能力;
4.每周出勤不低于3天。
加分项:
1.熟悉多模态相关的算法和技术,具备多模态大模型训练经验,如QwenVL、InternVL、KimiVL、Gemma等
2.参与过多模态大模型相关重要开源项目,数据科学比赛优胜或发表相关论文。