课题描述
课题背景:
近年来,多模态大模型技术快速发展,在 AI 教育场景中展现出较强的应用潜力。围绕拍照解题、作业批改、AI 讲题与教学互动等核心任务,模型仍面临细粒度感知不足、复杂推理解题能力有限以及多模态交互体验不稳定等问题。因此,本课题聚焦多模态大模型在 AI 教育场景中的关键技术研究,探索其在感知理解、推理解题与教学交互中的能力提升与落地应用。
课题挑战:
1、拍照解题中的关键能力研究:如何提升模型基于图像进行思考的能力,并支持辅助线构造等复杂解题过程;
2、强化学习优化:如何通过强化学习提升拍照解题的泛化能力,同时进一步提高解题准确性与解析质量;
3、端到端多模态建模:如何面向拍照解题、作业批改等场景,构建高效稳定的端到端多模态大模型方案;
4、AI 教学交互能力研究:如何结合多模态交互与个性化记忆机制,提升 AI 讲题、AI 教学等场景下的理解与互动效果。
具体工作:
你将参与多模态教育 Agent 与解题模型研究、强化学习优化、端到端方案设计,以及 AI 讲题与教学交互能力建设。
课题要求
1、包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程、统计学、应用数学、物理学/量子计算、信息安全、信号与信息处理等专业的博士和优秀硕士;
2、熟练掌握大模型、多模态相关的基本算法及应用,熟悉caffe、tensorflow,pytorch等至少一个深度学习框架;
3、较强的工程实现能力,熟练掌握 C/C++ 编程,熟悉 Shell/Python/Matlab 至少一种编程语言。
CSIG — 元宝
元宝作为腾讯的战略级AI原生产品,集成 DeepSeek 及混元大模型核心技术,是帮用户提高工作学习效率、丰富社交娱乐生活的AI助手。腾讯生态也全面拥抱元宝,一方面,公众号、视频号内容构成元宝底层数据的优势,另一方面,元宝的AI能力已全面接入QQ音乐、腾讯会议、微信公众号及视频号评论区等数十款腾讯核心应用,覆盖社交、办公、内容消费等关键场景,为用户提供无处不在的智能体验。元宝持续高速进化,推出“元宝派”AI社交新玩法,探索AI技术在多人社交场景下的深度融合,开启全新的「AI+社交」体验。加入元宝,一起探索AI的无限可能!