近日，浙江省科学技术厅、浙江省自然科学基金委员会关于2023年度浙江省基础公益研究计划拟资助项目公示结束，我院首席科学家颜成钢负责的项目《多模态信息智能感知与语义要素筛选研究》牵头入选浙江省自然科学基金重大项目--首批创新群体。

2023年度省基础公益研究计划项目分为自然科学基金重大项目（创新群体）、自然科学基金重大项目（青年原创）、杰出青年科学基金项目、自然科学基金重点项目、自然科学基金探索项目、自然科学基金联合基金项目，主要依托国家重点实验室、省实验室、省级重点实验室等高能级平台开展科学研究。其中自然科学基金重大项目（创新群体）突出“应用牵引、突破瓶颈”和“瞄准未来科技和产业发展制高点”凝练重大科学问题，促进学科交叉融通。

本次入选创新群体的项目《多模态信息智能感知与语义要素筛选研究》由我院首席科学家颜成钢负责，该项目针对复杂视觉场景多目标检测与跟踪问题、词汇语义多异性导致文本差异化表示问题、音频数据的多语言、多语音识别不准确问题以及多模态数据要素信息协同感知难等问题，分别应用自注意力机制、卷积网络特征提取、协同滤波跟踪等方法，实现高效图像目标识别与视频目标跟踪；应用条件产生式神经网络、贝叶斯决策、卷积神经网络、残差网络等方法进行多语音分离、内容及情感识别、敏感语音分类；利用文本的拓扑结构信息结合图神经网络、依存句法、半监督学习、长短期记忆模型等方法实现文本主题分类、实体短语生成以及文本摘要提取；利用transformer注意力机制、跨模态数据特征的统一表征，实现语义要素信息自适应感知与筛选，解决跨模态智能计算中数据异构性、语义多义性问题。

下一步，我院将以本次自然科学基金重大项目（创新群体）的入选为契机，围绕复杂场景的跨模态智能计算关键核心技术突破和重大应用需求，进一步加强基础科学研究，提升原始创新能力，为促进数学、电子学与信息系统、计算机科学等学科交叉融合，着力解决跨模态协同学习、智能推理等重大科学问题夯实基础。

转自 杭州电子科技大学丽水研究院  源文链接 https://mp.weixin.qq.com/s/Nvla1XJsMYvXUTsbMprb7g