近日，我校颜成钢教授团队以杭州电子科技大学为第一单位发表的两篇论文《Parsing is All You Need for Accurate Gait Recognition in the Wild》和《Reducing Intrinsic and Extrinsic Data Biases for Moment Localization with Natural Language》被多媒体领域顶级会议ACM Multimedia 2023（CCF A类会议）录用。

第一项研究由杭州电子科技大学、京东探索研究院、杭州电子科技大学丽水研究院合作完成。该论文第一作者为2020级博士研究生郑锦凯，合作者还有2022级硕士研究生王立昊，此外，作者名单中还包括杭电丽水研究院院长王帅和通信工程学院院长颜成钢教授等。本文作者郑锦凯表示，长期以来，基于轮廓和人体关键点序列的表征一直主导着步态识别领域的研究。然而，尽管在实验室环境中取得巨大成功，但这些步态表征的信息熵较低，往往在真实场景中表现糟糕。为了在真实场景下实现准确的步态识别，本文提出了一种全新的步态表征——步态解析序列（GPS）。该GPS是从视频帧中提取的人体细粒度分割序列，具备更高的信息熵，能够更好地编码人行走过程中细粒度人体部位的形状和动态。为有效应用GPS表征，本文提出了一种新的基于人体解析序列的步态识别框架——ParsingGait。其中，该框架包含一个基础的主干模型和两个轻量级分支网络，第一个分支从GPS中提取全局步态语义信息，另一个分支则通过图卷积网络学习人体部位级特征的互信息，实现对人行走时动态细节的建模。同时，为了解决数据集不足的问题，本文还构建了第一个基于GPS的真实步态识别数据集——Gait3D-parsing。在Gait3D-parsing的基础上，本文全面评估了提出的方法与现有其他方法，在实验结果中显示，GPS表征更适合步态识别任务，同时所提出的ParsingGait方法在性能上取得了显著提升。

郑锦凯专注于步态识别和计算机视觉领域的研究，此前以第一作者在计算机视觉领域顶级会议CVPR 2022（CCF A类），多媒体领域顶级会议ACM MM 2022（CCF A类）和国际学术会议IEEE ISCAS 2021上发表过论文，并荣获2021年度IEEE MSA-TC最佳论文提名奖。

第二项研究由杭州电子科技大学、中科院计算所、杭州电子科技大学丽水研究院合作完成。该论文的第一作者为2021级硕士研究生殷炯，指导老师是李亮副研究员（中科院计算所）和颜成钢教授。自然语言时刻定位（MLNL）旨在通过语言查询从未经裁剪的视频中定位目标时刻。近年来的工作指出了 MLNL任务中存在着严重的数据偏置问题，并指出过去的工作往往可能仅仅通过拟合时间戳分布得到优异的性能，而不是通过理解多模态内容本身来做判断。本文从内在和外在两个方面详细研究和探讨了数据偏差问题：前者主要是由时刻边界的模糊性和输入输出之间的信息不平衡造成的；后者则是由 MLNL 数据集中时刻的长尾分布造成的。为了缓解这一问题，本文提出了一种针对 MLNL 的具有时间一致性约束的混合多模态去偏网络。具体来说，本文首先设计了多时序Transformer模块，该模块将帧级特征进行复制错位来计算视频局部注意力。同时，多层堆叠的多时序Attention模块也通过多尺度的错位的时序注意力，来确保不受到相同动作固定的持续时间影响，并增大了局部感知的感受野。然后，本文也引入动作一致性约束模块，利用动作信息来约束视频内容的潜在表示，以此从复杂的视频片段内容中获取最具有判别性的动作线索，以实现精准片段定位的目的。此外，本文还设计了具有外部知识的混合语言激活模块来缓解外在偏差，其通过对数据集中的动词和名词进行统计后，对描述文本中的动词和名词生成了相应的静态注意力权重，以此让模型更多地关注低频样本。该工作在三个公共数据集上的广泛实验证明，该方法优于大多数现有方法。

殷炯专注于视频文本相关片段定位任务和视觉文本多模态领域的研究，此前以第一作者在国内顶级期刊软件学报（CCF A类）上发表过论文，也曾获得2022年杭电一等奖学金和华为二等奖学金。

杭州电子科技大学“智能信息处理实验室”(HDU IIPLab)主任为颜成钢教授。实验室现有在职教师40余名。现有硕博生100余名，毕业生多就职于阿里巴巴、腾讯、字节跳动、海康威视、华为、网易等国内知名大公司。实验室采用与海内外知名高校、研究所(清华大学、北京大学、中科院、美国北卡罗来纳大学教堂山分校、澳大利亚悉尼科技大学等等)联合培养制，长期致力于智能信息处理方面的研究，主要研究方向包括：机器学习、模式识别、计算机视觉、计算机图形学、医学影像处理、生物信息学等。实验室为学校交叉创新团队，拥有自由开放的学术氛围和国际前沿的研究方向，可以在多个学院招生，包括但不限于通信、自动化、计算机、电子等学院。