信息学部承办“CCF-MM走进高校”学术活动

20201018日,CCF-MM走进高校活动来到河海大学江宁校区。活动邀请到CCF多媒体技术专业委员会委员、西安电子科技大学吴金建教授,北京大学陈杰副教授以及CCF高级会员、CCF多媒体技术专业委员会秘书长、中科院计算所蒋树强研究员三位专家带来精彩的专题报告。活动由CCF河海大学学生分会督导主任、河海大学信息学部计算机与信息学院计算机科学与技术系主任黄倩主持,CCF南京分部执行委员、河海大学信息学部计算机与信息学院副院长毛莺池教授在活动中致辞。

吴金建报告的题目是《需求导向的视觉信息度量及采集》。他首先指出了传统的单向直线视频/图像处理模式过程中存在巨量冗余,且缺乏需求反馈尤其是定量反馈。接着从需求的定性描述及其定量刻画、视觉内容分析及其信息度度量以及需求导向的视觉信息供给策略三方面对课题组所做的工作进行介绍,在传统的“供给-传输-应用”模型中添加了“需求反馈”,形成了处理流程的闭环。最后,他通过一些实际的应用案例,介绍了新一代事件驱动的仿生成像相机的成像原理以及应用场景。

陈杰报告的题目是《Image captioning and Histopathology Image Analysis》。他首先介绍了图像题注(Image Captioning)的基本概念以及注意力机制。为了解决图像题注模型中注意力机制存在的内容不精准以及时间不精准问题,研究团队提出了双层注意力机制,在原有的注意力机制基础上再加一层注意力,关注内容与上下文之间的关系,能够更准确地建模交互关系,解决内容不精准问题。对于时间不精准,研究团队通过自适应时间注意力机制让模型自适应地选择关注时间,实现图像区域和题注单次的自适应对齐,使关注时间更加精确。此外,他还对大规模乳腺肿瘤细胞数据集BCData进行了介绍,该数据集可以很好地用于细胞检测和细胞计数任务。

蒋树强报告的题目是《基于多模态关联的场景理解与描述》。他首先介绍了多模态学习的概念以及研究现状,指出视觉和语言与知识的结合是近年来的一个研究热点,对图像的研究工作逐渐从识别、理解上升到描述。接着,他分析了场景识别的挑战和难点主要集中在场景抽象性、类内差异性以及类间相似性三方面。针对上述挑战,他着重讲述了课题组在RGB-D视频场景识别方面的工作,展示了实时场景识别系统在机器人平台上的效果。

三位讲者的报告视角独特、内容丰富,与参加报告会的师生进行了充分的讨论交流,现场互动十分热烈。通过本次活动,同学们加深了对多媒体技术的了解和认识,认识到了多媒体技术领域相关研究的重要性,开拓了学术视野。(程杨堃供稿)