根据Gartner统计，图像、视频等多模态数据已经占到大数据的80%以上，一方面，多模态数据的有效利用是发挥大数据价值的关键问题；另一方面，如何分析识别其中隐藏的大量涉恐、涉暴等有害信息，是维护国家安全和社会稳定所亟需解决的重大难题。

北京大学计算机所彭宇新教授团队研发了智能识别技术，主要发明创新包括：针对图像视频概念检测问题，发明了基于注意力模型和增量深度学习的分类方法；针对复杂场景下视觉目标检测问题，发明了级联分类器与极角拓扑约束相结合的判别方法；针对多模态数据分析与识别问题，发明了基于多模态融合与增量多索引磁盘哈希的语义协同方法；针对互联网舆情监测问题，发明了基于知识元的多模态语义分析方法和基于情感观点的话题追踪方法。

基于上述成果，彭宇新团队已发表论文100多篇，其中发表于国际顶级的ACM/IEEE Trans.期刊和CCF A类论文26篇，受到来自斯坦福大学、卡内基梅隆大学、加州大学伯克利分校、加州大学洛杉矶分校、牛津大学、谷歌、微软等同行学者的广泛关注和30余位院士及ACM/IEEE Fellow的正面引用。获发明专利授权50项、软件著作权16项；6次参加由美国国家标准技术局举办的国际权威评测TRECVID和TREC，每次均获得第一名。同时以上述技术为核心，形成了互联网多模态内容分析与监管系统、方正智思互联网舆情监测分析系统等系列产品，实现了对互联网网页、图像、视频等多模态内容的全面监测与数据利用，已推广应用于中央办公厅、中央宣传部、中央网信办、国务院新闻办、工信部、教育部、统战部、国家新闻出版广电总局等上百家重要单位，直接经济效益10.3亿元，并在维护我国互联网内容安全、促进网络文化健康发展等方面产生了显著的社会效益。

该成果获得了2016年北京市科学技术奖技术发明类一等奖，被《科技日报》和北京电视台采访与报道。北京电视台的采访内容于7月26日在北京电视台科教频道《创新者说2016》栏目播出，题目为“智能识别技术 让慧眼看世界”；科技日报的采访内容于10月9日在《科技日报》刊登，题目为“智能识别技术，让计算机看懂世界”。

媒体报道链接：

1. 《科技日报》： http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2017-10/09/content_379213.htm

2. 北京电视台科教频道《创新者说2016》：http://www.bjkw.gov.cn/art/2017/7/26/art_204_541.html