图信号处理研究方向

图1:GSP的理论及应用框架。

     我们致力于研究图信号处理(Graph Signal Processing, GSP)的理论并将其应用到多媒体的各个领域,如2D图像/视频的处理和压缩,3D点云的重建和压缩,以及4D光场的重建。其本质是将信号表示在graph上,并设计和运用GSP的理论工具,如图傅里叶变换、图信号平滑先验等,对不同维度的信号进行各种处理。

1. 2D图像压缩

 

图2:提出的2D分段平滑信号的编解码系统。

     随着信息技术的发展,图像信息已经成为了不可缺少的媒体形式。例如,遥感网络中传输的遥感图片,气象监测局实时传播的气象云图,社交网络中大量传播的各类图片数据等。要想充分而又有效地利用这些图片,就需要对这些图片进行大量的存储和传输,并且要在保证质量的前提下以较少的空间存储图像,以及以较少的比特率传输图像。因此,就需要针对不同领域的需要,提出相关的图像压缩算法。

More >> 
  • Multi-resolution Graph Fourier Transform for Compression of Piecewise Smooth Images 
    Wei Hu, Gene Cheung, Antonio Ortega, Oscar C. Au, IEEE Transactions on Image Processing, vol. 24, no. 1, pp. 419-433, January, 2015. 
  • Intra-Prediction and Generalized Graph Fourier Transform for Image Coding 
    Wei Hu, Gene Cheung, Antonio Ortega, IEEE Signal Processing Letters, vol. 22, no. 11, pp. 1913-1917, June, 2015. 

 

2. 2D图像重建

 

图3:从左至右依次为我们提出的去噪方法结果和其他去噪方法的结果。

     在实际的应用中,系统获取的图像往往不是完美的,常常会受到外界的干扰。例如拍摄光照等因素,传输过程中使用的有损压缩算法等,都会导致最终呈现的图像质量不高,难以进行更深入的研究和处理(例如图像分割、图像识别等),因此需要对图像进行重建。重建的方法包括去噪(Denoising)、超分辨率图像复原(Super-Resolution)、去量化(Dequantization)等。

More >> 
  • Depth Map Denoising using Graph-based Transform and Group Sparsity 
    Wei Hu, Xin Li, Gene Cheung, Oscar C. Au, IEEE International Workshop on Multimedia Signal Processing, Pula, Italy, October, 2013. 
  • Graph-based Dequantization of Block-Compressed Piecewise Smooth Images 
    Wei Hu, Gene Cheung, Masato Kazui, IEEE Signal Processing Letters, vol. 23, no. 2, pp. 242-246, February, 2016. 

 

3. 3D点云去噪

 

     在三维扫描设备获取点云数据的过程中,由于扫描设备本身的缺陷、生成算法的误差或者测量环境等诸多因素,使得获得的点云在某种程度上会受到噪声的侵蚀,如图4所示。噪声破坏了点云的几何结构,而几何结构又是点云的重要属性,因此噪声对点云之后的应用将带来巨大影响。现有的去噪算法有诸多的局限性,例如会破坏点云本身的形状,算法复杂度过高等。因此,设计更加有效的点云去噪方法是非常关键的。


 

图4:左:无噪声的点云;右:带有噪声的点云

4. 3D点云压缩

 

图5: 提出的点云颜色的压缩框架。

     为了尽可能多地保存点云中物体的信息,就需要采集设备对物体进行密集采样。这样,一个复杂的点云可能有百万甚而千万个点,且每个点包含了丰富的信息,如三维坐标、颜色和法向量等。但是,这样所带来的问题便是点云占据的存储空间成倍地增加,这极大地提高了后续处理与应用的复杂度。因此,在保证点云质量并且不丢失过多信息的前提下,设计一个有效的压缩算法是点云处理的首要任务。

More >> 
  • Cluster-Based Point Cloud Coding With Normal Weighted Graph Fourier Transform 
    Yiqun Xu, Wei Hu, Shanshe Wang, Xinfeng Zhang, Shiqi Wang, Siwei Ma, Wen Gao, IEEE International Conference on Acoustics, Speech and Signal Processing, Alberta, Canada, 2018.

 

5. 3D点云补全

 

图6:缺失部分信息的点云。

     由于采集设备的固有局限性或物体本身的残缺,点云的某些区域会有缺失,如下图中左图衬衫上的孔洞和右图中的罐子。缺失数据的原因包括扫描角度的不完全、物体几何结构过于复杂繁复或本身残缺和激光扫描仪本身的局限性等。目前国内外提出的点云修复方法较少,且多数集中于修复文物、雕塑等较大残缺的应用上。因此,对于三维点云的补全将是一个热点问题。

6. 4D光场重建

 

图7:提出的光场的高动态范围成像。

     VR/AR/MR等领域高速发展,其中涉及了许多非常专业的技术,光场技术就是其中之一。应用光场技术,可以让虚拟现实中模拟出类似人眼聚焦物体的效果,使人呈现在一种亦假亦真的效果中。为了呈现出人眼无法分辨的虚拟内容,一个核心的问题便是完整地呈现外部世界的光场信息。如果将这些信息无损失地复现出来,人眼便能够获得在自然状态下观看的真实感觉。因此,光场重建的研究是虚拟现实中的一个热点问题。

More >> 
  • Over- and Under-Exposure Reconstruction of a Single Plenoptic Capture 
    Wei Hu, Mozhdeh Seifi, Erik Reinhard, Submitted to ACM Transactions on Multimedia Computing, Communications and Applications (TOMM).
  •  
北京大学计算机科学技术研究所数字视频研究室