影像构件化的生成和层间压缩方法研究

第一章 绪论1.1 引言21 世纪，随着网络技术的发展，人们对通讯媒体的要求越来越高，视频传输成为多媒体领域的研究重点。在网络中，通信方和接收方存在异构性，每个子网的资源能力分布不同，处理能力、存储能力等方面也存在很大的差异，接收的一端对于不同分辨率的设备，处理能力也有差别，使得视频具有多样多样的形式[1]。因此用户可能访问高速的服务器，可能访问中低速的调制解调器，也可能从低等速度的无线网络中获取视频信息，这样在不同的网络中，会得到不同带宽的视频信息，由于网络环境的带宽波动大，视频码流很难保持恒定的速率来进行有效高速的传输，质量也会有一定的衰减。在网络带宽和异构性的影响下，如何在不同终端获取高效的视频码流成为急于要解决的问题。用户需要获得不同形式的码流，可伸缩编解码技术的出现满足了用户的要求[2]，成为现在视频网络的热门方向，也会在未来不断发展，成为监控方面的主要发展领域[3]。可伸缩视频编解码（SVC），即 Scalable Video Coding，生成的码流层次具有不同的分辨率，不同层次的码流分别进行编解码。SVC 技术可以将数据分成一个基础层和很多分辨率、质量可选的增强层，这样一个分层的视频码流就可以支持多种网络，满足不同带宽和不同质量的要求。基础层对最低质量的码流编解码，而增强层不仅拥有基础层所拥有的信息，还有在此基础上的其他信息，解码端对不同的层次进行处理，获得需要的分辨率图像[4]。这种分层的质量、空间可伸缩方法使得在网络中可以获取不同质量的图像，获取所需的分辨率[5]。SVC 技术的出现，使得传输和存储提供不同分辨率图像的功能成为可能，越来越成为视频编解码技术领域的热点。几十年来，遥感技术不断发展，应用在生活中的范围也越来越广泛，在水利、土地资源管理等方面都有很大的应用，对促进社会的进步起了关键作用。随着遥感技术观测形成的可观质量影像，如何对大数据的遥感图像进行有效的处理也成为大家关注的焦点，可伸缩编解码的方法越来越多的应用在大数据影像的压缩上[6]，其中常用的方法是形成金字塔模型。金字塔模型的迅速发展，实现了大数据影像能够形成不同分辨率和质量的图像。如何保证金字塔各层形成高质量的图像，并且保证网络传输压缩质量，是大家所关注的话题，也成为本课题的研究重点。.........1.2 海量影像金字塔的技术发展近几十年来，我国航天事业不断发展，遥感技术在卫星领域获取数据的能力也越来越强，而获取的海量图像该如何应用，越来越成为研究的重点。随着数据量的增大，如何从其中获取用户需要的数据是十分关键。海量影像数据需要有效的进行管理并且提高处理的效率，金字塔模型的出现使得大数据影像资料有效率的进行显示和浏览成为可能。金字塔技术能够很好的解决读取问题，直接读取用户需要的服务和对象[7]。影像金字塔，即对一幅影像数据的多层数据进行分层管理，分别显示不同分辨率和质量的图像，大数据影像资料的金字塔分辨率是逐步变化的。最底层表示的是高分辨率的影像资料，随着级数的上升，尺寸和分辨率逐级降低。建立影像金字塔，可以获取需要的分辨率图像，提高了遥感技术处理的效率[8]。图1-1为一幅金字塔数据的图片，实现了4级的不同分辨率展示。海量遥感图像覆盖面积广，对传输的速度和存储的容量有很大的要求。对大数据海量图像进行有效压缩，可以降低信道的使用费用，进行更多的并行业务，减小存储的容量，提高传输的效率。进行有效的压缩才能实现对图像的性能实现，所以要选取好的压缩方法。目前，主要采取四种方法进行压缩：差分脉冲调制编码（DPCM）、离散余弦变换（DCT）、矢量量化（VQ）和变换编码[9]。PEG2000在PEG压缩算法的基础上，加入了小波变换技术，极大地提高了数据存储的效率[10]。大数据影像压缩算法从预测编码到变换编码再到小波编码[11]，压缩的效率也在不断的提高。下面就介绍这三发表展的代表技术，差分脉冲编码（DPCM）、PEG离散余弦变换编码和PEG2000。.........第二章 影像纹理编码构件化的生成2.1 AVS 帧内预测模式分析AVS 视频标准是我国第一代自主研发的视频标准，相比于国际上通用的 H.264 标准，帧内预测技术在之前亮度的 9 种 4*4 块，4 种 16*16 块和 4 种色度块预测的基础上，简化成基于 8*8 块大小的 5 种亮度模式预测和 4 种色度模式预测，大大减少了计算的复杂度。相邻块儿之间具有很大的相关性，帧内预测技术可以利用这种相关性来减少冗余。在 AVS 标准中，当前块儿充分利用左边块和上边块的信息来进行预测，得到的预测值与实际像素值的差值很小，对残差的码字编码会减少传递的比特数，大大减少压缩的尺寸。

........2.2 基于纹理的降采样滤波器设计AVS 帧内预测基于 8*8 块大小，通过对每个 8*8 块旁边的宏块信息对待处理块进行预测编码，极大的提高了处理效率。在本课题的研究中，充分利用了 AVS 帧内预测中亮度的 5 种预测模式和色度的 4 种预测模式，来体现图像的相应纹理信息，进而进行下采样的设计。所以在对图像的处理中，沿袭了 AVS 标准的分块方法，把图像按照 8*8块依次进行预测处理，对每个块儿选择所对应的预测信息，而作为纹理的依据对此块进行相应处理，每个块儿选择不同的滤波器。图像的视觉性质中，纹理是一种重要的表现形式，局部与整体具有相似性。图像的纹理分布可以表征图像的表面细节，是以一定的统计特征进行排列的点，表现出一定的方向信息，在某个纹理区域内，结构大致相同[46]。纹理特征在局部有一定的序列性，在所在区域更大范围内重复，在纹理区域地方结构尺寸大致一致。纹理信息不仅表现了在某个区域内结构之间的联系，而且也表现出与环境的联系，要充分利用纹理信息，图像的处理会更加有效。降采样的过程就是图像像素减少的过程，得到低分辨率的图像。用户期望得到不同尺寸的图像，通过对像素点的筛选，尽量多的保留原始信息[47]。要想尽量得到清晰的图像，就要尽量选取好的滤波方法和滤波器。常用的降采样方法有基于等间隔采样的图像缩小方法和基于局部均值的图像缩小方法。........第三章 层间压缩方法中步骤的实现.........373.1 DCT 变换及 IDCT 变换介绍..........373.2 量化器的原理及优化......383.3 熵编码与熵解码的原理.......... 463.4 本章小结...........49第四章 层间压缩编解码......514.1 金字塔数据的编解码框架及流程.........514.2 解码构件的划分与分析......... 524.2.1 解码构件的分装和接口定义........524.2.2 解码过程的实现....534.2.3 实验仿真测试........544.3 与 PEG 层间压缩方法的比较测试..... 554.4 本章小结...........57第五章 工作总结与展望......595.1 工作总结...........595.2 工作展望...........60第四章 层间压缩编解码4.1 金字塔数据的编解码框架及流程海量图像金字塔数据的生成和编解码框架如上图所示，原始的图像经过前文所述设计的降采样过程进行金字塔下采样数据的生成，直到最顶层。最顶层数据很小，整个层都进行 DCT、量化、熵编码的过程，形成第 N 层的码流，打包传输进行压缩，然后经过解码解出最顶层图像。最顶层经过升采样过程，生成第 N-1 层的预测图像，与下采样过程生成的第 N-1 层数据进行相减计算，对两者的残差进行 DCT、量化、熵编码的过程，这样传输的码流尺寸十分小，大大减少了信道的资源占用。残差经过解码过程，恢复出残差的数据，与升采样的预测数据进行加和，在和的基础上进行升采样过程，这样形成的的下一层的数据图像质量将会接近原始图像。这样的过程一直到金字塔的第一层，生成的数据与重构残差相加，得到与原始图像尺寸相同的图像，恢复出了海量图像数据。本文设计的海量图像金字塔流程，把编码和解码紧密联系起来，升采样的数据是编码和解码过程共同生成的数据，除了数据小的第 N 层需要传输编码外，其他层传输的都是残差数据，比原始数据要小很多，大大减少了传输的比特数和占用的资源。........总结随着网络技术的快速发展，对存储和传输带宽提出了新的要求，显示不同层次的画面成了必然发展的趋势，可伸缩编码应运而生。遥感技术得到大量的遥感图像，海量影像的构建成为问题，生成金字塔模型成为解决的关键，传统的海量影像金字塔方法对于每层数据的存储方式大大增加了传输的数据量，而且生成的每层影像质量也有待提高，针对这些问题，本文提出了新的金字塔生成流程。主要完成的工作如下所示：1、纹理降采样流程的设计。海量影像数据经过不断下采样形成每一层的原始数据，要想得到高的图像质量，要选择合适的降采样方法。纹理方向表示一个图像的灰度走向，本文利用 AVS 的帧内预测信息，根据预测方向进行不同情况不同滤波器的降采样过程，这样能够多的保留原始图像的信息，得到高质量的图像。在本文降采样过程中，引入了原子构件的概念，根据所在图像的位置分成不同的情况，对降采样过程进行封装，提高了整体处理的效率。用实验验证了设计的降采样滤波器的性能，也证明了原子构件的可用性，通过与不同方法的对比，计算性噪比，证明了本方法的优越性。2、设计了新的金字塔编解码框架，对最顶层数据进行压缩编码，然后进行解码恢复图像数据。通过对降采样生成的每层数据与下一层升采样得到的预测信息进行相减得到每一层的残差，对残差编码解码后，把得到的解码数据与预测数据进行加和来升采样，得到的上层图像质量会大大提高。本文设计的流程大大提高了压缩比。3、修改量化表，更加适宜本方法的编码流程。对 DCT 后的系数进行统计，能量大大减少，如果使用传统的量化方法，在重构时会得不到补偿，会影响图像质量。针对残差的数值小的特点，测试了 DC 和 AC 系数的分布特点，统计与传统方法量化过程的方差均值，通过对量化表的优化，计算了最终得到的码流尺寸大小，对比了不同方法的压缩比，证明了此种方法的优越性。4、在编解码框架流程中，设计最顶层和残差的解码过程，把过程封装为原子构件，解码恢复传输的码流图像，设计了解码的程序。.........参考文献(略)