 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
多媒体教学资源建设中的视频媒体格式及其应用
下载积分：1000
内容提示：多媒体教学资源建设中的视频媒体格式及其应用,视频,格式,媒体,多媒体教学,格式与,资源库建设,媒体资源,资源格式,多媒体,教学应用,教学资源建设,教学资源的,资源的建设,教学用途,多媒体教学的,多媒体教学资源,多媒体教学视频,多媒体教学设备,多媒体教学软件,多媒体教学系统
文档格式：PDF|
浏览次数：1|
上传日期： 02:25:31|
文档星级：
该用户还上传了这些文档
下载文档:多媒体教学资源建设中的视频媒体格式及其应用.PDF
官方公共微信吉林大学网络教育学院-公共财政学
4.7 图像压缩技术标准
4.7.1图像种类与编码标准
&&&&1、视频图像的种类
&&&&按图像的质量，图像可大致分为高质量视频、中等质量的视频和低质量的视频三大类。
&&&&高质量视频是指那些画面较大、帧速率大于或等于25帧／秒的彩色视图像，通常可采用ITU-R BT601视频格式直至高清晰度电视格式，主要应用于具有广播质量的数字电视或高清晰度电视之中．
&&&&中等质量视频是指那些具有中等画面、帧速率在25～30帧／秒之间的彩色视频图像，通常采用QCIF或ITU-R BT601视频格式，适用于会议电视、远程教育或远程医疗之中。
&&&&低质量视频是指那些画面较小、帧速率在5～10帧／秒之间的黑白视频或彩色视频图像，经常使用QClF或CIF格式，典型的应用是可视电话，网络游戏和视频邮件等。
&&&&可见，不同质量的视频信号，它们的帧频以及适用的格式不同。
&&&&2、编码标准
&&&&从1986年开始ITU、ISO、IEC等国际组织先后制定了适用于不同场合中的不同图像压缩标准，如JBIG标准、JPEG标准、H系列标准和MPEG系列标准，其中H系列标准和MPEG标准为活动图像压缩标准，而JBIG和JPEG标准为静止图像压缩标准。
4.7.2 静止图像压缩编码标准――JPEG
&&&&JPEG是英文Joint Photographic Experts Group的缩写，即联合图像专家组。该标准是一种适用于静止图像压缩算法的国际标准。ITU和ISO两家联合成立专家组JPEG(Joint Photographic Experts Group)，研究彩色和单色、多灰度连续色调、静态图像的压缩。该标准在1991年通过为ISO/IEC 10918标准，全称为“多灰度静态图像的数字压缩编码”标准。
&&&&图像尺寸：1-65535行/帧、1-65535像素/行
&&&&JPEG中压缩比及图像保真度是可调节的，供用户选择；压缩率可达25：1，适应于不同的应用场合。
&&&&在JPEG算法中，共包含四种运行模式，其中一种是基于DPCM的无损压缩算法，另外三种是基于DCT的有损压缩算法。其要点如下：
&&&&☆无损压缩编码模式：
&&&&采用预测法和哈夫曼编码（或算术编码）以保证重建图像与原图像完全相同（设均方误差为零），可见无失真。
&&&&☆基于DCT的顺序编码模式:
&&&&根据DCT变换原理，从上到下，从左到右顺序地对图像数据进行压缩编码。信息传送到接收端时，首先按照上述规律进行解码，从而还原图像。在此过程中存在信息丢失，因此这是一种有损图像压缩编码。
&&&&☆基于DCT的累进编码模式：
&&&&它也是以DCT变换为基础的，但是其扫描过程不同。它是通过多次扫描的方法来对一幅图像进行数据压缩。其描述过程是由粗到细逐步累加的方式进行的。图像还原时，在屏幕上首先看到的是图像的大致情况，而后逐步地细化，直到全部还原出来为止。
&&&&☆基于DCT的分层编码模式：
&&&&这种模式是以图像分辨率为基准进行图像编码的。它首先是从低分辨率开始，逐步提高分辨率，直至与原图像的分辨率相同为止。图像重建时也是如此。可见其效果与基于DCT累进编码模式相似，但其处理起来更复杂，所获得的压缩比也更高一些。
（1）无损压缩编码
&&&&在传真机、静止画面的电话电视会议应用中，根据其特点JPEG采用DPCM（差分脉冲编码调制）无损压缩编码方案，其编码过程如图4-45所示。
&&&&基于DPCM的无失真编码优点是硬件易实现，重建图像质量好。缺点是压缩比太低，大约为2：1。
&&&&（2）基于DCT的顺序编码模式
&&&&图4-47表示了一种基于DCT顺序编码与解码过程的系统框图。
&&&&（3）基于DCT的累进编码模式
&&&&（4）基于DCT的分层编码模式
H.261与H.263
&&&&H.26x是ITU-T(国际电信联盟)及其前身CCITT(国际电报电话咨询委员会)研究和制定的一系列视频编码的国际标准。其中最为广泛的就是H.261, H.262, H.263和H.264这4个协议。H.26X与MPEG-X有着紧密的联系。在一些MPEG标准中，H.26X 就是MPEG-X视频部分的重要组成。
&&&&H.261产生于20世纪90年代，可以说是视频编码的老前辈，如今已经逐渐退出历史舞台。
&&&&H.262是MPEG-2的视频部分，由于MPEC-2的应用十分广泛，因此H.262目前仍然是最重要的视频编码之一。
&&&&H.263是目前视频会议所采用的主流编码，在视频会议领域占有绝对的市场优势。
&&&&H.264是最近几年才刚刚出现的新的视频压缩标准，属于MPEG-4的第10部分。
&&&&在相同的图像质量的情况下，H.264有更高的压缩率，是一种很有市场潜力的视频压缩标准。
&&&&1、H.261
&&&&H.261是ITU-T制定的视频压缩编码标准，也是世界上第一个得到广泛承认的、针对动态图像的视频压缩标准，而且其后出现的MPEG系列标准、H.262以及H.263等数字视频压缩标准的核心都是H.261。可见，在图像数据压缩方面该标准占据非常重要的地位，它主要应用于视频会议和可视电视等方面。
&&&&（1）视频数据格式
&&&&不同种类的图像（低质、中质、高质）其数据量不同，采用的编码格式也不同。
&&&&H.261标准规定采用的视频编码格式为CIF(Common Intermediate Format：通用中间格式)和QCIF(Quarter Common Intermediate Format：1/4CIF)。两种格式的最大画面传输为29.97 f/s，其具体参数如表7-8所示。
&&&（2）视频编码系统
&&&&H.261是ITU-T制定的视频压缩编码标准，也是世界上第一个得到广泛承认的、针对动态图像的视频压缩标准，而且其后出现的JPEG标准、MPEG系列标准、H.262以及H.263等数字视频压缩标准的核心都是H.261。可见在图像数据压缩方面该标准占据非常重要的地位，主要应用于会议电视和可视电视等方面，具体系统框图如图4-48所示。
&&&&图4-48 H.261标准的视频编/解码系统结构
&&&&（3）视频编码器原理
&&&&A、采用帧内编码
&&&& H.261标准的视频信源编码器框图如图4-49所示，而解码器的工作原理与编码器中的本地解码电路完全相同，因此这里我们着重介绍视频编码器。
&&&&&&&&&& &图4-49 H.261标准的视频信源编码器原理
&&&&从图中可以看出，它是由帧间预测、帧内预测、DCT变换和量化组成。其工作原理如下：对图像序列中的第一幅图像或景物变换后的第一幅图像，采用帧内变换编码。
&&&&图中的双向选择开关同时接上路，这样输入信号直接进行DCT变换，在该变换过程中采用了8×8子块来完成运算，然后各DCT系数经过Z形扫描展开成一维数据序列，再经游程编码后送至量化单元，系统中所采用的量化器工作于线性工作状态，其量化步长由编码控制。量化输出信号就是一幅图像的输出数据流，此时编码器处于帧内编码模式。
&&&&B、采用帧间预测编码
&&&&当双向选择开关同时接下路时，输入信号将与预测信号相减，从而获得预测误差，然后对预测误差进行DCT变换，再对DCT变换系数进行量化输出，此时编码器工作于帧间编码模式。
&&&&其中的预测信号是经过如下路径所获得的。首先量化输出经反量化和反离散余弦变换（IDCT）后，直接送至带有运动估值和运动补偿的帧存储器中，其输出为带运动补偿的预测值，当该值经过环形滤波器，再与输入数据信号相减，由此得到预测误差。
&&&&应注意的是，滤波器开关在此起到滤除高频噪声的作用，以达到提高图像质量的目的。
&&&&C、工作状态的确定
&&&&在将量化器输出数据流传至对端之外，还要传送一些辅助信息，其中包括运动估值、帧内/帧间编码标志、量化器指示、传送与否的标志和滤波器开关指示等，这样可以清楚地说明编码器所处的工作状态，即是采用帧内编码还是采用帧间编码，是否需要传送运动矢量，是否要改变量化器的量化步长等。这里需要作如下说明：
&&&&☆在编码过程中应尽可能多地消除时间上的冗余度，因而必须将最佳运动矢量与数据码流一起传输，这样接收端才能准确地根据此矢量重建图像。
&&&&☆在H.261编码器中，并不是总对带运动补偿的帧间预测DCT进行编码，它是根据一定的判断标准来决定是否传送DCT 8*8像素块信息。例如当运动补偿的帧间误差很小时，使得DCT系数量化后全为零，这样可不传此信息。对于传送块而言，它又可分为帧间编码传送块和帧内编码传送块两种。为了减少误码扩散给系统带来的影响，最多只能连续进行132次帧间编码，其后必须进行一次帧内编码。
&&&&☆由于在经过线性量化、变长编码后，数据将被存放在缓冲器中。通常是根据缓冲器的空度来调节量化器的步长，以控制视频编码数据流，使其与信道速率相匹配。
&&&&H.261标准采用的混合编码方法，同时利用图像在空间和时间上的冗余度进行压缩，可以获得较高的压缩率。这个视频编码方案对以后各种视频编码标准都产生了深远影响，其影响直至现在。
&&&&（4）H.261标准的数据结构
&&&&在H.261标准中采用层次化的数据结构，它包括图像层（P）、块组层（GOB）、宏块层（MB）和像素块（B）四层，如图4-50所示。
&&&&&&&&&&&&&&&&&&&& 图4-50
H.261数据结构
&&&&编码的最小单元为8×8的像素块；4个亮度块和对应的两个色度块构成一个宏块；一定数量的宏块（33块）构成一个块组；若干块组（对于CIF格式为12个块组）构成一帧图像。每一个层次都有说明该层次信息的头，编码后的数据和头信息逐层复用就构成了H.261的码流。
&&&&从图中可清楚的看出，一帧CIF格式的图像是由12个块组GOB构成。每个GOB又包含33个MB(宏块)，而每个MB则是由6个块(B)构成，其中包含4个亮度块和2个色度块。
&&&&源图像经变换后按4∶2∶2进行采集，并对采集的图像数据进行分块。分块是逐层进行的。首先，一幅CIF图像分成12个块组，一幅QCIF图像分为3个块组。每个块组(Group of Block，GOB)又是由3×11＝33个宏块组成(Macro Block，MB)。每个宏块又由4个8×8的亮度(Y)图块、一个8×8的色差(CB)图块和一个8×8的色差(CR)图块构成。这样，一幅图像最后就被分成了若干8×8的图块。
&&&&由图4-50和图4-51可知，H.261数据结构为：
&&&&☆图像层是由帧首和12个块组层构成。其中帧首包括一个20比特帧起始码和其他标志信息，如帧数、视频格式（CIF/QCIF）等。
&&&&☆块组层是由GOB首和33个宏块构成，其中GOB首中包含16bit块组编号、块组量化步长等标志信号。
&&&&☆宏块层是由宏块首和其后面的6个数据块构成，MB首包括宏块地址、类型信息、运动矢量数据和编码块图样等信息。
&&&&☆块层是由DCT系数（TCOEFT）和块结束符（EOB）组成。每块包含8×8个数据。
&&&&需要指出的是以上分析是针对CIF格式而言的。如果采用的是QCIF格式的图像，那么一帧图像仅包含3个GOB。
&&&&2、H.263
&&&&（1）H.263与H.261的区别
&&&&H.263标准是一种甚低码率通信的视频编码方案。所谓甚低码率视频编码技术是指压缩编码后的码率低于64kbit/s的各种压缩编码方案.它是以H.261为基础，其编码原理和数据结构都与H.261相似，但存在下列区别：
&&&&①H.263能够支持更多图像格式
&&&&H.263不仅可以支持CIF和QCIF标准数据格式，而且还可以支持更多原始图像数据格式，如sub-QCIF、4CIF和16CIF等。
&&&&②H.263建议的两种运动估值
&&&&H.261标准要求对16×16像素的宏块进行运动估值，而在H.263标准中，不仅可以16×16像素宏块为单位进行运动估值，同时还可以根据需要采用8×8像素子块进行运动估值。
&&&&③采用半精度像素的预测值和高效的编码
&&&&④提高数据压缩效率
&&&&（2）H.263提供四种有效的压缩编码方法
&&&&①无约束运动矢量算法：改善边缘有运动物体的图像质量
&&&&②基于语法的算术编码：编码效率进一步提高
&&&&③高级预测模式：提高了重建图像的质量
&&&&④PB帧模式：吸取了MPEG系列标准的优点
4.7.4 MPEG系列
&&&&MPEG是活动图像专家组(Moving Picture Experts Group)的缩写。MPEG-X是一组由IEC和ISO制定发布的视频、音频、数据的压缩标准。它采用的是一种减少图像冗余信息的压缩算法，提供的压缩比可以高达200:1，同时图像的质量也非常高。MPEG系列标准已成为国际上影响最大的多媒体技术标准，对数字电视、视听消费电子、多媒体通信等信息产业的发展产生了巨大而深远的影响。它具有3方面优势：首先，作为国际标准，具有很好的兼容性；其次，能够比其他压缩编码算法提供更高的压缩比；最后，能够保证在提供高压缩比的同时，使数据损失很小。
&&&& 现在通常用的版本是：MPEG-1 , MPEG-2 , MPEG-4 , MPEG-7 , MPEG-21，它们能够适用于不同信道带宽和数字影像质量的要求。
&&&&MPEG-1是1993年8月正式通过的技术标准，其全称为“适用于约1.5Mbit/s以下数字存储媒体的运动图像及伴音的编码”。MPEG-l标准主要用于多媒体存储与再现，如VCD、DAT、硬盘和光盘等，它的任务是将视频信号及高质量伴音以可接受的重建质量压缩到约1.5Mbit/s的码率，并复合成一个单一的MPEG位流，同时保证视频和音频的同步。
&&&&MPEG-2是1994年11月发布的“活动图像及其伴音通用编码”标准，该标准可以应用于2.048Mbit/s~20Mbit/s）的各种速率和各种分辨率的应用场合之中。如多媒体计算机、多媒体数据库、多媒体通信、常规数字电视、高清晰度电视以及交互式电视等。
&&&&MPEG-4是1999年1月公布了该标准的V1.0版本，同年12月公布了V2.0版本。该标准主要应用于超低速系统之中，例如多媒体Internet、视频会议和视频电视等个人通信、交互式视频游戏和多媒体邮件、基于网络的数据业务、光盘等交互式存储媒体、远程视频监视及无线多媒体通信。特别是它能够满足基于内容的访问和检索的多媒体应用，并且其编码系统是开放的，可随时加入新的有效算法模块。
&&&&MPEG-7是2000年11月颁布的称为“多媒体内容描述接口”的标准。定义该标准的目的是指定出一系列的标准描述符来描述各种媒体信息。这种描述与多媒体信息的内容有关，这样将便于用户进行基于内容和对象的视听信息的快速搜索。可见MPEG-7与其他MPEG标准的不同之处在于它只提供了与内容有关的描述符，并不包括具体的视音频压缩算法，而且还未形成与内容提交有关的所有标准的总框架。
&&&&MPEG-21的全称为“多媒体框架”。该标准的目的在于为多媒体用户提供透明而有效的电子交易和使用环境。
&&&&1、MPEG-1
&&&&MPEG-1标准是由三个部分构成：
&&&&第一部分是系统部分，编号为11172-1。它描述了几种伴音和图像压缩数据的复用以及加入同步信号后的整个系统。
&&&&第二部分为视频部分，主要规定了图像压缩编码方法，编号为11172-2。
&&&&第三部分为音频部分，主要规定了数字伴音压缩编码，编号为11172-3。
&&&&可见MPEG-1标准的基本任务就是将视频与其伴音统一起来进行数据压缩，使其码率可以压缩到1.5Mbit/s左右，同时具有可接收的视频效果和保持视音频的同步关系。
&&&&（1）系统部分
&&&&MPEG-1标准的系统部分主要按定时信息的指示，将视频和音频数据流同步复合成一个完整的MPEG-1比特流，从而便于信息的存储与传输。在此过程将向数据流中加入相关的识别与同步信息，这样在接收端，可以根据这些信息，从接收数据流中分离出视频与音频数据流，并分别送往各自的视频、音频解码器进行同步解码和播放。
&&&&（2）视频部分
&&&&与H.261标准相似，MPEG-1标准也采用带运动补偿的帧间预测DCT变换和VLC技术相结合的混合编码方式。但MPEG-1在H.261的基础上进行的重大的改进，具体如下：
&&&&①输入视频格式
&&&&MPEG-1视频编码器要求其输入视频信号应为逐行扫描的SIF格式，如表4-6所示。如果输入视频信号采用其他格式，如ITU-R BT601，则必须转换成SIF格式才能作为MPEG-1的输入。
&&&&②预测与运动补偿
&&&&与H.261标准相同，MPEG-1也采用帧间预测和帧内预测相结合的压缩编码方案，以此来满足高压缩比和随机存取的要求。为此在MPEG-1标准中定义了三种类型的帧：分别是I图像帧、P帧和B帧。
&&&&★ I图像帧是一种帧内编码图像帧。
&&&&它是利用一帧图像中的像素信息，通过去除其空间冗余度而达到数据压缩的。
&&&&★P图像帧是一种预测编码图像帧
&&&&它是利用过去一个I图像帧或P图像帧，采用带运动补偿的帧间预测的方法进行编码。该图像帧可以为后续的P帧或B帧进行图像编码时提供参考。
&&&&★ B图像帧是一种双向预测编码图像帧。
&&&&它是利用其前后的图像帧（I帧或P帧）进行带运动补偿的双向预测编码而得到的，如图4-55所示。它本身不作为参考使用，所以不需要进行传送，但需传送运动补偿信息。
&&&&③视频码流的分层结构
&&&&MPEG-1数据码流也同样采用层次结构，其结构如图4-56所示。可见其最基本单元是块，下面分别进行介绍。
&&&&★块：一个块是由8×8像素构成的。亮度信号、色差信号都采用这种结构。它是DCT变换的最基本单元。
&&&&★宏块：一个宏块是由附加数据与4个8×8亮度块和2个8×8色差块组成。其中附加数据包含宏块的编码类型、量化参数、运动矢量等。宏块是进行运动补偿运算的基本单元。
&&&&★图像条：一个图像条是由附加数据与若干个宏块组成。附加数据包括该图像条在整个图像中的位置、默认的全局量化参数等。图像条是进行图像同步的基本单元。应该说明的是在一帧图像中，图像条越多，其编码效率越低，但处理误码的操作更容易，只需跳过出现误码的图像条即可。
&&&&★图像：一幅图像是由数据头和若干片构成的。其中数据头包含该图像的编码类型及码表选择信息等。它是最基本的显示单元。通常我们也称其为帧。
&&&&★图像组：一个图像组是由数据头和若干图像构成。数据头中包含时间代码等信息。图像组中每一幅图像既可以是I帧，也可以是P帧或B帧。但需说明的是GOP中的第一幅图像必须是I帧，这样可以便于提供图像接入点。
&&&& ★图像序列是由数据头和若干图像组构成的。数据头中包含图像的大小，量化矩阵等信息。
&&&&④MPEG-1视频编/解码原理
&&&&MPEG-1视频编/解码器的原理框图如图4-57所示。从图中可以看出，其功能包含帧间/帧内预测、量化和VLC编码。
&&&&a.帧内编码
&&&&由于输入图像序列的第一帧一定是I帧，因而无需对其进行运动估值和补偿，只需要将输入图像块信号进行8×8变换，然后对DCT变换系数进行量化，再对量化系数进行VLC编码和多路复用，最后存放在帧缓冲器之中，其输出便形成编码比特流，解码过程是编码的逆过程。
&&&&b.帧间编码
&&&&从输入图像序列的第二帧开始进行帧间预测编码，因而由量化器输出的数据序列一方面被送往VLC及多路复用器的同时，还被送往反量化器和IDCT变换（DCT反变换），从而获得重建图像，以此作为预测器的参考帧。该过程与接收端的解码过程相同。
&&&&此时首先求出预测图像与输入图像之间的预测误差，当预测误差大于阈值时，则对预测误差进行量化和VLC编码，否则不传该块信息，但需将前向和后向运动矢量信息传输到接收端，在实际的信道中传输的只有两种帧，即I帧和P帧，这样，在接收端便可以重建I帧和P帧，同时根据所接收的运动矢量采用双向预测的方式恢复B帧。
&&&&值得注意的是，对于B帧的运动估值过程要进行两次，一次用过去帧来进行预测，另一次则要用将来帧进行预测，因此可求得两个运动矢量。同时，在编码器中可以利用这两个宏块（过去帧和将来帧）中的任何一个或两者的平均值和当前输入图像的宏块相减，从而得到预测差。这种编码方式就是前面介绍的帧间内插编码。
&&&&2、MPEG-2
&&&&1995年出台的MPEG-2 ( ISO/IEC 13818)标准所追求的是CCIR601标准的图像质量，即为DVB, HDTV和DVD等制定的3-10 Mb/s的运动图像及其伴音的编码标准。MPEG-2在NTSC制式下的分辨率可达720*486，MPEG-2还可提供广播级的视频和CD级的音质。MPEG-2的音频编码可提供左、右、中声道及两个环绕声道，以及一个重低音声道和多达7个伴音声道（DVD可有8种语言配音的原因)。同时，由于MPEG-2的出色性能表现，已能适用于HDTV，使得原打算为HDTV设计的MPEG-3，还没出世就被抛弃了。
&&&&MPEG-2的另一特点是，可提供一个范围较广的可变压缩比，以适应不同的画面质量、存储容量以及带宽的要求。其应用范围除了作为DVD的指定标准外，MPEG-2还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。目前，欧、美、日等国在视频方面采用MPEG-2标准，而在音频方面则采用AC-3标准，数字视频广播（Digital Video Broadcasting，DVB)标准中的视频压缩标准也确定采用MPEG-2，音频压缩标准采用MPEG音频。
&&&&它与MPEG-1兼容的基础上实现了低码率：MPEG-2可以将一部120分钟长的电影压缩到4～8GB(DVD质量)。
&&&&MPEG-2标准分为九个部分。
&&&&第一部分为MPEG-2系统，描述多个视频流和音频流合成节
目流或传输流的方法。
&&&&第二部分是MPEG-2视频，描述视频编码方法。
&&&&第三部分为MPEG-2音频，描述音频编码方法。
&&&&第四部分是一致性，描述测试一个编码码流是否符合MPEG-2码流的方法。
&&&&第五部分为参考软件，描述第一、二和三部分的软件实现方法。
&&&&第六部分是数字存储媒体的命令和控制DSM-CC，描述交互式多媒体网络中服务器和用户之间的会话信令集。
&&&&第七部分是高级音频编码AAC，规定了不兼容MPEG-1音频的多通道音频编码。
&&&&第八部分是一致性DSM-CC。
&&&&第九部分为实时接口，描述传送码流的实时接口规范。
&&&&在MPEG-2标准中除包括系统、视频和音频三部分外，还包括符合性测试、软件、数字存储媒体的指令和控制等六部分内容。这里我们仅讨论系统与视频部分。
&&&&（1）系统部分
&&&&MPEG-2系统部分的基本功能是能将一个或多个视频、音频及其它数据的基本流组合成一个或多个可供存储和传输的码流，因此其中应提供用于多个码流解码时的同步、交织与控制等信息。
&&&&①MPEG-2系统结构
&&&&在图4-58中给出了MPEG-2系统结构图。
&&&&& 图4-59 MPEG-2传送流解码器原理
&&&&②节目流与传送流
&&&&MPEG-2的节目流是由有共同时间基准的一个或多个打包基本流组合而成，多个有共同时间基准的音频和视频基本流，经过编码又可构成多个节目流。所有的基本流将在同步情况下进行解码，其组成如图4-60所示，可见节目流的长度是可变的，一般相对传送流而言，长度较长。
&&&&MPEG-2节目流的编码格式
&&&&&&&&& &图4-60 MPEG-2节目流的编码格式
& 图4-61 MPEG-2传送流的编码格式
&&&&（2）视频部分
&&&&MPEG-2的视频标准是在MPEG-1的基础上进行了重大的改进和扩充，主要体现在以下几方面：
&&&& ①设置了“按帧编码”和“按场编码”两种模式。
&&&&MPEG-1标准中支持逐行扫描，但在MPEG-2标准中考虑到电视信号隔行扫描的特性，专门设置了“按场编码”模式，同时对运动补偿算法和DCT方式进行了扩充，细分为“按帧运动补偿”和“按场运动补偿”，从而显著地提高了压缩编码的效率。
&&&&②引入“可分级型”的概念
&&&&在MPEG-2中视频图像编码是即分“档次”，又分“等级”的.“档次”是按编码难易程度来进行划分的，其中每个档次都是MPEG-2语法的一个子集，因此全部语法的部分子集共分五种档次，分别为无B帧的简单型、允许B帧的基本型、信噪比可分级型、空间可分级型和增强型。
&&&&若从图像格式的难易程度观察，每个档次又划分为四个“等级”，不同等级的相关参数不同，具体“档次”和“等级”规范如表4-9所示。
&&&&③规定了三种色差取样格式
&&&&④扩展DCT扫描方式
&&&&⑤采用更精细的量化
&&&&⑥可分级编码模式
&&&&表4-7 MPEG-2标准的通信规范及各等级允许的帧频和最大垂直运动矢量范围。
一般在MPEG-2可分级编码中，至少可以将码流分为基本层和增强层。基本层包含重建基本图像是所需的码流，而增强层则提供使图像达到更高质量所需的码流。
&&&&通常划分方法有四种（称为四种可分级编码模式），具体如下：
&&&&★按数据的重要性进行划分
&&&&在基层中所包含的数据有头信息、运动矢量及低频DCT系数等重要数据，而在增强层中包括了不太重要的数据，如高频DCT系数。在信息传输过程中，网络重点保护基本层信息，而对增强层的保护程度可以低一些。
&&&&★按SNR进行划分
&&&&首先DCT变换系数通过具有粗量化步长的量化器Q1，对量化器Q1输出的DCT系数进行扫描和VLC编码，从而形成基本层码流，然后用原始DCT系数减去Q1反量化器输出结果，它们的差值再通过量化器Q2输出DCT，并对系数进行扫描和VLC编码，进而产生增强码层流。在4Mbit/s~9Mbit/s的范围内，用SNR可分级码流比不可分级码流损失0.5dB~1.1dB.
&&&&★按空间分辨率进行分级
&&&&在基本层中所包含的码流是对输入图像进行亚取样后的、具有低分辨率的图像码流，其编码与MPEG-1的编码相似,而在增强层中所包含的码流为其余高分辨率的图像码流。在4Mbit/s码流下，空间分级比未采用可分级的编码损失0.75dB～1.5dB.
&&&&★从时间域进行划分
&&&&首先均匀去掉一些帧或场，对保留的图像按标准方式进行编码，从而形成基本层码流，而去掉的图像码流则组成增强层，时域分级比未采用分级编码损失0.2～0.3dB.
&&&&3、MPEG-4低比特率音频与视频对象压缩编码标准
&&&&MPEG-4是一种第二代视音频编码技术。它是一种适用于各种多媒体应用的“视音频对象编码”标准。
&&&&MPEG-4(正式命名为ISO/IEC 14496)于1998年11月公布，它是针对一定比特率下的视频、音频编码，更加注重多媒体系统的交互性和灵活性。这个标准主要应用于可视电话、可视电子邮件等，对传输速率要求较低，在4.8～64kb/s之间，分辨率为176*144。MPEG-4利用很窄的带宽，通过帧重建技术以及数据压缩技术，以求用最少的数据获得最佳的图像质量。
&&&&MPEG-4比MPEG-2的应用更广泛，最终希望建立一种能被多媒体传输、多媒体存储、多媒体检索等应用领域普遍采纳的统一的多媒体数据格式。由于所要覆盖的应用范围广阔，同时应用本身的要求又各不相同，因此，MPEG-4不同于过去的MPEG-2或H.26X系列标准，其压缩方法不再是限定的某种算法，而是可以根据不同的应用，进行系统裁剪，选取不同的算法。例如对Intra帧的压缩就提供了DCT和小波两种变换。
&&&&MPEG-4比起MPEG-2及H.26X系列，新变化中最重要的三个技术特征是：基于内容的压缩、更高的压缩比和时空可伸缩性。
&&&&（1）MPEG-4与MPEG-1、MPEG-2标准的根本区别
M&&&&PEG-4标准与MPEG-1、MPEG-2的最根本区别在于：
&&&&①MPEG-4是基于内容的压缩编码方法
它首先根据内容将图像分割成不同的视频对象VO，例如在会议电视系统中常见的视频图像是以讲话的人为前景，此外还有背景，因而在视频对象的划分中经常将人作为前景视频对象，而将其余部分视为背景视频对象。其中前景视频对象中包含了重要的边界和轮廓信息，因此在编码过程中应尽可能地保留这部分信息，而对人们不太关心的背景视频对象，则可以采用大比例的压缩策略，甚至可以不传输，仅在接收端用其他背景代替。
&&&&②引入视频对象VO(Viedo Object)和视频对象平面
&&&&VOP(Video Object Plane)概念
&&&&在MPEG-4中是根据人眼感兴趣的一些特征，如纹理、运动、形状等，对视频图像进行分割，如图像的背景、画面上的对象（对象1、对象2，……），然后将各对象从场景中截取出来，每个对象所截取的图像区域不同，它们各自的形状也不同。通常将这些区域称为视频对象平面VOP，如图4-63所示。可见这幅图像（图4-63（a））包含了3个对象：VOP0(背景)、VOP1(树)和VOP2(人)。图4-63（b）指出了这三个对象在场景中组成的逻辑关系。
&&&&MPEG-4标准的构成: MPEG-4标准由七个部分构成。
&&&&第一部分是系统，MPEG-4系统把音/视频对象及其组合复用成一个场景，提供与场景互相作用的工具，使用户具有交互能力。
&&&&第二部分是视频，描述基于对象的视频编码方法，支持对自然和合成视频对象的编码。MPEG-4也支持对自然和合成的视觉对象的编码。合成的视觉对象包括2D、3D动画和人面部表情动画等。
&&&&第三部分是音频，描述对自然声音和合成声音的编码。MPEG-4不仅支持自然声音，而且支持合成声音。MPEG-4的音频部分将音频的合成编码和自然声音的编码相结合，并支持音频的对象特征。支持MIDI和TTS.
&&&&第四部分为一致性测试标准 。
&&&&第五部分是参考软件 。
&&&&第六部分是多媒体传送整体框架(Delivery Multimedia Integration Framework ，DMIF) ，主要解决交互网络中、广播环境下以及磁盘应用中多媒体应用的操作问题，通过DMIF, MPEG-4 可以建立具有特殊服务质量的信道，并面向每个基本流分配带宽。(DMIF-delivery multimedia integration framework)。主要用于解决交互网络中、广播环境下以及光盘应用中多媒体应用的操作问题。它是MPEG-4制订的会话协议，用来管理多媒体数据流。通过传输多路合成比特信息来建立客户端和服务器端的连接与传输。
&&&&第七部分是MPEG-4工具优化软件，提供一系列工具描述组成场景的一组对象，这些场景描述可以以二进制表示，与音/视频对象一起编码和传输。
&&&&MPEG-4定义了一个系统解码模式(SDM)， 该解码模式描述了一种理想的处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模式。通过有效地管理，可以更好地利用有限的缓冲区空间。
&&&&MPEG-4编码特性
&&&&MPEG-4采用了对象的概念。不同的数据源被视作不同的对象，而数据的接收者不再是被动的，他可以对不同的对象进行删除、添加、移动等操作。这种基于对象的操作方法是MPEG-4与MPEG-1、MPEG-2的不同之处。语音、图像、视频等可以作为单独存在的对象，也可以集合成一个更高层的对象，经常称之为场景。MPEG-4用来描述其场景的语言叫Binary Format for Scenes(BIFS)。BIFS(binary format for scene)描述场景中对象的空间时间安排，观察者可以有与这些对象交互的可能性。BIFS语言不仅允许场景中对象的删除和添加，而且可以对对象进行属性改变，可以控制对象的行为――即可以进行交互式应用。
&&&&整个MPEG-4就是围绕如何高效编码AV(音视频)对象，如何有效组织、传输AV对象而编制的。因此，AV对象的编码是MPEG-4的核心编码技术。AV对象的提出，使多媒体通信具有高度的交互能力和很高的编码效率。MPEG-4用运动补偿消除时域冗余，用DCT消除空域冗余。与以往视频编码标准相同，为支持基于对象编码，MPEG-4还采用形状编码和与之相关的形状自适应DCT(SA - DCT)技术以支持任意形状视频对象编码。&&&&与H.263相比，MPEG-4的视频编码标准要复杂的多，支持的应用要广泛的多。MPEG-4视频标准的目标是在多媒体环境中允许视频数据的有效存取、传输和操作。为达到这一广泛应用目标，MPEG-4提供了一组工具与算法，通过这些工具与算法，从而支持诸如高效压缩、视频对象伸缩性、空域和时域伸缩性、对误码的恢复能力等功能。因此，MPEG-4视频标准就是提供上述功能的一个标准化“工具箱”。
&&&&MPEG-4提供技术规范满足多媒体终端用户和多媒体服务提供者的需要。对于技术人员，MPEG-4提供关于数字电视，图像动画，Web页面相应的技术支持；对于网络服务提供者，MPEG-4提供的信息，能被翻译成各种网络所用的信令消息；对于终端用户，MPEG-4提供较高的交互访问能力。具体标准概括如下：
&&&&◆提供音频、视频、或者音视频内容单元的表述形式，这种形式即AV对象(AVO：音视频对象)，这些 AVO可以是自然内容和合成内容，这些内容可以用相机或麦克风记录，也可用计算机生成。
&&&&◆将基本AVO对象合成为音视频对象，形成音视场景。
&&&&◆将与AVO相连的数据复合、同步。使用户端和所产生的音视场景交互。
&&&&MPEG-4提供一个组成的场景的标准方式，允许：
&&&&将AVO放在给定坐标系统中的任意位置。
&&&&将AVO重新组合成合成AVO(Compound AVO)
&&&&为了修改AVO属性(例如，移动一个对象的纹理，通过发送一个动画参数模拟一个运动的头部)，应将流式数据应用于AVO。
&&&&交互式的改变用户在场景中的视点和听点。
&&&&背景全景图+视频对象(VO)=合成图像
& （2）MPEG-4系统组成
&&&&①MPEG-4系统流
&&&&在图4-64中给出了一个典型MPEG-4系统的终端模型。
&&&&MPEG-4包括6个核心部分，分别是DMIF(多媒体传送整体框架)、数据平面、缓冲区管理和实时识别、场景描述、音频编码、视频编码。
&&&&②MPEG-4视频流
&&&&MPEG-4是基于对象的视频编码系统。与传统的基于帧的压缩编码方法相比，非常便于操作和控制对象。例如用户可以根据兴趣为某些对象分配较多的比特，而对不感兴趣的对象分配较少的比特，这样在达到低速的同时又能满足图像的主观质量。
&&&&&&&&&& &图4-64 MPEG-4 系统的终端模型
&&&&（3）MPEG-4视频编码方法
&&&&在基于对象的视频压缩编码中，最基本的编码单元是对象，而且它是针对对象的纹理、形状、运动三种信息进行编码。
&&&&①基于对象的视频编码方法
&&&&基于对象的视频编码方法主要有以下几种：
&&&&基于对象的形状信息所采用的编码方法。
&&&&基于对象的纹理和颜色信息所采用的编码方法。
&&&&基于对象的信息所采用的编码方法。
&&&&这里需要说明的是MPEG-4的编码机制是基于16×16像素宏块来设计的。
&&&&a.MPEG-4的结构与语法
&&&&在MPEG-4视频码流中采用了视频场景分层描述的方式。它是由视频序列、视频对象、视频对象层、视频平面、视频块组、宏块和块组成的，如图4-66所示。
&&&&b.形状编码
&&&&VO的形状信息有两类：分别为二值形状信息和灰度形状信息。
&&&&c.纹理编码
&&&&针对帧内编码I-VOP信息和帧间编码的P-VOP或B-VOP差值信息都可以采用纹理编码。纹理编码主要采用8×8像素的DCT变换方法。
&&&&d.分级编码
&&&&在MPEG-2和MPEG-4中都采用了可分级技术，但MPEG-4中的可分级技术是通过VOL数据结构来实现的，基于对象的可分级扩展编码技术，它可以提供两种可分级扩展方式，分别是时间可分级扩展和空间可分级扩展。
&&&&&&&& 图4-70 MPEG-4视频的分层结构
&&&&&&&&&&& 图4-71 MPEG-4通用的可分级扩展框图
&&&&ISO MPEG和ITU-T的视频编码专家组VCEG于2003年联合制定了比MPEG和H.263性能更好的视频压缩编码标准，这个标准被称为ITU-T H.264建议或MPEG-4的第10部分标准，简称H.264/AVC（Advanced Video Coding）。H.264不仅具有高压缩比（其压缩性能约比MPEG-4和H.263提高一倍），而且在恶劣的网络传输条件下，具有较高的抗误码性能。H.264支持表3-7所示的三个范畴。
&&&&&& 表3-7
H.264的几种应用
&&&&1、H.264的分层结构
&&&&H.264采用“网络友好(Network Friendliness)”的结构和语法，以提高网络适应能力，适应IP网络和移动网络的应用。
&&&&从概念上划分，H.264算法分为视频编码层（VCL:Video Coding Layer）和网络提取层（NAL: Network Abstraction Layer）如图A所示。视频编码层负责表示高效的视频内容，即进行视频数据的压缩，通常打包和相应的信令是由视频编码层来完成。而网络提取层则负责以网络所要求的适当方式对数据进行打包和传送,并且在视频编码层与网络提取层之间还定义了一个基于分组方式的接口，它们分别提供高效编码和良好的网络适应性。
&&&&&&&&&&
&&&&&&&&&&&&&& 图4-71 H.264的分层结构
&&&&2、H.264编码原理
&&&&H.264同样是一种基于块的混合编码，其编码原理如图B所示。可见其基本原理与H.261、H.263类似，都是通过帧间预测和运动补偿来消除时域冗余，通过变换编码来消除频域冗余。然后再经过量化、熵编码产生压缩码流，但与其他标准不同，其先进性表现在以下几个方面：
&&&&与H.263和MPEG-4相比，H.264主要做了如下改进：
&&&&◎帧内预测
&&&&◎帧间预测
&&&&◎ SP/SI帧技术
&&&&◎整数变换与量化
&&&&减少了方块效应。
&&&&用整数运算实现变换和量化。
&&&&提高了压缩效率。
&&&&◎熵编码
&&&&◎对传输错误的鲁棒性和对不同网络的适应性}