JVT（Joint Video Team，视频联合工作组）于2001年12月在泰国Pattaya成立。它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。 JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳，新的视频压缩编码标准称为H.264标准，该标准也被ISO接纳，称为AVC（Advanced Video Coding）标准，是MPEG-4的第10部分。
H.264标准可分为三档：
基本档次（其简单版本，应用面广）；
主要档次（采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等）；
扩展档次（可用于各种网络的视频流传输）。
H.264 不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。
一、H.264视频压缩系统
H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示图像数据的类型。
VCL可以传输按当前的网络情况调整的编码参数。
二、H.264的特点
H.264和H.261、H.263一样，也是采用DCT变换编码加DPCM的差分编码，即混合编码结构。同时，H.264在混合编码的框架下引入了新的编码方式，提高了编码效率，更贴近实际应用。
H.264没有繁琐的选项，而是力求简洁的“回归基本”，它具有比H.263++更好的压缩性能，又具有适应多种信道的能力。
H.264的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。
H.264的基本系统无需使用版权，具有开放的性质，能很好地适应IP和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传输宽带信息等都具有重要意义。
尽管H.264编码基本结构与H.261、H.263是类似的，但它在很多环节做了改进，现列举如下。
1．多种更好的运动估计
高精度估计
在H.263中采用了半像素估计，在H.264中则进一步采用1/4像素甚至1/8像素的运动估计。即真正的运动矢量的位移可能是以1/4甚至1/8像素为基本单位的。显然，运动矢量位移的精度越高，则帧间剩余误差越小，传输码率越低，即压缩比越高。
在H.264中采用了6阶FIR滤波器的内插获得1/2像素位置的值。当1/2像素值获得后， 1/4像素值可通过线性内插获得，
对于4:1:1的视频格式，亮度信号的1/4 像素精度对应于色度部分的1/8像素的运动矢量，因此需要对色度信号进行1/8像素的内插运算。
理论上，如果将运动补偿的精度增加一倍（例如从整像素精度提高到1/2像素精度），可有0.5bit/Sample的编码增益，但实际验证发现在运动矢量精度超过1/8像素后，系统基本上就没有明显增益了，因此，在H.264中，只采用了1/4像素精度的运动矢量模式，而不是采用1/8像素的精度。
多宏块划分模式估计
在H.264的预测模式中，一个宏块（MB）可划分成7种不同模式的尺寸，这种多模式的灵活、细微的宏块划分，更切合图像中的实际运动物体的形状，于是，在每个宏块中可包含有1、2、4、8或16个运动矢量。
多参数帧估计
在H.264中，可采用多个参数帧的运动估计，即在编码器的缓存中存有多个刚刚编码好的参数帧，编码器从其中选择一个给出更好的编码效果的作为参数帧，并指出是哪个帧被用于预测，这样就可获得比只用上一个刚编码好的帧作为预测帧的更好的编码效果。
2．小尺寸4?4的整数变换
视频压缩编码中以往的常用单位为8?8块。在H.264中却采用小尺寸的4?4块，由于变换块的尺寸变小了，运动物体的划分就更为精确。这种情况下，图像变换过程中的计算量小了，而且在运动物体边缘的衔接误差也大为减少。
当图像中有较大面积的平滑区域时，为了不产生因小尺寸变换带来的块间灰度差异，H.264可对帧内宏块亮度数据的16个4?4块的DCT系数进行第二次4?4块的变换，对色度数据的4个4?4块的DC系数（每个小块一个，共4个DC系数）进行2?2块的变换。
H.263不仅使图像变换块尺寸变小，而且这个变换是整数操作，而不是实数运算，即编码器和解码器的变换和反变换的精度相同，没有“反变换误差”。
3．更精确的帧内预测
在H.264中，每个4?4块中的每个像素都可用17个最接近先前已编码的像素的不同加权和来进行帧内预测。
4．统一的VLC
H.264中关于熵编码有两种方法。
统一的VLC（即UVLC：Universal VLC）。UVLC使用一个相同的码表进行编码，而解码器很容易识别码字的前缀，UVLC在发生比特错误时能快速获得重同步。
内容自适应二进制算术编码（CABAC：Context Adaptive Binary Arithmetic Coding）。其编码性能比UVLC稍好，但复杂度较高。
三、性能优势
H.264 与MPEG-4、H.263++编码性能对比采用了以下6个测试速率：32kbit/s、10F/s和QCIF；64kbit/s、15F/s和 QCIF；128kbit/s、15F/s和CIF；256kbit/s、15F/s和QCIF；512kbit/s、30F/s和CIF； 1024kbit/s、30F/s和CIF。测试结果标明，H.264具有比MPEG和H.263++更优秀的PSNR性能。
H.264的 PSNR比MPEG-4平均要高2dB，比H.263++平均要高3dB。
四、新的快速运动估值算法
视频编码研究与MPEG标准演进
人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门话题。
视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩）和有失真压缩（即不可逆压缩）两类。
传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。
伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞生并日益成熟，其编码思想由基于像素和像素块转变为基于内容（content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象（object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。
与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。
MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中 MPEG-1和MPEG-2是采用以仙农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。
MPEG-4视频编码核心思想及关键技术
