FFmpeg 封装

本例子实现的是将视频数据和音频数据，按照一定的格式封装为特定的容器，比如FLV、MKV、MP4、AVI等等。

实现的过程，可以大致用如下图表示：

从图中可以大致看出视频封装的流程：

1. 首先要有编码好的视频、音频数据。

2. 其次要根据想要封装的格式选择特定的封装器。

3. 最后利用封装器进行封装。

根据流程可以推倒出大致的代码实现：

• 利用给定的YUV数据编码得到某种 CODEC 格式的编码视频（可以参见上面提到的编码实现），同样的方法得到音频数据。

• 获取输出文件格式：获取输出文件格式可以直接指定文件格式，比如FLV/MKV/MP4/AVI等，也可以通过输出文件的后缀名来确定，或者也可以选择默认的输出格式。根据得到的文件格式，其中可能有视频、音频等，为此我们需要为格式添加视频、音频、并对格式中的一些信息进行设置（比如头）。

• 利用设置好的音频、视频、头信息等，开始封装。

ffmpeg封装案例分析

我们一起学习基于FFmpeg的封装格式处理方面的例子。

FFmpeg的视音频复用器（FFmpeg-muxer）：

    视音频复用器（Muxer）即是将视频压缩数据（例如H.264）和音频压缩数据（例如AAC）合并到一个封装格式数据（例如MKV）中去。如图所示。在这个过程中并不涉及到编码和解码。

接下来我们将一个H.264编码的视频码流文件和一个MP3编码的音频码流文件，合成为一个MP4封装格式的文件。

流程

程序的流程如下图所示。

从流程图中可以看出，一共初始化了3个AVFormatContext，其中2个用于输入，1个用于输出。

3个AVFormatContext初始化之后，通过avcodec_copy_context()函数可以将输入视频/音频的参数拷贝至输出视频/音频的AVCodecContext结构体。

然后分别调用视频输入流和音频输入流的av_read_frame()，从视频输入流中取出视频的AVPacket，音频输入流中取出音频的AVPacket，分别将取出的AVPacket写入到输出文件中即可。

其间用到了一个不太常见的函数av_compare_ts()，是比较时间戳用的。

通过该函数可以决定该写入视频还是音频。

本文介绍的视音频复用器，输入的视频不一定是H.264裸流文件，音频也不一定是纯音频文件。

可以选择两个封装过的视音频文件作为输入。

程序会从视频输入文件中“挑”出视频流，音频输入文件中“挑”出音频流，再将“挑选”出来的视音频流复用起来。

PS1：对于某些封装格式（例如MP4/FLV/MKV等）中的H.264，需要用到名称为“h264_mp4toannexb”的bitstream filter。

PS2：对于某些封装格式（例如MP4/FLV/MKV等）中的AAC，需要用到名称为“aac_adtstoasc”的bitstream filter。

简单介绍一下流程中各个重要函数的意义：

• avformat_open_input()：打开输入文件。

• avcodec_copy_context()：赋值AVCodecContext的参数。

• avformat_alloc_output_context2()：初始化输出文件。

• avio_open()：打开输出文件。

• avformat_write_header()：写入文件头。

• av_compare_ts()：比较时间戳，决定写入视频还是写入音频。这个函数相对要少见一些。

• av_read_frame()：从输入文件读取一个AVPacket。

• av_interleaved_write_frame()：写入一个AVPacket到输出文件。

• av_write_trailer()：写入文件尾。

详细的源码请自行下载，或者在线学习作者的视频录课。