过滤器（Filter）

在多媒体处理中，filter的意思是被编码到输出文件之前用来修改输入文件内容的一个软件工具。如：视频翻转，旋转，缩放等。

语法：[input_link_label1]… filter_name=parameters [output_link_label1]…

1、视频过滤器 -vf

如input.mp4视频按顺时针方向旋转90度

ffplay -i input.mp4 -vf transpose=1

如input.mp4视频水平翻转(左右翻转)

ffplay -i input.mp4 -vf hflip

2、音频过滤器 -af

实现慢速播放，声音速度是原始速度的50%

offplay input.mp3 -af atempo=0.5

过滤器链（Filterchain）

Filterchain = 逗号分隔的一组filter

语法：“filter1,filter2,filter3,…filterN-2,filterN-1,filterN”

顺时针旋转90度并水平翻转

ffplay -i input.mp4 -vf transpose=1,hflip

过滤器图(Filtergraph)

第一步： 源视频宽度扩大两倍。

ffmpeg -i jidu.mp4 -t 10 -vf pad=2*iw output.mp4

第二步：源视频水平翻转

ffmpeg -i jidu.mp4 -t 10 -vf hflip output2.mp4

第三步：水平翻转视频覆盖output.mp4

ffmpeg -i output.mp4 -i output2.mp4 -filter_complex overlay=w compare.mp4

是不是很复杂？

用带有链接标记的过滤器图(Filtergraph)只需一条命令

基本语法

Filtergraph = 分号分隔的一组filterchain

“filterchain1;filterchain2;…filterchainN-1;filterchainN”

Filtergraph的分类

1、简单(simple) 一对一

2、复杂(complex）多对一， 多对多

简单过滤器图处理流程：

复杂过滤器图处理流程：

从图中可以发现复杂过滤器图比简单过滤器图少2个步骤，效率比简单高，ffmpeg建议尽量使用复杂过滤器图。

对于刚才用三步处理的方式，用过滤器图可以这样做：

ffplay -f lavfi -i testsrc -vf split[a][b];[a]pad=2*iw[1];[b]hflip[2];[1][2]overlay=w

F1: split过滤器创建两个输入文件的拷贝并标记为[a],[b]

F2: [a]作为pad过滤器的输入，pad过滤器产生2倍宽度并输出到[1].

F3: [b]作为hflip过滤器的输入，vflip过滤器水平翻转视频并输出到[2].

F4: 用overlay过滤器把 [2]覆盖到[1]的旁边.

Filter的结构体关系图与定义

4.1 结构体间的关系图

filter涉及的结构体，主要包括：

> FilterGraph, AVFilterGraph

> InputFilter, InputStream, OutputFilter, OutputStream

> AVFilter， AVFilterContext

> AVFilterLink

> AVFilterPad；

它们之间的类关系如下图所示：

从上图可以看到，FFmpeg的滤镜相关的结构体三层组成：

1) filtergraph层

由结构体 FilterGraph, AVFilterGraph组成；

其中,

FilterGraph， 包含一个InputFilter, 它指示了整个Graph的第一个滤镜，并指示了InputStream, 从而作为整个Graph的输入；

包含一个OutputFilter, 它指示了整个Graph的最后一个滤镜，并指示了OutputStream,从而作为整个Graph的输出；

包含一个AVFilterGraph的实例，它指示的是组成本graph的filter;

2) filterchain层

它由AVFilter, AVFilterContext, AVFilterLink, AVFilterPad组成；

其中，AVFilterContext是AVFilter的实例；

而filter之间是用 AVFilterLink进行连接，意思是，滤镜之间并不是直接相连的，是通过AVFilterLink进行连接；

AVFilterContext 通过AVFilterLink进行连接后，就组成了Filterchain。

而AVFilterContext与AVFilterLink之间的AVFilterPad是直接相连的，对应的关系是

AVFilterContext的output_pad 连接它下游AVFilterLink的 srcpad;

AVFilterContext的input_pad 连接它上游AVFilterLink的 dstpad;

3) filter层

由AVFilterContext, AVFilterPad组成；

其中AVFilterContext是真正进行数据处理的滤镜实体；

AVFilterPad用于AVFilterContext之间的callback（回调）：

第一个AVFilterContext的outputs[0]指针，指向第一个AVFilterLink，这个AVFilterLink的dst指针，指向第二个AVFilterContext。

如果在前一个AVFilterContext调用 outputs[0]->dstpad->filter_frame(Frame* input_frame1),

那其实就意味着，第一个过滤器，可以把处理好的一个frame（名字为input_frame1），可以通过这个调用，传递给第二个过滤器的input_pads的filter_frame函数。

而第二个过滤器，里面就是用户自己实现的filter_frame()，以对数据进行处理；

DirectShow

DirectShow（简称 DShow） 是一个 Windows 平台上的流媒体框架，提供了高质量的多媒体流采集和回放功能。它支持多种多样的媒体文件格式，包括 ASF、MPEG、AVI、MP3和WAV 文件，同时支持使 动或早期的 VFW 驱动来进行多媒体流的采集。

DirectShow 大大简化了媒体回放、格式转换和采集工作。但与此同时，它也为用户自定义的解决方案提供了底层流控制框架，从而使用户可以自行创建支持新的文件格式或其他用户的 DirectShow 组件。

DirectShow 专为 C ++ 而设计。 Microsoft 不提供用于 DirectShow 的托管 API。

DirectShow 是基于组件对象模型（COM）的，因此当你编写 DirectShow 应用程序时，你必须具备 COM 客户端程序编写的知识。对于大部分的应用程序，你不需要实现自己的 COM 对象，DirectShow 提供了大部分你需要的 DirectShow 组件，但是假如你需要编写自己的 DirectShow 组件来进行扩充，那么你必须编写实现 COM 对象。

使用 DirectShow 编写的典型应用程序包括：DVD 播放器、视频编辑程序、AVI 到 ASF 转换器、 MP3 播放器和数字视频采集应用。

DirectShow 架构

DirectShow 的架构如下图所示：

DirectShow 位于应用层中。它使用一种叫 Filter Graph 的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫 Filter；各个 Filter 在 Filter Graph 中按一定的顺序连接成一条 "流水线" 协同工作。（ 可以看出 FilterGraph 是 Filter 的容器 ）

按照功能来分，Filter 大致分为三类：

Source Filters、Transform Filters 和 Rendering(sink) Filters。

Source Filters 主要负责取得数据，数据源可以是文件、因特网、或者计算机里的采集卡、数字摄像机等，然后将数据往下传输；

Transform Fitlers 主要负责数据的格式转换、传输；

Rendering Filtes 主要负责数据的最终去向，我们可以将数据送给声卡、显卡进行多媒体的演示，也可以输出到文件进行存储。

在 DirectShow 系统上，我们看到的，即是我们的应用程序（Application）。应用程序要按照一定的意图建立起相应的 Filter Graph，然后通过 Filter Graph Manager 来控制整个的数据处理过程。DirectShow 能在 Filter Graph 运行的时候接收到各种事件，并通过消息的方式发送到我们的应用程序。这样，就实现了应用程序与 DirectShow 系统之间的交互。

DirectShow使用一种交Filter Graph的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫做Filter；各个Filter在Filter Graph中按一定的顺序连接成一条"流水线"协同工作。Filter，它是最基本的软件构件，过滤器通常在多媒体流中执行一个操作。各个Filter在Filter Graph中按一定的顺序连接成一条"流水线"协同工作。如果用图论的术语描述，过滤器图是一个有向、无环、非连通图。有向是因为数据在过滤器之间以预定的方向流动；无环是指没有路径可以从一个过滤器出发又返回到它自身；而非连通是指不是所有的过滤器都可以达到所有其他过滤器。

案例实战

Filtering_video.c