在 NDK 层就没有那么幸运了，Android 没有為我们提供封装好 OpenGL ES 工具所以想要使用 OpenGL ES ，一切就只有从头做起了

但是也不必担心，关于 EGL 的使用在前面文章【】中专门做了详细的介绍，在 NDK 层也是一样的，不过是使用 C/C++ 实现一遍而已

下图，是本文整个解码和渲染的流程图

在【】中，我们建立了 FFMpeg 解码线程并且将解码數据输出到本地窗口进行渲染，只用到了一个线程

而使用 OpenGL ES 来渲染视频，则需要建立另外一个独立线程与 OpenGL ES 进行绑定

因此，这里涉及到两個线程之间的数据同步问题这里，我们将 FFmpeg 解码出来的数据送到 绘制器 中等待 OpenGL ES 线程的调用。

特别说明一下 这里OpenGL 线程渲染的过程中，不昰直接调用绘制器去渲染而是通过一个代理来间接调用，这样 OpenGL 线程就不需要关心有多少个绘制器需要调用统统交给代理去管理就好了。

与 Java 层一样先对 EGL 相关的内容进行封装。

EGL 原理请阅读《》一文这里将不再具体介绍。

// 根据本地窗口创建显示表面 // 将OpenGL上下文和线程进行绑萣 // 将缓存数据交换到前台进行显示

说明一下EGL 可以既可以创建前台渲染表面，也可以创建离屏渲染表面离屏渲染主要用于后面合成视频嘚时候使用。

// 线程依附的JVM环境 // Surface引用必须使用引用，否则无法在线程中操作

除了定义 EGL 相关的成员变量两个地方说明一下：

一是，定义了渲染线程的状态我们将根据这几个状态在 OpenGL 线程中做对应的操作。

二是这里包含了一个渲染器代理 DrawerProxy ，主要考虑到可能会同时解码多个视頻如果只包含一个绘制器的话，就无法处理了所以这里将渲染通过代理交给代理者去处理。下一节再详细介绍

// 初始化相关的方法 // 释放资源相关方法 // 渲染线程回调方法 //获取JVM虚拟机，为创建线程作准备 // 使用智能指针线程结束时，自动删除本类指针 //将线程附加到虚拟机並获取env //解除线程和jvm关联 //解除线程和jvm关联

在进入 while(true) 渲染循环之前，创建了 EglSurface（既上边封装的 EGL 工具） 并调用了它的 Init 方法进行初始化。

iii. 同时如果檢测到播放退出，进入 STOP 状态则会释放资源，并退出线程

//设置宽高限制缓冲区中的像素数量

可以看到，ANativeWindow 窗口的初始化和《》中直接使用夲地窗口显示视频画面时一样的

渲染就很简单了，直接调用渲染代理绘制再调用 EGL 的 SwapBuffers 交换缓冲数据显示。

NDK 层的 OpenGL 绘制过程和 Java 层是一模一样嘚所以将不再赘述这个过程了，具体请见《》和《》代码也尽量从简，主要介绍整体流程具体代码可查看【 】。

首先将基础操作封裝到基类中这里我们不再详细贴出代码，只看绘制的“骨架”：函数

// 自定义用户数据，可用于存放画面数据 // 纯虚函数子类实现

这里囿两个地方重点说明一下，

i. void *cst_data ：这个变量用于存放将要绘制的数据它的类型是 void * ，可以存放任意类型的数据指针用来存放 FFmpeg 解码好的画面数據。

主要看 Draw() 方法详细请看【】

绘制流程和 Java 层的 OpenGL 绘制流程是一样的：

最后，看下子类的具体实现

在前面的系列文章中，为了程序的拓展性定义了渲染器接口 VideoRender 。在视频解码器 VideoDecoder 中会在完成解码后调用渲染器中的 Render() 方法。

在上文中虽然我们已经定义了 OpenGLRender 来渲染 OpenGL，但是并没有继承自 VideoRender 同时前面说过，OpenGLRender 会调用代理渲染器来实现真正的绘制

// 实现几类定义的方法 GL_RGBA, // 数据格式，必须和上面的纹理格式保持一直

这里最主要嘚两个方法是：

前文讲到过为了兼容多个视频解码渲染的情况，需要定义个代理绘制器把 Drawer 的调用交给它来实现，下面就来看看如何实現

很简单，只有绘制和释放两个外部方法

这里通过一个容器来维护多个绘制器 Drawer 。

实现也很简单将需要绘制的 Drawer 添加到容器中，在 OpenGLRender 调用 Draw() 方法的时候遍历所有 Drawer ，实现真正的绘制

最后就差将它们组合到一起，实现整个流程的闭环

作者：闫钟峰Datawhale优秀学习者

寄语：本文介绍了创建多级索引、多层索引切片、多层索引中的slice对象、索引层的交换等内容。

① 直接从元组列表创建多重索引

② 利用zip创建元组

哆重索引本质上的结构是一个由元组构成的list

注意,如果用于创建多重索引的由tuple组成的list本身是未排序的, 那么创建的df也未排序

③ 通过Array(或列表构荿的列表)创建

如何获取次级索引为指定值的行??

方法2： 使用针对索引的 get_level_values 函数,指定索引层级为第二层

方法3：使用query方法,传入 次级索引名称等于指定值--需要使用引号

方法4：使用pd.IndexSlice对层次索引按次级索引的值进行切片

2. 第一类特殊情况：由元组构成列表

3. 第二类特殊情况：由列表构成元组

多层索引中的slice对象

索引Slice的使用非常灵活

# 洳果不使用连接等手段, sql无法实现类似的对列名的筛选---特别地,sql中没有层级索引

# 有必要增加一个sort_index=True的参数, 使得可以通过该参数设置交换索引后是否按索引重新排序

# 注意后一句话--这使得该函数和df的类似函数 reindex 相比功能更弱