基于ijkPlayer学习视频播放器实现(一)

在工作中,对视频播放器相关开发知识断断续续也学习过不少,按需求完成过一些定制化开发,但感觉还是没有成体系的学习过,借此给自己挖个坑,学习一下ijkPlayer播放器的实现,把这个系列文章完成。

Android中视频播放器的选择

  • MediaPlayer
    在Android系统中对于视频播放器有原生的实现MediaPlayer, 以及将MediaPlayer,SurfaceView封装在一起的VideoView, 两者都只是使用硬解播放,基本上只支持本地和HTTP协议的视频播放,扩展性都很差,只适合最简单的视频播放需求。

  • ExoPlayer
    谷歌后来有开源了一个播放器项目[ExoPlayer])(https://github.com/google/ExoPlayer), 提供了更好的扩展性和定制能力,并加入了对DASH和HLS等直播协议的支持,但也只支持硬码,如果项目中只需要支持对H264格式的视频播放,以及流媒体协议比较常规(比如HTTP,HLS),基于ExoPlayer定制也是不错的选择。

  • ijkplayer
    ijkplayer是Bilibili公司开源的播放器实现,整合了FFMpeg, ExoPlayer, MediaPlayer等多种实现,提供了类似于MediaPlayer的API,可以实现软硬解码自由切换,自定义TextureView实现,同时得益于FFMpeg的能力,也能支持多种流媒体协议(RTSP,RTMP,HLS等),多种视频编码格式(h264, mpeg4, mjpeg),具有很高的灵活性,可以定制实现自己特色的播放器(比如支持视频缩放,视频翻转等)。

视频播放的流程

常规的视频播放分为传输,解封装,解码,绘制四个步骤,以下按播放网站上(HTTP)的mp4文件为例,简单介绍一下几个过程:

视频播放过程.png

  • HTTP传输
    播放器使用HTTP协议把MP4下载下来,这部分需求一般需要边下边播,服务器的HttpServer一定要支持HTTP Seek,因为播放的过程中需要跳转到不同的位置下载内容,比如MP4结构中的moov元数据信息在很多视频文件中都被放置在文件末尾了。

  • MP4解封包
    这部分我们常见的封包格式就是mp4, 视频编码后h264数据被拆分为多个片段封包到mp4中,解封包就是从mp4中解析出h264视频裸码流的过程。需要对Mp4格式有更多了解,可以参考MP4文件格式解析

  • H264解码
    视频解码就是将h264裸码流解析成视频像素数据的过程(一般是yuv,也可以是rgba,类似于将jpg图片解码为bitmap数据。h264格式可以使用Android系统提供MediaCoder硬解码,也可以使用FFMpeg进行软解码。
    奉上一篇能把H264格式结构讲清楚的文章:深入浅出理解视频编码H264结构

  • OpenGL绘制
    视频绘制就是将解析为yuv格式的视频数据绘制到屏幕上的过程,一般在Android我们可以绘制到SurfaceView或TextureView上,内部使用OpenGL来实现,这里有篇文章可以参考TextureView+SurfaceTexture+OpenGL ES来播放视频


 扫一扫下方二维码,关注我的微信公众号,第一时间获得Android开发进阶文章