使用MediaCodec H264stream媒体

我目前正在尝试将Android用作Skype端点。 在这个阶段,我需要将video编码为H.264(因为它是Skype支持的唯一格式),并使用RTP进行封装,以使stream媒体能够正常工作。

MediaRecorder显然不是很适合这个由于各种原因。 一个是因为它完成后添加MP4或3GP头。 另一个原因是为了将延迟降到最低,硬件加速可能派上用场。 这就是为什么我想利用最近低层次的框架,如MediaCodecMediaExtractor

目前,我打算如下工作。 相机将其video写入缓冲区。 MediaCodec使用H264编码video并将结果写入另一个缓冲区。 该缓冲区由RTP封装器读取,该封装器将stream数据发送到服务器。 这是我的第一个问题:这个计划对您来说听起来是否可行?

现在我已经陷入了第一步。 由于互联网上有关使用相机的所有文档都使用MediaRecorder ,所以在编码之前,我找不到将其原始数据存储到缓冲区的方法。 是addCallbackBuffer适合这个? 任何人都有一个例子的链接?

接下来,我找不到很多关于MediaCodec的文档(因为它是相当新的)。 谁有一个坚实的教程?

最后:关于RTP库的任何build议?

提前感谢!

Solutions Collecting From Web of "使用MediaCodec H264stream媒体"

UPDATE
我终于能够从h264帧创build适当的RTP包。 这是你必须记住的(其实很简单):

编码器确实为每个帧创buildNAL头。 但它将每个帧作为h264 字节stream返回。 这意味着每个帧以三个0字节和一个1字节开始。 所有你需要做的就是删除这些起始前缀,并把帧放入一个RTP包(或使用FU-As分割)。

现在你的问题:

我找不到在编码之前将其原始数据存储到缓冲区的方法。 是addCallbackBuffer适合这个?

您应该使用camera.setPreviewCallback(…),并将每个帧添加到编码器。

我找不到很多关于MediaCodec的文档(因为它是相当新的)。 谁有一个坚实的教程?

这应该是关于MediaCodec如何工作的一个很好的介绍。 http://dpsm.wordpress.com/2012/07/28/android-mediacodec-decoded/

最后:关于RTP库的任何build议?

我正在使用jlibrtp来完成这项工作。

我对MediaCodec或MediaExtractor一无所知,但是我对MediaRecorder非常熟悉,并成功实现了基于SpyDroid的RTSP服务器,它捕获MediaRecorder的H264 / AMRNB输出。 其基本思想是代码创build一个本地套接字对,并使用MediaRecorder的setOutputFile将输出写入对中的一个套接字。 然后,程序从另一个套接字读取video或audiostream,将其parsing为数据包,然后将每个数据包打包成一个或多个通过UDP发送的RTP数据包。

MediaRecorder确实在完成之后添加了MOOV标题,但如果您使用RTP格式的H264video,这并不是问题。 基本上,videostream的开始处有一个“mdat”标题。 它有4个字节的长度的头,其次是4个字节“mdat”。 阅读长度以确定标题的长度,确认它是mdat标题,然后跳过标题数据的其余部分。 从那里开始,你会得到一个NAL单元stream,单元长度从4个字节开始。 小的NAL单元可以用一个RTP包发送,而较大的单元可以被分解成FU包。 对于RTSP,您还需要提供描述stream的SDP头。 SpyDroid通过将非常短的电影写入文件来计算SDP头中的信息,然后读取该文件以从末尾提取MOOV头。 我的应用程序总是使用相同的大小,格式和比特率,所以我只是提供一个静态string:

 public static final String SDP_STRING = "m=video 5006 RTP/AVP 96\n" + "b=RR:0\n" + "a=rtpmap:96 H264/90000\n" + "a=fmtp:96 packetization-mode=1;profile-level-id=428028;sprop-parameter-sets=Z0KAKJWgKA9E,aM48gA==;\n" + "a=control:trackID=0\n" + "m=audio 5004 RTP/AVP 96\n" + "b=AS:128\n" + "b=RR:0\n" + "a=rtpmap:96 AMR/8000\n" + "a=fmtp:96 octet-align=1;\n" + "a=control:trackID=1\n"; 

这是我的头640x480x10fps,H264video,8000/16/1 AMRNBaudio。

有一件事我可以提醒你:如果你使用MediaRecorder,你的预览callback将永远不会被调用。 这只适用于相机模式,而不是在录制video时使用。 在video录制过程中,我一直无法find以非压缩格式访问预览图像的方法。

我强烈build议您查看SpyDroid的代码。 这需要一些挖掘,但我敢打赌,你想要的是在那里。

你计划的是可行的。 您可以注册一个Camera.PreviewCallback,它将图片数据放入MediaCodec中。 您读取输出并将其作为RTP发送。 一般而言,这很容易,但是在不同的设备上存在各种缺陷,例如未logging的色彩空间和不同的MediaCodec行为,但是这是非常有可能的。