如何在没有MediaExtractor的情况下使用MediaCodec for H264

我需要使用没有MediaExtractor的MediaCodec,我正在使用FileInputStream读取文件。 目前它不工作,它在屏幕上显示一个绿色的混乱的图像。

这是整个源代码:

FileInputStream in = new FileInputStream("/sdcard/sample.ts"); String mimeType = "video/avc"; MediaCodec decoder = MediaCodec.createDecoderByType(mimeType); MediaFormat format = MediaFormat.createVideoFormat(mimeType, 1920, 1080); byte[] header_sps = { 0, 0, 0, 1, 103, 100, 0, 40, -84, 52, -59, 1, -32, 17, 31, 120, 11, 80, 16, 16, 31, 0, 0, 3, 3, -23, 0, 0, -22, 96, -108 }; byte[] header_pps = { 0, 0, 0, 1, 104, -18, 60, -128 }; format.setByteBuffer("csd-0", ByteBuffer.wrap(header_sps)); format.setByteBuffer("csd-1", ByteBuffer.wrap(header_pps)); format.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, 1920 * 1080); format.setInteger("durationUs", 63446722); decoder.configure(format, surface, null, 0); decoder.start(); ByteBuffer[] inputBuffers = decoder.getInputBuffers(); ByteBuffer[] outputBuffers = decoder.getOutputBuffers(); BufferInfo info = new BufferInfo(); boolean isEOS = false; long startMs = System.currentTimeMillis(); while (!Thread.interrupted()) { if (!isEOS) { int inIndex = decoder.dequeueInputBuffer(1000); if (inIndex >= 0) { byte buffer2[] = new byte[18800 * 8 * 8 * 8]; ByteBuffer buffer = inputBuffers[inIndex]; int sampleSize; sampleSize = in.read(buffer2, 0, 18800 * 4); buffer.clear(); buffer.put(buffer2, 0, sampleSize); buffer.clear(); if (sampleSize < 0) { decoder.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM); isEOS = true; } else { decoder.queueInputBuffer(inIndex, 0, sampleSize, 0, 0); } } } int outIndex = decoder.dequeueOutputBuffer(info, 10000); switch (outIndex) { case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED: Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED"); outputBuffers = decoder.getOutputBuffers(); break; case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED: Log.d("DecodeActivity", "New format " + decoder.getOutputFormat()); break; case MediaCodec.INFO_TRY_AGAIN_LATER: Log.d("DecodeActivity", "dequeueOutputBuffer timed out! " + info); break; default: ByteBuffer buffer = outputBuffers[outIndex]; Log.v("DecodeActivity", "We can't use this buffer but render it due to the API limit, " + buffer); while (info.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) { try { sleep(10); } catch (InterruptedException e) { e.printStackTrace(); break; } } decoder.releaseOutputBuffer(outIndex, true); break; } if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) { Log.d("DecodeActivity", "OutputBuffer BUFFER_FLAG_END_OF_STREAM"); break; } } decoder.stop(); decoder.release(); 

如果我使用MediaExtractor,一切工作正常。 使用MediaExtractor时,通过查看MediaFormat获得了SPS / PPS值。 如果我删除下面的部分,屏幕上不显示任何内容。

 byte[] header_sps = { 0, 0, 0, 1, 103, 100, 0, 40, -84, 52, -59, 1, -32, 17, 31, 120, 11, 80, 16, 16, 31, 0, 0, 3, 3, -23, 0, 0, -22, 96, -108 }; byte[] header_pps = { 0, 0, 0, 1, 104, -18, 60, -128 }; format.setByteBuffer("csd-0", ByteBuffer.wrap(header_sps)); format.setByteBuffer("csd-1", ByteBuffer.wrap(header_pps)); format.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, 1920 * 1080); format.setInteger("durationUs", 63446722); 

我错过了什么? 如何在没有MediaExtractor的情况下以编程方式获得SPS / PPS值?

Solutions Collecting From Web of "如何在没有MediaExtractor的情况下使用MediaCodec for H264"

我假设你正在读取一个原始的H.264基本stream而不是MP4文件。

看起来你正在向解码器提供固定大小的数据块。 这是行不通的。 您需要将一个访问单元放入每个缓冲区。

到最后一个问题,即如何获得SPSPPS ,你需要有一个机制来从文件中读取相同的内容。

如果你有一个elementary stream文件,那么你需要parsing这个文件,标识NALU头文件并提取内容。

如果您有container格式,则需要具有读取containertypes的file format并提取信息的机制。

如果您有streaminginput,则可以从传入的SDP信息接收内容。

至于你现在的代码,我会build议连接SPSPPS到一个缓冲区,并提供相同的底层codec ,如下所示

 byte[] csd_info = { 0, 0, 0, 1, 103, 100, 0, 40, -84, 52, -59, 1, -32, 17, 31, 120, 11, 80, 16, 16, 31, 0, 0, 3, 3, -23, 0, 0, -22, 96, -108, 0, 0, 0, 1, 104, -18, 60, -128 }; format.setByteBuffer("csd-0", ByteBuffer.wrap(csd_info)); format.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, 1920 * 1080); format.setInteger("durationUs", 63446722);