Android投屏低延迟实现：绕过MediaProjection直连SurfaceFlinger

简介：这是一份面向Android应用开发者与音视频技术学习者的投屏功能实战Demo，聚焦于在Android端实现手机屏幕镜像（Mirroring/Casting）的核心能力，解决跨设备内容共享的技术落地难题。资源包含2000个文件，主体为1588个class字节码、472个png资源图、451个xml布局与配置文件，辅以127个json配置、18个jar依赖及少量java源码与dex文件，整体包体33.55MB，结构完整覆盖从UI层、Service后台服务到MediaProjection、MediaCodec编码链路的典型工程组织。已有7812人学习下载，说明其在实际开发中具备较强参考价值。读者可直接复用ScreenCaptureService、VirtualDisplay与ImageReader集成方案，掌握MediaProjection权限申请、Intent回调处理、帧采集与H.264编码传输等关键流程，并通过预览中出现的MediaSessionCompat.aidl、PlaybackStateCompat.aidl等接口定义，深入理解投屏过程中的媒体会话控制与状态同步机制。

1. Android端投屏demo：不是“把手机画面发到电视上”那么简单，而是解决低延迟、多协议兼容、系统级权限绕过这三座大山的最小可行验证包

你手头有个Android设备，想把它当前屏幕实时推送到局域网另一台设备（比如Linux盒子、Windows PC、甚至另一部Android手机）上——第一反应是不是“装个第三方投屏App”？别急。我去年在某高校实验室做嵌入式视觉中控模块时就踩过这个坑：用现成App，延迟动辄800ms以上，手势操作卡顿到怀疑人生；自己写SurfaceFlinger抓帧，又卡在Android 10+的Scoped Storage和MediaProjection权限沙盒里，录屏黑屏、截屏失败、后台服务被杀……直到我们拆出这个Android端投屏demo。它不是完整产品，而是一个可编译、可调试、可替换编码链路的工程骨架：核心逻辑全在Java/Kotlin层，NDK只封装了H.264硬编关键路径，支持RTSP/HTTP-FLV双协议输出，实测小米12（Android 13）端到端延迟压到120ms内。适合两类人：一是正在做教育类互动白板、远程协助SDK、车载中控投屏模块的Android开发者；二是需要快速验证自研编码器/网络传输层效果的算法工程师。它不教你“怎么连电视”，而是给你一把能打开Android底层帧数据通道的钥匙。

2. 投屏链路拆解：从SurfaceFlinger抓帧到H.264硬编，为什么必须绕过MediaProjection？

2.1 投屏的本质是“帧管道”：为什么MediaProjection在Android 10+之后成了性能瓶颈？

投屏不是截图放大。它是一条持续运转的帧流水线：Surface → GPU渲染 → 显存缓冲 → 编码器输入 → 网络发送。Android原生MediaProjection API设计初衷是录屏（save to file），而非实时流（stream to network）。从Android 10开始，系统强制要求MediaProjection必须绑定Activity上下文，且一旦Activity进入后台或被系统回收，MediaProjection会立即失效——这对需要常驻后台的投屏服务是致命伤。更关键的是，MediaProjection输出的是VirtualDisplay，其背后是Surface对象，但该Surface的BufferQueue默认配置为BUFFER_COUNT=2，且无法通过API调整。当编码器处理速度稍慢（比如H.264硬编在高分辨率下偶发卡顿），BufferQueue就会阻塞，导致后续帧丢弃，表现为画面撕裂或跳帧。我们测试发现，在1080p@30fps场景下，MediaProjection丢帧率高达17%。

提示：这不是你的代码问题，是Android Framework层的设计约束。想稳定压帧，必须绕过MediaProjection，直连SurfaceFlinger的生产者端。

2.2 直连SurfaceFlinger：用libsurfaceflinger.so + AIDL实现无感帧捕获

绕过MediaProjection的合法路径，是复用Android系统服务SurfaceFlinger的内部能力。SurfaceFlinger作为Android图形系统的核心服务，负责合成所有应用Surface并提交到HWComposer。它的AIDL接口ISurfaceComposer暴露了createDisplay()方法，可创建一个“虚拟显示设备”，其输出Surface可被任意进程读取。但该接口未开放给第三方应用——需通过反射调用隐藏API，并加载系统库libsurfaceflinger.so获取底层句柄。

// 在Application.onCreate()中初始化 private void initSurfaceFlingerHook() { try { // 反射获取ISurfaceComposer实例 Class<?> surfaceComposerClass = Class.forName("android.view.SurfaceComposer"); Method getInstanceMethod = surfaceComposerClass.getDeclaredMethod("getInstance"); getInstanceMethod.setAccessible(true); Object surfaceComposer = getInstanceMethod.invoke(null); // 调用createDisplay创建虚拟显示 Method createDisplayMethod = surfaceComposerClass.getDeclaredMethod( "createDisplay", String.class, boolean.class); createDisplayMethod.setAccessible(true); Object displayToken = createDisplayMethod.invoke(surfaceComposer, "投屏虚拟屏", true); // 关键：通过displayToken获取可读Surface Class<?> surfaceControlClass = Class.forName("android.view.SurfaceControl"); Method getBuiltInDisplayMethod = surfaceControlClass.getDeclaredMethod( "getBuiltInDisplay", int.class); getBuiltInDisplayMethod.setAccessible(true); Object builtInDisplay = getBuiltInDisplayMethod.invoke(null, 0); // PRIMARY_DISPLAY // 创建SurfaceControl并关联到虚拟显示 Constructor<?> scConstructor = surfaceControlClass.getConstructor( String.class, int.class, int.class, int.class); scConstructor.setAccessible(true); Object surfaceControl = scConstructor.newInstance("投屏Surface", 1920, 1080, 1); // 获取Surface对象（此Surface可被MediaCodec直接消费） Field surfaceField = surfaceControlClass.getDeclaredField("mSurface"); surfaceField.setAccessible(true); Surface captureSurface = (Surface) surfaceField.get(surfaceControl); this.captureSurface = captureSurface; } catch (Exception e) { Log.e("SFHook", "SurfaceFlinger hook failed", e); // 回退到MediaProjection（仅用于调试） fallbackToMediaProjection(); } }

这段代码的核心价值在于：captureSurface是一个真正的Surface对象，其BufferQueue由SurfaceFlinger统一管理，BUFFER_COUNT可动态调整（我们在SurfaceControl构造时传入1表示单缓冲，避免多缓冲带来的延迟累积）。更重要的是，它不依赖Activity生命周期——只要应用进程存活，captureSurface就持续有效。这是实现<150ms端到端延迟的物理基础。

2.3 H.264硬编链路：为什么不用MediaCodec.createEncoderByType("video/avc")？

MediaCodec确实能创建H.264编码器，但createEncoderByType()返回的实例，其输入Surface由MediaCodec内部管理，无法与captureSurface直连。我们必须使用MediaCodec.createByCodecName()并手动配置Surface输入。但问题来了：不同厂商芯片（高通/联发科/紫光展锐）的H.264硬编器，对KEY_COLOR_FORMAT的支持差异极大。比如高通骁龙888支持COLOR_FormatYUV420Flexible，而部分联发科平台只认COLOR_FormatYUV420SemiPlanar。硬编码参数若不匹配，configure()直接抛IllegalStateException。

// 正确做法：根据设备型号动态选择ColorFormat private int getSupportedColorFormat() { String board = Build.BOARD.toLowerCase(); String brand = Build.BRAND.toLowerCase(); if (brand.contains("xiaomi") || board.contains("sm8350")) { return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible; } else if (brand.contains("realme") || board.contains("mt6893")) { return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar; } else { // 默认回退 return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar; } } // 配置MediaCodec编码器 private void configureEncoder() { try { MediaFormat format = MediaFormat.createVideoFormat("video/avc", 1920, 1080); format.setInteger(MediaFormat.KEY_BIT_RATE, 4000000); // 4Mbps format.setInteger(MediaFormat.KEY_FRAME_RATE, 30); format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2); // IDR每2秒 format.setInteger(MediaFormat.KEY_COLOR_FORMAT, getSupportedColorFormat()); format.setInteger(MediaFormat.KEY_PROFILE, MediaCodecInfo.CodecProfileLevel.AVCProfileHigh); format.setInteger(MediaFormat.KEY_LEVEL, MediaCodecInfo.CodecProfileLevel.AVCLevel4); encoder = MediaCodec.createByCodecName("OMX.qcom.video.encoder.avc"); // 高通示例 encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE); inputSurface = encoder.createInputSurface(); // 关键！获取编码器输入Surface encoder.start(); } catch (Exception e) { Log.e("Encoder", "Configure failed", e); } }

注意encoder.createInputSurface()这行——它返回的Surface，就是captureSurface应该连接的目标。我们将captureSurface作为生产者，inputSurface作为消费者，通过Surface的setOnFrameAvailableListener()监听新帧到达，触发encoder.dequeueInputBuffer()送入编码队列。这才是零拷贝的硬编链路。

3. 协议层选型：RTSP vs HTTP-FLV，为什么demo默认走RTSP但预留HTTP-FLV插槽？

3.1 RTSP协议栈：用librtspserver轻量实现，规避GStreamer重型依赖

投屏协议选型本质是权衡：RTSP成熟、低延迟、有标准客户端（VLC、ffplay），但实现复杂；HTTP-FLV简单、易穿透NAT、浏览器可直接播放，但首屏延迟高。本demo采用分层设计：网络传输层抽象为StreamOutput接口，RTSP和HTTP-FLV作为其实现类。RTSP实现基于轻量级C++库librtspserver（已预编译进librtsp.so），它不依赖GStreamer或FFmpeg全量库，仅用libavcodec做H.264 Annex-B打包，内存占用<2MB。

// librtspserver核心逻辑（jni/native-lib.cpp） extern "C" JNIEXPORT void JNICALL Java_com_example_demo_RtspServer_start(JNIEnv *env, jobject thiz, jint port) { // 初始化RTSP服务器 RtspServer *server = new RtspServer(); server->setPort(port); // 注册视频流（H.264） RtspStream *stream = new RtspStream("live"); stream->setVideoCodec(RTSP_CODEC_H264); stream->setVideoFps(30); stream->setVideoBitrate(4000000); // 关键：将MediaCodec编码器的输出Buffer，通过回调注入RTSP流 stream->setVideoDataCallback([](uint8_t *data, int len, uint64_t pts) { // data是H.264 NALU，len是长度，pts是时间戳 // 直接写入RTSP RTP包，无需二次封装 rtp_packetize_h264(data, len, pts); }); server->addStream(stream); server->start(); // 启动RTSP服务 }

RTSP的优势在于RTP时间戳与MediaCodec输出PTS严格对齐，VLC播放时启用--clock-jitter=0可将抖动控制在±5ms内。我们实测在局域网千兆环境下，从手机抓帧到VLC显示，全程延迟112ms（含编码18ms + 网络传输3ms + 解码21ms + 渲染50ms）。

3.2 HTTP-FLV插槽：为什么用FlvMuxer而非FFmpeg？

HTTP-FLV协议本质是HTTP长连接+FLV容器封装。若用FFmpegavformat_write_header()，需维护完整AVFormatContext，内存开销大且不易调试。demo中FlvMuxer类是纯Java实现，仅处理FLV Header、ScriptData（onMetaData）、VideoTag（AVC sequence header + NALU）三类Tag，代码不足300行。它直接消费MediaCodecdequeueOutputBuffer()返回的ByteBuffer，提取csd-0（SPS/PPS）生成AVCDecoderConfigurationRecord，再将每个NALU按FLV VideoTag格式打包：

这种极简实现，让HTTP-FLV模块体积仅12KB，且可无缝替换为自研协议（比如加AES-128加密头）。当你需要对接WebRTC SFU或私有CDN时，这个插槽就是你的协议改装接口。

3.3 协议切换实战：如何在运行时热切RTSP→HTTP-FLV？

协议切换不是重启服务，而是原子性地替换StreamOutput实例。demo中StreamManager类维护当前输出器引用，并提供switchProtocol(String protocol)方法：

public class StreamManager { private volatile StreamOutput currentOutput; public void switchProtocol(String protocol) { StreamOutput newOutput; if ("rtsp".equals(protocol)) { newOutput = new RtspOutputServer(8554); } else if ("http-flv".equals(protocol)) { newOutput = new HttpFlvOutputServer(8080); } else { throw new IllegalArgumentException("Unsupported protocol: " + protocol); } // 原子替换，确保线程安全 StreamOutput oldOutput = currentOutput; currentOutput = newOutput; // 关闭旧输出（非阻塞） if (oldOutput != null && oldOutput.isRunning()) { oldOutput.stop(); } // 启动新输出 newOutput.start(); // 关键：通知编码器重置PTS基准（避免时间戳跳变） encoder.resetTimestampBase(); } }

encoder.resetTimestampBase()是自定义方法，它清空MediaCodec内部PTS计数器，使新协议的第一个VideoTag时间戳从0开始。否则HTTP-FLV客户端会因时间戳突变（比如从RTSP的120000ms跳到0ms）触发解码器重同步，造成1~2秒黑屏。这是协议热切必须填的坑。

4. 避坑指南：Android投屏开发中五个血泪教训，每一条都来自真机翻车现场

4.1 现象：小米13（Android 13）上SurfaceFlinger Hook成功，但captureSurface始终黑屏

原因：小米深度定制ROM禁用了SurfaceFlinger.createDisplay()的secure参数，传入true时强制返回null。而demo默认createDisplay("投屏虚拟屏", true)启用了安全显示模式。
解决：在initSurfaceFlingerHook()中增加ROM检测，对小米/Redmi设备强制设为false：

if (Build.BRAND.toLowerCase().contains("xiaomi") || Build.MANUFACTURER.toLowerCase().contains("redmi")) { displayToken = createDisplayMethod.invoke(surfaceComposer, "投屏虚拟屏", false); } else { displayToken = createDisplayMethod.invoke(surfaceComposer, "投屏虚拟屏", true); }

4.2 现象：华为Mate 50（HarmonyOS 3.1）上MediaCodec.configure()抛Codec died异常

原因：华为自研编解码器对KEY_PROFILE和KEY_LEVEL校验极严，传入AVCProfileHigh/AVCLevel4会被拒绝，必须降级为AVCProfileBaseline/AVCLevel31。
解决：在getSupportedColorFormat()同级添加getSupportedProfileLevel()方法，针对Build.HARDWARE.contains("kirin")返回降级参数，并在MediaFormat配置中调用：

Pair<Integer, Integer> profileLevel = getSupportedProfileLevel(); format.setInteger(MediaFormat.KEY_PROFILE, profileLevel.first); format.setInteger(MediaFormat.KEY_LEVEL, profileLevel.second);

4.3 现象：投屏到VLC时画面正常，但音频不同步，延迟越来越大

原因：demo默认只处理视频流，音频采集使用AudioRecord，但未与MediaCodec视频PTS对齐。AudioRecord的getRecordingPosition()返回的是采样点数，需转换为毫秒并与视频PTS比对，否则音画 drift 每分钟扩大200ms。
解决：在音频采集线程中，每100ms执行一次PTS校准：

long audioPts = System.nanoTime() / 1000000L; // 当前系统时间ms long videoPts = getCurrentVideoPts(); // 从编码器获取最新PTS long diff = audioPts - videoPts; if (Math.abs(diff) > 50) { // 偏差超50ms // 调整AudioRecord缓冲区读取节奏（跳帧或重复帧） adjustAudioBufferStrategy(diff); }

4.4 现象：App切到后台后，RTSP流持续10秒后中断

原因：Android 8.0+对后台Service施加了隐式广播限制和CPU时间片配额。RtspServer的accept()阻塞调用被系统判定为“后台耗电行为”，10秒后强制kill。
解决：将RTSP服务迁移到ForegroundService，并在onStartCommand()中调用startForeground()：

@Override public int onStartCommand(Intent intent, int flags, int startId) { Notification notification = buildNotification(); startForeground(NOTIFICATION_ID, notification); rtspServer.start(); // 此时RTSP服务在前台Service中运行 return START_STICKY; }

同时在AndroidManifest.xml中声明<uses-permission android:name="android.permission.FOREGROUND_SERVICE" />。

4.5 现象：多窗口模式（Split-Screen）下，captureSurface尺寸错乱，画面拉伸

原因：SurfaceFlinger.createDisplay()创建的虚拟显示尺寸是静态的（如1920x1080），但多窗口时Activity实际渲染区域可能只有960x540。captureSurface仍按全屏尺寸输出，导致像素密度错位。
解决：监听Activity.onMultiWindowModeChanged()，动态重置虚拟显示尺寸：

@Override public void onMultiWindowModeChanged(boolean isInMultiWindowMode, Configuration newConfig) { super.onMultiWindowModeChanged(isInMultiWindowMode, newConfig); if (isInMultiWindowMode) { // 获取当前Activity窗口尺寸 Rect rect = new Rect(); getWindow().getDecorView().getWindowVisibleDisplayFrame(rect); int width = rect.width(); int height = rect.height(); // 通知SurfaceFlinger重建Display surfaceFlinger.recreateDisplay(width, height); } }

5. 实战调优：用adb shell dumpsys gfxinfo定位GPU瓶颈，把120ms延迟再压30ms

5.1 为什么dumpsys gfxinfo比Systrace更适合投屏场景？

Systrace擅长分析单次渲染帧的CPU/GPU调度，但投屏是持续流，Systrace录制超过30秒就卡死。而adb shell dumpsys gfxinfo是Android系统内置的GPU性能快照工具，它统计最近120帧的渲染耗时分布，输出Janky frames（掉帧率）、Number Missed Vsync（垂直同步丢失数）、Total GPU time（GPU总耗时）等关键指标。对投屏链路，我们最关注Total GPU time——如果它超过单帧预算（1000ms/30fps≈33ms），说明GPU成为瓶颈，必须优化。

# 运行投屏服务后，执行 adb shell dumpsys gfxinfo com.example.demo > gfx.txt

在gfx.txt中找到Stats since: 123456789012345段落，重点看：

Total GPU time: 42.7ms (per frame) Janky frames: 12 (10.0%) Number Missed Vsync: 8

42.7ms > 33ms，证实GPU过载。此时不能盲目调低分辨率，而要定位具体哪一环吃GPU。

5.2 GPU耗时三段式归因：SurfaceFlinger → GPU合成 → 编码器预处理

dumpsys gfxinfo的Total GPU time包含三部分：

• SurfaceFlinger合成耗时：captureSurface的BufferQueue生产者（SurfaceFlinger）将帧从GPU显存复制到编码器输入Surface，这部分在SurfaceFlinger日志中体现为[SF] postFramebuffer。
• GPU合成耗时：应用自身UI与captureSurface的叠加（如有悬浮窗、状态栏），在gfxinfo中体现为Draw阶段。
• 编码器预处理耗时：MediaCodec硬编前的色彩空间转换（如RGBA→YUV420），这部分在MediaCodec日志中为[OMX] color convert。

我们用adb logcat | grep -E "(SF|OMX|MediaCodec)"过滤日志，发现关键线索：

05-20 14:22:33.123 1234 5678 I SF : [SF] postFramebuffer: 18.2ms 05-20 14:22:33.124 1234 5678 I OMX : [OMX.qcom.video.encoder.avc] color convert: 12.5ms 05-20 14:22:33.125 1234 5678 I MediaCodec: dequeueInputBuffer: 0.8ms

postFramebuffer 18.2ms + color convert 12.5ms = 30.7ms，已逼近33ms阈值。问题出在color convert——MediaCodec硬编器要求YUV420输入，但captureSurface输出的是RGBA（因SurfaceFlinger默认配置）。每次编码前都要做RGBA→YUV420转换，GPU负担巨大。

5.3 终极优化：强制SurfaceFlinger输出YUV420，砍掉12.5ms GPU转换

解决方案是修改SurfaceFlinger的createDisplay()参数，指定输出格式为YUV。但createDisplay()无此API，需通过SurfaceControl.setDisplaySurface()配合Surface的setFormat()间接实现：

// 创建YUV格式的Surface SurfaceTexture surfaceTexture = new SurfaceTexture(0); surfaceTexture.setDefaultBufferSize(1920, 1080); // 关键：设置SurfaceTexture的格式为YUV try { Field field = SurfaceTexture.class.getDeclaredField("mDefaultWidth"); field.setAccessible(true); field.set(surfaceTexture, 1920); Field field2 = SurfaceTexture.class.getDeclaredField("mDefaultHeight"); field2.setAccessible(true); field2.set(surfaceTexture, 1080); } catch (Exception e) { // 忽略反射失败，不影响主流程 } Surface yuvSurface = new Surface(surfaceTexture); // 将yuvSurface传给SurfaceFlinger Object displayToken = createDisplayMethod.invoke(surfaceComposer, "YUV投屏", true); // ... 后续将yuvSurface关联到displayToken

更可靠的做法是，在SurfaceControl创建后，通过SurfaceControl.setLayerStack()和SurfaceControl.setTransform()组合，强制SurfaceFlinger以YUV格式分配Buffer。我们实测此方案后，color convert耗时从12.5ms降至0.3ms，Total GPU time从42.7ms压到29.1ms，端到端延迟从112ms降至82ms。

注意：此优化需Android 11+支持，低于此版本会fallback到RGBA，但不影响功能。我在某跨平台系统项目中，从那以后每次集成新Android版本，都强制跑一遍dumpsys gfxinfo对比GPU耗时，再决定是否启用YUV输出路径——这已成为我的投屏模块上线前必过checklist。希望帮到你。

本文还有配套的精品资源，点击获取