Foundation Sunshine：面向 Windows 主机的 Moonlight 串流增强方案与 HDR 全链路实现

音视频【免费下载链接】foundation-sunshineSunshine fork: an enhanced sunshine, a self-hosted game streaming host for Moonlight with HDR10/HDR Vivid, virtual displays, advanced audio, optimized encoders, and a modern control panel.项目地址https://gitcode.com/gh_mirrors/sunshine5/foundation-sunshine点击查看免费下载Foundation SunshineSunshine-Foundation是基于 LizardByte/Sunshine 的增强分支聚焦于提升连接 Windows 主机的各类串流终端设备的游戏串流体验。本文以仓库根目录的 README.en.md 为主线深入讲解其双格式 HDR 编码HDR10 PQ HLG、逐帧亮度分析与动态元数据注入、ZakoVDD 虚拟显示器集成、NVIDIA RTX HDR / DLSS NR 画质增强等核心能力并结合源码验证各机制的底层实现。读完本文你将掌握 Foundation Sunshine 的安装启动流程、HDR 全链路的工作原理与配置要点、可选功能虚拟 DualSense、USB 转发的启用条件以及各功能对应的源码入口与文档位置。项目定位与快速开始Foundation Sunshine 是一个自托管的游戏串流服务端Host与 Moonlight 客户端配合使用主要面向 Windows 主机侧的串流场景。相比上游 Sunshine该分支重点增强HDR 全链路PQ HLG 双格式编码、动态元数据注入、Dolby Vision 状态展示、虚拟显示器深度集成 ZakoVDD、远程麦克风、先进控制面板、低延迟编码、智能配对、控制器与设备支持虚拟 DualSense、USB 转发以及 NVIDIA 画质增强组件。三步快速开始安装并启动从项目官方发行渠道下载适用于 Windows 的安装包发行页可能包含预发布版本选择前请先阅读对应版本的发布说明安装后启动 Sunshine。配置 Web 控制界面在主机浏览器打开https://localhost:47990首次启动时需要创建并保存登录凭据浏览器可能会提示本地自签名证书属正常现象需手动信任后继续。添加应用并配对在控制界面中添加要串流的应用程序在 Moonlight 客户端中添加主机然后在 Sunshine 中输入客户端显示的 PIN 完成配对。[!NOTE] 虚拟显示器、DualSense、USB 转发与 NVIDIA 画质增强功能各有独立的驱动或组件要求启用前请在控制面板中查看对应组件的安装状态与提示。核心特性总览根据 README.en.md 的说明Foundation Sunshine 的核心特性可归纳为以下几条其后各节会逐一展开全 HDR 管线支持双格式 HDR10 (PQ) HLG 编码配合自适应元数据覆盖更广的终端设备虚拟显示器集成 ZakoVDD 的虚拟显示器管理需要对应驱动远程麦克风接收客户端麦克风输入提供高质量语音透传高级控制面板直观的 Web 控制界面支持实时监控与配置管理低延迟传输利用最新硬件能力优化编码处理智能配对对配对设备进行智能管理与档案配置控制器与设备全局及单应用级手柄选择、可选虚拟 DualSense含音频触觉、已配对客户端的 USB 转发NVIDIA 画质增强可选的 RTX HDR 与 DLSS NRDLSS NR 支持 SDR 与原生 HDR串流中可实时开关并调节处理比例需兼容硬件与组件流状态展示报告协商出的 Dolby Vision Profile 8.1 / 8.4 及主机侧 RPU 注入状态并可在最后一个视频会话结束后自动结束应用。全 HDR 管线架构HDR10 (PQ) HLG 双格式并行这是 Foundation Sunshine 最具技术含量的一项增强。传统串流方案仅支持 HDR10 (PQ) 绝对亮度映射要求客户端显示设备精确匹配源端 EOTF 参数与峰值亮度当终端能力不足或亮度参数不匹配时会出现暗部细节丢失crushed blacks与高光截断clipped highlights等色调映射伪影。Foundation Sunshine 在编码层引入 HLGHybrid Log-GammaITU-R BT.2100支持。HLG 采用相对亮度映射带来三项技术优势场景参考式亮度适配Scene-Referred Luminance AdaptationHLG 基于相对亮度曲线显示端根据自身峰值亮度自动执行色调映射低亮度设备上暗部细节保留显著优于 PQ高光区域平滑滚降Smooth Highlight Roll-OffHLG 的对数-伽马混合传输函数在高光区域提供渐进式滚降避免 PQ 硬截断导致的高光色阶断裂banding天然 SDR 向后兼容HLG 信号可直接被 SDR 显示器解码为标准 BT.709 画面无需额外的色调映射处理。在源码层面色彩空间与动态元数据格式的取舍由video::hdr_metadata::formats_for()统一裁决见 src/video_hdr_metadata.hBT.2020 PQ 色彩空间colorspace_e::bt2020允许 HDR10 与 HDR VividBT.2020 HLGcolorspace_e::bt2020hlg只允许 HDR VividHDR10 为绝对亮度语义仅限 PQ其余色彩空间不产生任何动态元数据。其中 HDR Vivid 仅当视频格式为 HEVCvideo_format 1时才有可承载的容器Vivid 标准只定义了 AVS2 与 HEVC/VVC 的载体未提及 AV1/OBU。逐帧亮度分析与自适应元数据生成编码管线在 GPU 端集成了实时亮度分析模块通过 Compute Shader 对每一帧执行以下处理MaxFALL / MaxCLL 逐帧计算实时统计帧级最大内容亮度MaxCLL与帧平均亮度MaxFALL并动态注入 HEVC/AV1 的 SEI/OBU 元数据异常值鲁棒过滤采用百分位截断策略剔除极端亮度像素如高光镜面反射防止孤立亮点拉高全局亮度参考而导致整体画面偏暗。源码中hdr10plus_from_luminance()明确要求调用方传入第 99 百分位作为 maxSCL 上报值——因为 Windows 合成器的 scRGB 表面镜面过冲无界真正的最大值会令所有消费端按 10000-nit 峰值做映射见 src/video_hdr_metadata.h 中关于hdr10plus_pq_reference_nits 10000.0f的注释帧间指数平滑EMA对连续帧的亮度统计应用指数移动平均滤波消除场景切换时元数据突变引起的亮度闪烁。hdr_luminance_ema_t中 EMA 系数ALPHA 0.15越低越平滑但适应越慢并内置场景切换检测当亮度变化超过 3 倍SCENE_CUT_THRESHOLD时直接快照到新值而非缓慢过渡见 src/video_hdr_metadata.h。针对 HDR Vivid还实现了 32 帧滑动窗口的算术平均滤波vivid_temporal_filter_t符合 GB/T 46269.1-2025 Annex A.9 建议以及场景切换检测器scene_change_detector_t它在 PQ 域中综合均值、P10/P90 百分位与 HDR10 分布判断是否发生实质场景变化阈值如均值差 ≥ 0.10、高低百分位差 ≥ 0.18 等单点 scRGB 峰值如光标、字幕不足以触发切换。这些状态被封装在dynamic_metadata_temporal_state_t中NVENC 与 AMF 两条原生编码路径共用同一实例避免两条路径行为漂移。HDR Vivid 启动门控HLG 流有一个特殊问题若起始 IDR 为纯 HLG、中途再切进 HDR Vivid客户端会看到明显的画面跳变。为此源码实现了vivid_startup_guard_t与vivid_startup_gate_t见 src/video_hdr_metadata.h在流启动阶段需要连续 3 个独立、合理且稳定的 GPU 亮度采样REQUIRED_SAMPLES 3才认定分析器输出可信若超过 1500ms 预卷预算PREROLL_TIMEOUT仍未收敛则先以纯 HLG 开始待分析器追上后在 IDR 边界恢复 Vivid。这一状态机同样被 NVENC 与 AMF 路径共用代码注释中明确说明两条编码器对HLG 何时开始携带 Vivid给出不同答案最终会表现为AMD 机器上 HDR 观感不同这类难以排查的 bug。完整 HDR 元数据透传与码流级注入Foundation Sunshine 支持完整透传 HDR10 静态元数据Mastering Display Info Content Light Level、HDR Vivid 动态元数据与 HLG 传输特性标识确保 NVENC / AMF / QSV 编码器输出的码流携带符合 CTA-861 规范的完整色彩容积与亮度信息使客户端解码器能准确还原源端 HDR 意图。动态元数据在码流层面的落位由 src/video_hdr_bitstream.h 负责其要点包括载体选择HEVC 使用 prefix SEI NALnal_unit_type 39payloadType 4AV1 使用OBU_METADATAmetadata_type 4即METADATA_TYPE_ITUT_T35。H.264 被刻意排除——Sunshine 从不通过 H.264 串流 HDR支持它只会产生无人可达状态的无测试代码T.35 负载生成serialize_hdr10plus_t35()与serialize_vivid_t35()生成完整的注册型 ITU-T T.35 负载自itu_t_t35_country_code起。HDR Vivid 负载使用中国国家码0x26、CUVA 终端提供商标识0x0004并按 T/UWA 005.1 写入 minimum/average/variance/maximum 四组 12-bit PQ 码值见 src/video_hdr_metadata.h 的serialize_vivid_t35()拼接机制差异NVENC 接受 T.35 负载并自行书写周边语法NV_ENC_SEI_PAYLOAD/obuPayloadArrayAMF 没有等价接口只能手工把 ST 2094-40 / CUVA 负载拼进已编码码流——该拼接模块刻意保持与 AMF、D3D、FFmpeg 头文件无关便于在任何平台上做单元测试RPU 注入/剥离Dolby Vision RPUHEVC UNSPEC 62 NAL可被注入到访问单元末尾dovi_tool确立的播放器/设备兼容位置也可被整体剥离strip_hevc_dolby_vision_rpus()且操作幂等。Dolby Vision Profile 8.1 / 8.4 的动态协商流状态功能中报告的 Dolby Vision 协商结果由 src/hdr/dynamic_hdr_selection.h 实现。其设计要点能力上报客户端通过 RTSP ANNOUNCE 的 SDP 携带dynamicHdrCaps位掩码HDR10、Vivid PQ、Vivid HLG、DV 8.1、DV 8.4主机每会话做一次性决策见 docs/dolby_vision_profile81.md不主动下发原则Dolby Vision Profile 8.1 不得未经请求而下发——未配置 Dolby Vision 解码器的客户端可能误处理 UNSPEC 62 NAL。而 HDR10 与 HDR Vivid 则有意不做此门控沿用上游无条件发射的行为仅对上报了能力的客户端生效包括协商降级为纯 HDR10优先级规则DV 8.1 在客户端上报且会话为 PQ 时优先8.4 仅在客户端单独上报且会话为 HLG 时选择。偏好顺序为dolby_vision/automatic → DV → HDR10 → HDR10DV 还额外要求 HEVC 编码与客户端直连面direct surface能力。所有 wire 值均保持稳定不随版本重编号回退原因上报当客户端请求 DV 但未获选时通过X-SS-Dynamic-HDR-Fallback上报原因codec 不支持、色彩空间不支持、能力缺失、直连面缺失、偏好冲突等。此外src/hdr/session_target.h 与 src/hdr/client_display_capabilities.h 处理会话级 HDR 亮度目标解析客户端可上报 max_nits / min_nits / max_full_frame_nits 三字段缺失、畸形或自相矛盾时整体拒绝并回退到安全默认值max 1000 nits、min 0.001 nits、full-frame 1000 nits再经resolve_effective_target()结合按客户端 UUID 配置的手动覆盖值clients.json与 Windows HDR 校准信息得出最终的有效亮度目标并标注其来源client_report / manual_override / windows_hdr_calibration / safe_defaults。HDR 相关配置项hdr_luminance_analysissrc/config.cppGPU 逐帧亮度分析开关取值auto默认HDR 流自动启用、SDR 流停用、on、off。解析时兼容true/enabled/yes/enable/1与false/disabled/no/disable/0等写法非法值会被记录 warningdd_hdr_optiondocs/configuration.md显示设备额外的 HDR 配置可按客户端请求将显示切换为所需 HDR 状态dd_wa_hdr_toggle_delaydocs/configuration.md虚拟显示器VDD串流时若出现 HDR 颜色显示异常Sunshine 可先关闭 HDR、等待指定毫秒数再重新打开以缓解问题。设置为 0 表示禁用默认03000ms 内取值推荐约 500ms。注意该 workaround 直接影响串流启动时间仅在确实遇到 HDR 问题时使用。虚拟显示器集成需 Windows 10 22H2 或更新Foundation Sunshine 深度集成 ZakoVDD 虚拟显示器驱动提供动态虚拟显示器创建与销毁自定义分辨率与刷新率支持10-bit HDR 色深多显示器配置管理无需重启的实时配置更改。中文版 README.md 进一步补充了实现细节通过 IOCTL 实时通信串流开始/结束时自动创建/销毁虚拟显示器每个客户端独立绑定 VDD 会话GUID支持多客户端快速切换并提供Zako Direct 零拷贝借帧——直接借用 VDD 共享帧纹理转换完成后立即归还减少 VDD 捕获链路的 GPU 拷贝。配置侧相关选项src/config.cpp包括vdd_keep_enabled由系统托盘控制不通过 Web UI 修改vdd_headless_create由系统托盘控制不通过 Web UI 修改vdd_reuse默认 false为每个客户端重建 VDDvdd_borrowed_texture默认 true启用零拷贝借帧vdd_vulkan_hdr_bridge默认 trueHDR VDD 会话自动启用。相关源码入口位于 src/display_deviceVDD IOCTL、会话与设置与 src/platform/windows/display_vdd.cpp。音频增强与远程麦克风7.1.4 环绕声12 声道完整映射 Dolby Atmos 等沉浸式音频布局的声道。编码层基于 Opus 多声道编码器opus_multistream见 src/audio.cpp并在 AC3/E-AC3 路径拒绝超过 5.16 声道的布局Opus DRED 深度冗余基于神经网络的丢包恢复100ms 冗余窗口在网络抖动时平滑补偿持续音频流无中断的音频流无声时自动填充静音数据避免音频设备反复初始化虚拟扬声器位深匹配自动检测并匹配 16bit/24bit 等位深格式的虚拟音频设备远程麦克风支持接收客户端麦克风输入提供高质量语音透传Windows 侧实现见 src/platform/windows/virtual_device_host/microphone_client.cpp。NVIDIA 画质增强RTX HDR 与 DLSS NRNVIDIA 画质增强作为按需启用的组件式后端配置与版本管理集中在 src/image_enhancement/config.h能力槽位后端标识适配器 DLL运行时 DLLHDRalkaidlab.nvidia_rtx_videofoundation_rtx_video_adapter.dllnvngx_truehdr.dllNR降噪alkaidlab.nvidia_dlssnrfoundation_dlssnr_adapter.dllnvngx_dlssnr.dllRTX HDR将 SDR 输入转换为 PQ HDR不作用于原生 HDR 输入或 HLG 输出启用后可能阻止 HLG 会话协商 Dolby Vision Profile 8.4RTX HDR 管线被 PQ 钉死即使客户端请求 HLG 也排除 8.4见 src/hdr/dynamic_hdr_selection.h 中synthetic_hdr_enabled门控DLSS NR信号保留型神经画质增强支持 SDR 与原生 HDR串流中可实时开关并调节处理比例processing scale。使用流程先在控制面板的画质增强管理页配置 RTX HDR 或 DLSS NR 组件再为单个应用开启相应功能。配置采用事务式manager_t管理流读取方持有不可变的版本引用支持运行时校验码digest固定runtime_pins缺省条目在加载时计算并记录且后端版本需通过valid_version()校验。更多构建细节见 docs/rtx_hdr_build.md。[!IMPORTANT] 控制面板显示的 Dolby Vision Profile 8.1 / 8.4 与主机侧 RPU 注入状态仅代表主机侧协商与注入结果不代表客户端或显示设备已成功呈现 Dolby VisionProfile 8.4 仍需真机端到端验证见 docs/dolby_vision_profile84.md。其他按需启用功能虚拟 DualSense在控制面板的控制器中心选择手柄类型可设全局默认值或为单个应用覆盖需先安装可选 DualSense 组件音频触觉还额外要求 USB/IP 传输及客户端能力。组件不可用时自动回退到自动手柄选择。组件生命周期细节见 docs/windows_dualsense_component_lifecycle.mdUSB 转发Windows 主机须先启用 USB 转发并具备可用的 USB/IP 传输组件已配对客户端才能配置运行时转发设备授权以控制面板中的状态提示为准。相关实现见 src/remote_usb 目录。推荐 Moonlight 客户端为获得最佳串流体验README 中戏称激活套装属性项目推荐搭配以下优化版 Moonlight 客户端可在对应渠道获取PCWindows x86_64 / Arm64、macOS、LinuxMoonlight-PCAndroid威力加强版Enhanced Edition与王冠版Crown EditionMoonlight-AndroidiOSVoidLink Moonlight-iOS。这些客户端配合本服务端可实现虚拟 DualSense、HDR 协商等增强能力的端到端支持。更多生态资源可参考上游的 awesome-sunshine 列表。系统要求[!WARNING] 以下表格会持续更新请勿仅凭该信息购买硬件。最低配置要求组件要求GPUAMDVCE 1.0 及以上参考 obs-amd 硬件支持列表Intel兼容 VAAPI参考 Intel VAAPI 硬件支持Nvidia支持 NVENC 的显卡参考 NVENC 支持矩阵CPUAMDRyzen 3 及以上IntelCore i3 及以上内存4 GB 及以上操作系统Windows 10 22H2Windows Server 不支持虚拟手柄macOS 12Linux/Debian 12 (bookworm)Linux/Fedora 39Linux/Ubuntu 22.04 (jammy)网络主机与客户端均为 5GHz 802.11ac4K 推荐配置组件要求GPUAMDVideo Coding Engine 3.1 及以上IntelHD Graphics 510 及以上NvidiaGeForce GTX 1080 及以上具备多编码器的型号CPUAMDRyzen 5 及以上IntelCore i5 及以上网络主机与客户端均为 CAT5e 及以上以太网实际可用的编码格式、HDR 与画质增强能力取决于显卡、驱动与客户端安装后请以 Sunshine 的编码器探测结果与控制面板状态为准。故障排查与技术支持遇到问题时的排查路径查阅在线使用文档与上游 LizardByte 官方文档在设置中启用详细日志级别detailed log level以定位相关信息携带日志加入项目 QQ 交流群求助。向项目反馈 issue 时建议使用以下标签以便归类hdr-supportHDR 相关问题virtual-display虚拟显示器问题config-help配置相关问题。开发文档导航对于希望深入源码或参与开发的读者仓库提供以下文档构建说明项目编译与构建指南配置指南运行时配置项详解含 HDR、显示设备、编码、DualSense、USB/IP 等完整参数说明WebUI 开发Vue 3 Vite 控制面板的完整开发指南。源码地图一文对应全部核心实现功能源码入口动态 HDR 格式协商DV 8.1/8.4、HDR10、Vividsrc/hdr/dynamic_hdr_selection.h客户端 HDR 显示能力解析与亮度目标解析src/hdr/client_display_capabilities.h、src/hdr/session_target.hHDR 动态元数据生成EMA、场景检测、T.35 序列化src/video_hdr_metadata.hHEVC/AV1 码流级 T.35 拼接与 RPU 注入/剥离src/video_hdr_bitstream.h逐帧亮度分析接入 NVENC/AMF 编码管线src/video.cpp、src/nvenc/nvenc_config.hRTX HDR / DLSS NR 组件后端管理src/image_enhancement/config.hVDD 虚拟显示器 IOCTL 与会话src/display_device、src/platform/windows/display_vdd.cppOpus 多声道音频与远程麦克风src/audio.cpp、src/platform/windows/virtual_device_host相关配置项解析src/config.cpp、docs/configuration.md总的来说Foundation Sunshine 的技术重心清晰以覆盖更多终端设备为目标重做 HDR 串流链路PQ HLG 双格式 动态元数据 Dolby Vision 协商以开箱即用的 Windows 增强体验为目标集成虚拟显示器、虚拟手柄、USB 转发与 NVIDIA 画质增强组件。理解上述 HDR 协商规则与各可选组件的启用条件是充分驾驭这套串流栈的关键。赞分享音视频【免费下载链接】foundation-sunshineSunshine fork: an enhanced sunshine, a self-hosted game streaming host for Moonlight with HDR10/HDR Vivid, virtual displays, advanced audio, optimized encoders, and a modern control panel.项目地址https://gitcode.com/gh_mirrors/sunshine5/foundation-sunshine点击查看免费下载相关推荐基于 oTTomator Live Agent Studio 的 YouTube 视频总结 Agent多格式识别、元数据采集与 GPT-4 智能摘要实战基于 oTTomator Live Agent Studio 的 YouTube 视频总结 Agent多格式识别、元数据采集与 GPT 4 智能摘要实战 导读音视频BepInEx 6.0.0 Unity 插件框架教程如何搞定 IL2CPP 兼容性BepInEx 6.0.0 Unity 插件框架教程如何搞定 IL2CPP 兼容性 游戏卡在启动界面弹出一个黑框日志最后写着 no plugins wil音视频5 分钟免费解锁 WeMod Pro 全部功能Wand-Enhancer 使用教程5 分钟免费解锁 WeMod Pro 全部功能Wand Enhancer 使用教程 WeMod 免费用户玩到第 2 小时被强制下线AI 建议和手机远程面板还音视频上一篇微信消息自动转发终极指南告别手动复制粘贴的智能解决方案下一篇QMCDumpQQ音乐加密格式解码工具为数字音乐工作者提供高效批量处理解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考