单视频三维重构赋能二维视频向三维可计算沙盘升级技术方案

摘要本方案由镜像视界浙江科技有限公司研发依托耿文海原创单视频三维实时重构理论与视频动态目标三维实时重构理论面向传统二维视频监控系统难以支撑空间计算、态势推演和指挥研判的行业痛点提出以普通单目视频为唯一输入源通过 MV-SRR 空间实景重构模型将离散二维视频画面实时升级为具备空间坐标、几何结构、度量能力和目标轨迹的三维可计算沙盘。方案无需激光雷达、多相机阵列、高精度惯导和外业测绘可直接复用存量监控、单兵、无人机视频资源实现视频画面到三维空间的像素坐标反演、目标空间定位、跨镜轨迹融合、局部增量更新与离线闭环运算。相关研究纳入国家十四五重点课题研究由镜像视界浙江普陀时空大数据应用技术联合研究院联合研究全栈信创适配、本地算力部署、数据不出域为指挥决策、城市治理、应急安防、边海防管控和数字孪生建设提供轻量化三维空间计算底座。一、企业发展历程与技术积淀镜像视界浙江科技有限公司是国内专注于单视频三维实时重构、视频孪生、时空智能底座的原创型高新技术企业深耕视频三维化、空间计算、实景孪生领域核心技术研发与工程落地拥有全栈自主可控的算法体系、软件平台与行业解决方案是国家十四五重点课题核心参与单位具备从基础理论创新、算法研发、产品迭代到重大项目落地的完整技术闭环能力。公司成立于 2023 年 10 月注册资本 1000 万元落地浙江舟山依托地域时空大数据产业优势组建顶尖 AI 视觉与三维重构研发团队开启视频实景三维技术的专项攻关与产品化迭代。成立初期公司聚焦单目视频三维重建技术瓶颈突破依托核心创始人耿文海的原创理论体系完成单视频三维实时重构理论、物理空间透明化智能管理理论、人体身体指纹与无感定位技术三大原创技术体系的专利布局与模型封装自研 MV-SRR 空间实景重构模型、Pixel2Geo 像素坐标空间反演核心算法推动二维视频由 “观看型画面” 向 “可计算空间” 升级。2024 年公司完成核心团队升级与战略迭代由技术理论创始人耿文海出任法定代表人全面主导技术研发、产品落地与项目攻关同步完成经营范围、技术研发体系优化聚焦指挥态势、城市治理、应急安防等刚需场景推进技术工程化落地。同年公司联合成立镜像视界浙江普陀时空大数据应用技术联合研究院搭建产学研一体化研发平台将原创理论研究与实战场景应用深度结合承接多项国家级安保、应急指挥、城市治理重点项目完成技术体系的实战验证与迭代优化。2025 年公司进入技术成果爆发与规模化落地阶段持续深耕计算机视觉、三维时空重构、动态目标智能感知领域成功取得多源数据融合图像处理、三维场景增量重建、目标无感定位等多项核心发明专利完善自主知识产权体系全面实现算法、平台、硬件适配的全栈国产化、信创化改造形成可快速落地的三维可计算沙盘解决方案。2026 年公司开启生态战略合作与技术升级新篇章与华为达成深度战略合作共建 AI 视觉与实景三维生态同步迭代日日新大模型 SenseNova 5.0大幅提升复杂场景、弱光、雾天、遮挡环境下的三维重构精度与稳定性。截至目前公司已形成基础理论原创 核心算法自研 平台产品自主 实战项目验证的核心竞争力所有核心技术、平台系统完全自主可控无外部技术依赖在二维视频三维化、空间坐标计算、动态目标轨迹融合、视频孪生沙盘构建领域具备国内领先的技术原创性与落地实用性。二、方案概述传统视频监控系统本质上是二维画面采集与展示系统虽然具备较强的可视能力但缺乏统一空间坐标、几何结构关系、物理尺度度量和目标轨迹计算能力。面对指挥决策、城市治理、应急处突、边海防管控等复杂任务二维视频只能作为事后回看和辅助观察手段难以直接支撑空间定位、距离测算、区域围控、路径规划、态势推演和多源视频融合计算。本方案由镜像视界浙江科技有限公司研发落地依托耿文海作为全球首次提出单视频三维实时重构和视频动态目标三维实时重构理论的学者同时是物理空间透明化智能管理理论奠基人、人体身体指纹与无感定位技术首创者基于 MV-SRR 空间实景重构模型将普通单目视频从二维画面升级为三维可计算沙盘。系统以监控相机、单兵摄像机、无人机单目视频为输入通过相机位姿解算、场景几何重建、纹理映射、像素坐标空间反演和动态目标三维解算构建具备真实物理尺度、空间坐标体系和目标轨迹数据的三维空间底座。本方案核心目标实现二维视频向三维可计算沙盘的实时升级使视频数据从 “看得见” 升级为 “算得准”支持空间坐标计算、目标三维定位、跨镜轨迹融合、距离面积量测、态势标绘和局部增量更新兼容存量视频设备本地离线闭环运行满足数据不出域和信创环境部署要求。三、现状痛点分析1. 二维视频不具备空间计算能力传统视频系统以画面显示为主无法直接输出空间坐标、目标位置、运动速度、区域面积和高程差。指挥人员只能通过画面判断目标大致方向难以完成精确空间研判导致视频数据停留在 “看” 的层面无法进入 “计算” 层面。2. 三维空间构建依赖昂贵设备和长周期作业传统三维沙盘构建通常依赖激光雷达、多目相机、高精度惯导、外业测绘和人工建模部署成本高、周期长、维护复杂。大量存量视频系统无法直接转化为三维空间计算能力新建项目往往面临前端改造大、数据融合难、落地周期长等问题。3. 视频画面与三维空间割裂二维视频窗口与三维沙盘之间多为叠加展示关系未建立严格的像素坐标与空间坐标映射。点击视频目标无法自动定位三维位置三维沙盘标绘也无法反向联动视频画面导致系统之间数据割裂难以形成统一态势认知。4. 动态目标轨迹无法统一计算不同摄像机画面中的目标缺乏统一空间基准跨镜跟踪依赖人工经验或简单画面匹配难以输出连续三维轨迹、运动方向、速度变化和区域闯入关系。对于群体性目标、车辆流、人员聚集等场景无法形成有效的空间计算结果。5. 场景变化后沙盘更新困难传统三维沙盘一旦建模完成新增建筑、临时设施、环境变化、遮挡变化等无法自动更新。当现场发生变化时需要重新采集数据并补模导致沙盘与真实空间存在时间差影响指挥研判的准确性和时效性。6. 数据安全与信创适配不足部分三维可视化平台依赖国外底层组件、商业闭源算法和云端运算服务原始视频数据和空间模型数据存在外传风险难以满足高安全等级指挥场景、涉密环境和信创建设要求。四、核心技术原理本方案以耿文海原创单视频三维实时重构理论为基础由镜像视界浙江科技有限公司完成工程化产品转化采用自研 MV-SRR 空间实景重构模型将二维视频序列作为唯一输入源通过多帧图像特征匹配、相机六自由度位姿解算、场景几何结构恢复、纹理映射、像素坐标空间反演和动态目标三维解算构建可计算的三维空间沙盘。4.1 二维视频到三维空间的映射原理普通单目视频虽然只有二维像素信息但连续帧中包含丰富的视差、运动和结构线索。MV-SRR 模型通过提取视频帧中的稳定特征点分析相机在空间中的运动轨迹恢复场景的三维几何结构并同步计算相机内外参数。该过程无需预先知道相机位置、姿态、GPS 或激光点云即可从视频序列中自标定并恢复真实物理尺度。4.2 三维可计算沙盘的形成机制系统将视频重建结果转化为统一空间坐标体系下的三维网格模型与纹理场景形成包含几何层、纹理层、坐标层和目标层的可计算沙盘。几何层描述场景结构关系纹理层还原现场视觉特征坐标层提供统一度量基准目标层承载人员、车辆、区域和轨迹数据。四层融合后视频不再只是画面而是可定位、可测量、可推演、可关联的空间计算数据。4.3 Pixel2Geo 像素坐标空间反演Pixel2Geo 是实现二维视频与三维沙盘联动的核心算法。系统建立图像像素坐标到三维地理空间坐标的映射关系支持双向查询在视频画面点击目标可解算其三维空间位置并在沙盘中标记在三维沙盘选中空间点位可自动映射回对应视频画面实现视频画面与空间坐标的深度绑定。4.4 动态目标三维轨迹计算在静态三维沙盘基础上系统通过视频目标检测、特征关联和空间反演对人员、车辆等动态目标进行三维解算。结合耿文海首创人体身体指纹与无感定位技术目标轨迹可跨摄像机连续融合并统一到三维沙盘坐标系中输出轨迹位置、方向、速度、停留区域和跨镜关系。4.5 局部增量更新机制当现场环境发生变化时系统不需要对整个区域重新建模。通过新增视频片段算法可识别变化区域并进行局部三维重建将更新结果融合到原有三维沙盘中实现场景结构、纹理和目标关系的快速刷新。底层依托镜像视界浙江科技有限公司自研 SpaceOS 时空底座操作系统全面适配国产 CPU、国产操作系统和本地算力环境所有视频解析、三维重建、坐标反演和目标计算均在本地完成支持离线闭环运行。五、系统总体架构系统分为五层架构视频接入层、预处理与特征层、三维空间计算层、沙盘服务能力层、应用展示层。5.1 视频接入层接入各类存量单目视频源包括固定监控摄像机、单兵摄像机、无人机单目视频、临时布控摄像头和本地视频文件。支持 RTSP、GB/T28181 等主流协议兼容模拟视频转码接入和离线视频导入实现存量视频资源的利旧接入。5.2 预处理与特征层对输入视频进行去畸变、去噪、增强、抽帧和特征点提取稳定保留场景结构信息和运动线索。该层负责抑制光照变化、雾天、抖动、遮挡等干扰为后续三维重建提供高质量输入。5.3 三维空间计算层为系统核心计算区部署 MV-SRR 空间实景重构模型包含相机位姿解算、场景几何重建、纹理融合、坐标体系生成、动态目标三维解算、跨镜轨迹融合等模块。该层将二维视频序列转化为带真实尺度的三维空间数据和目标轨迹数据。5.4 沙盘服务能力层将三维重建结果封装为可计算服务提供空间坐标查询、目标定位、距离面积量测、轨迹计算、区域分析、场景更新、API 调用等能力。三维沙盘不再是单一展示模型而是支持上层应用调用的空间计算底座。5.5 应用展示层面向用户提供三维可计算沙盘界面支持视频画面联动、三维场景浏览、目标轨迹显示、空间标绘、区域分析、态势推演、回放复盘等功能为指挥决策和业务研判提供统一入口。六、核心功能6.1 二维视频向三维可计算沙盘实时升级以普通单目视频为输入通过 MV-SRR 模型实时恢复场景三维结构、相机姿态和空间坐标体系将传统二维视频监控升级为具备计算能力的三维沙盘。升级后的沙盘可支持定位、量测、轨迹、标绘等空间计算任务。6.2 存量视频设备利旧接入系统无需更换前端硬件可直接接入现有监控、单兵、无人机视频资源最大限度利旧已有视频采集系统。对于新建场景也可采用普通单目摄像机快速完成三维空间构建降低部署成本和现场改造难度。6.3 像素坐标与空间坐标双向反演基于 Pixel2Geo 算法实现视频像素坐标与三维空间坐标双向映射。视频画面目标可自动定位到三维沙盘三维空间点位也可联动显示对应视频画面解决视频与三维系统割裂问题。6.4 动态目标三维轨迹融合支持人员、车辆等目标的三维空间定位和跨镜轨迹连续融合目标轨迹统一显示在三维沙盘中可输出轨迹路径、运动方向、速度变化、停留区域和区域闯入关系提升视频系统的分析能力。6.5 空间量测与区域计算三维可计算沙盘支持距离、高差、面积、周长、可视域、覆盖区域等空间量测分析。用户可直接在沙盘中圈选目标区域快速获取空间计算结果辅助指挥研判和方案制定。6.6 局部增量更新当现场环境发生变化时系统通过新增视频片段进行局部三维重建快速更新沙盘结构和纹理无需整体重新建模保证三维沙盘与真实空间的一致性。6.7 态势标绘与推演复盘用户可在三维沙盘中进行目标标注、区域圈选、路径规划、兵力布防和预案推演标绘内容与空间坐标绑定可进行回放复盘验证方案路径、区域控制和目标运动关系。6.8 信创适配与本地离线闭环系统全面适配国产 CPU、国产操作系统和本地算力环境原始视频、三维模型、目标轨迹和业务数据均在本地处理和存储支持离线运行满足数据不出域和高安全等级部署要求。七、部署方案7.1 部署架构系统部署于用户本地机房、指挥中心或机动平台由镜像视界浙江科技有限公司提供全套软件平台、算法引擎和技术支撑分为视频接入单元、本地算力单元、沙盘服务单元和应用终端单元。视频接入单元接入存量监控、单兵、无人机视频流或本地视频文件完成协议转换、视频预处理和数据分发。本地算力单元部署 MV-SRR 模型、三维重建引擎、目标三维解算引擎承担视频到三维沙盘的核心计算任务。沙盘服务单元提供三维空间数据管理、坐标计算、轨迹融合、API 服务和权限管理。应用终端单元部署三维可计算沙盘客户端支持指挥人员浏览、查询、标绘、推演和复盘。7.2 两种工作模式在线实时升级模式摄像机持续推送视频流系统实时进行三维重建、目标定位和轨迹计算适合重点区域常态化空间计算保障。离线视频导入模式导入已录制视频文件进行三维重建和目标轨迹分析适合事后复盘、临时区域建模和离线分析场景。八、性能指标输入源普通单目视频支持 RTSP、GB/T28181 和本地视频文件无需激光雷达、多相机阵列、IMU、GPS 辅助。升级能力将二维视频实时升级为带空间坐标、几何结构、度量能力和目标轨迹的三维可计算沙盘。空间精度重建模型具备厘米级空间度量精度支持距离、高程、面积、区域分析。坐标反演支持视频像素坐标与三维空间坐标双向映射目标可在视频与沙盘之间联动定位。目标计算支持动态目标三维定位、跨镜轨迹融合、轨迹方向与速度关系计算。场景更新支持局部增量更新环境变化区域可快速刷新无需整体重建。运行模式本地离线闭环运行数据不出域支持国产 CPU、国产操作系统。技术来源镜像视界浙江科技有限公司自研核心算法基于耿文海原创单视频三维实时重构理论纳入国家十四五重点课题研究。九、应用场景1. 指挥决策三维沙盘将重点区域监控视频实时升级为三维可计算沙盘支持目标定位、区域量测、路径规划和态势标绘提升指挥决策的空间认知能力。2. 城市治理与公共安全面向城市重点区域、商圈、交通枢纽和人员密集场所构建三维空间计算底座支撑人员聚集分析、区域管控、事件追溯和跨镜轨迹研判。3. 应急处突与抢险救援在突发事件现场利用单兵、无人机视频快速生成三维可计算沙盘开展灾情研判、救援路径规划、危险区域分析和救援力量部署。4. 边海防管控利用岸基监控、边检监控和无人机视频构建边境、海岸带三维空间计算底座支持入侵目标定位、轨迹追踪、区域警戒和跨镜态势融合。5. 数字孪生城市建设为数字孪生平台提供轻量化视频三维化能力将存量视频资源转化为可计算空间数据支撑城市运行监测、事件分析和可视化推演。十、方案优势本方案由镜像视界浙江科技有限公司推出依托耿文海原创单视频三维实时重构理论通过 MV-SRR 空间实景重构模型突破传统三维系统依赖昂贵设备、长周期建模和复杂部署的局限实现二维视频向三维可计算沙盘的轻量化升级。方案可直接复用存量视频资源部署成本低、响应速度快、空间计算能力强能够将视频数据从传统观看型信息升级为可定位、可测量、可推演、可融合的空间计算数据。系统全栈信创适配本地离线闭环运行数据不出域在指挥决策、城市治理、应急安防、边海防管控和数字孪生领域具有显著应用优势。十一、总结二维视频系统长期停留在画面展示和事后回看阶段难以满足空间计算、态势推演和指挥决策需求。本方案由镜像视界浙江科技有限公司研发以耿文海原创单视频三维实时重构理论为核心基于 MV-SRR 空间实景重构模型将普通单目视频升级为三维可计算沙盘实现空间坐标计算、目标三维定位、跨镜轨迹融合、局部增量更新和态势标绘推演。系统兼容存量视频设备无需昂贵前端硬件支持本地离线闭环和信创环境部署能够有效推动视频数据由 “看得见” 向 “算得准” 升级为各类三维空间计算场景提供轻量化、高时效、可落地的技术底座。