Unity3D互动投影捕鱼：红外识别、坐标映射与对象池实战指南

简介一款基于Unity3D的互动投影捕鱼案例面向互动投影开发者、视觉交互爱好者及Unity3D场景调试人员。案例融合激光雷达技术呈现清晰美观的捕鱼互动画面重点验证人体动作或雷达信号触发投影反馈的完整流程适合作为互动投影功能测试首选方案也可用于会展、展厅、娱乐场景的方案演示与技术交流。压缩包采用rar格式整体约26.64MB便于快速下载与部署包内资源以可运行案例为主不包含源代码主要供效果体验、功能测试和界面参考使用。目前已有1739人学习下载反映出该案例在互动投影领域具有较强的参考价值。通过实际运行可直观了解Unity3D与激光雷达联动下的画面表现、识别区域设置和交互反馈节奏为后续自研互动投影项目提供画面布局、触发逻辑与流程设计方面的借鉴遇到问题也可加入技术交流群深入探讨。1. Unity3D互动投影捕鱼这是线下场景的交互生意不是普通游戏开发商场中庭、亲子餐厅、儿童乐园、科技馆里那种地上是鱼池、脚踩/手拍就能网鱼的大屏背后绝大多数是 Unity3D 互动投影方案。它把捕鱼游戏从手机屏幕搬到了投影画面上玩家用身体动作替代鼠标键盘核心卖点是无接触、即上手、多人同乐。这个案例真正要解决的问题不是鱼怎么游而是如何把投影画面、红外识别和Unity渲染三者对齐再加一套能撑住一整天营业不崩溃的捕鱼玩法。适合接线下互动项目的外包开发、做展厅/乐园运营的人读看完能照着搭出一套可交付的工程而不是只做一个Demo。2. 识别方案与坐标映射红外、深度相机与Unity侧的三种接法互动投影的互动二字全靠识别层撑起来。捕鱼场景里玩家不需要任何穿戴设备手或脚就是鼠标。选哪种识别方案直接决定项目成本、现场稳定性和你能在Unity里拿到什么数据。2.1 三种常见识别方案横向对比我做过几个落地项目接触最多的三种识别方式是红外图像识别、深度相机Kinect/Azure Kinect、地面电容/压力感应。下面这张表是我在实际选型时的判断依据方案识别对象精度抗干扰成本适用场景红外摄像头红外灯亮点/手影中高怕强阳光低室内封闭商场、暗环境深度相机手部骨骼/全身高中等怕玻璃反光中科技馆、展馆、大空间电容/压力感应脚踩点高强高地面互动、亲子乐园红外方案性价比最高是市面上互动投影捕鱼的主流。它的原理很简单投影区域上方装一台带红外滤片的摄像头同时用红外灯补光玩家手进入画面后会在红外图像里形成高亮区域识别软件提取这个高亮的质心坐标再通过网络或串口发给Unity。深度相机则更暴力——直接给你手关节的3D坐标省去很多图像处理但设备价格和采购周期也上去了。# 识别端伪代码提取手部高亮区域质心 import cv2 import numpy as np cap cv2.VideoCapture(0) # 红外摄像头 while True: _, frame cap.read() gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) # 高亮就是玩家手背景是暗的 _, thresh cv2.threshold(gray, 200, 255, cv2.THRESH_BINARY) contours, _ cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if contours: # 取最大轮廓作为玩家手部 c max(contours, keycv2.contourArea) M cv2.moments(c) if M[m00] 100: # 过滤噪声点 cx int(M[m10] / M[m00]) cy int(M[m01] / M[m00]) # 把这个坐标通过TCP发给Unity send_to_unity(cx, cy)这段代码是识别端最常见的处理流程阈值分割、找轮廓、算质心。参数200是红外亮度阈值需要现场调——如果环境光太亮这个值要往上拉反之则降低。M[m00] 100是过滤掉面积小于100像素的噪点防止墙壁上的反光点造成误触。实际项目里我不会用Python直接做生产而是用C或现成的互动软件但逻辑一模一样用Python验证算法最方便。2.2 Unity侧的通讯接收与数据解析识别端把坐标发过来Unity这边就得有个稳定的接收端。我一般用TCP而不是UDP虽然UDP延迟更低但TCP能保证广播数据不丢避免写复杂的丢包补偿。// Unity侧TCP客户端接收识别坐标 using System; using System.Net.Sockets; using System.Text; using UnityEngine; public class TouchReceiver : MonoBehaviour { public int port 6000; private TcpClient client; private NetworkStream stream; private byte[] buffer new byte[1024]; void Start() { client new TcpClient(127.0.0.1, port); stream client.GetStream(); stream.BeginRead(buffer, 0, buffer.Length, OnReceive, null); } void OnReceive(IAsyncResult ar) { int len stream.EndRead(ar); if (len 0) { string msg Encoding.UTF8.GetString(buffer, 0, len); // 协议约定格式x,y\n string[] parts msg.Trim().Split(,); if (parts.Length 2) { float x float.Parse(parts[0]); float y float.Parse(parts[1]); // 转成Unity屏幕坐标后广播给捕鱼逻辑 ScreenTouchEvent.Trigger(x, y); } stream.BeginRead(buffer, 0, buffer.Length, OnReceive, null); } } }这段代码踩过不少坑最典型的是粘包——识别端一帧发多个坐标Unity这边一次读取可能读到N个点拼在一起。所以我在协议里强制用\n结尾解析前先按\n分割再逐个处理。BeginRead的回调递归续读是必须的不然收一条数据就断。生产环境还要加心跳识别端每秒发一次心跳包Unity连续3秒没收到就提示设备离线这个我在避坑章节再展开。2.3 投影区、识别区、Unity屏幕三者的坐标对齐拿到识别坐标只是第一步真正的难点在于识别摄像头看到的画面和投影机投出来的画面物理上并不完全重合——摄像头装在投影机旁边存在视角差。如果不做坐标映射玩家看到鱼在左边伸手去抓识别点却在右边体验直接翻车。// 四角标定把识别坐标映射到投影区域 Vector2 CalibratePoint(Vector2 rawPoint) { // 四个标定点顺序左上、右上、左下、右下 // 这些值是现场用标定页面点出来的 Vector2[] srcPoints new Vector2[] { new Vector2(120, 80), // 识别画面中投影区左上角 new Vector2(900, 110), // 右上角 new Vector2(100, 620), // 左下角 new Vector2(880, 600) // 右下角 }; Vector2[] dstPoints new Vector2[] { new Vector2(0, 1), // Unity屏幕左上屏幕坐标Y轴向上 new Vector2(1, 1), // 右上 new Vector2(0, 0), // 左下 new Vector2(1, 0) // 右下 }; // 用双线性插值做映射透视校正需要ProjectiveTransform // 单应性矩阵求解常见做法是OpenCV的GetPerspectiveTransform // 在Unity里可以借Mathf.Lerp做近似 float xRatio (rawPoint.x - srcPoints[0].x) / (srcPoints[1].x - srcPoints[0].x); float yRatio (rawPoint.y - srcPoints[0].y) / (srcPoints[2].y - srcPoints[0].y); return new Vector2(Mathf.Lerp(0, Screen.width, xRatio), Mathf.Lerp(0, Screen.height, yRatio)); }这段标定代码是简化版做的是先移到投影区矩形内再等比例映射。真实项目中投影机吊装角度会导致画面是梯形的这时候单靠线性插值就不够需要用单应性矩阵做透视变换。做法是在Unity里放一个标定界面让玩家依次点击投影画面的四个角或者用遥控器在识别画面里框出投影区域记录下来后求解3x3矩阵之后每个识别点都乘这个矩阵。我在多个项目里发现标定步骤千万别省哪怕多花10分钟现场体验能从能玩变成顺手。3. 鱼群与渔网在Unity里把捕鱼玩法做成可调参数的对象池捕鱼玩法的技术难度不高但它有一个特殊要求投影大屏上往往同时有多个玩家在拍打鱼的数量、子弹网的特效、命中反馈都得扛得住。如果每个鱼都是独立Instantiate/Destroy一会儿GC就开始卡顿投影画面一卡玩家的手就对不准体验断崖下跌。3.1 鱼群生成对象池与贝塞尔曲线游动鱼群必须用对象池这是捕鱼项目里最基础也最硬性的要求。我一般会在启动时预创建30~50条鱼循环使用鱼死亡后不是销毁而是复位回池子。// 鱼对象池与游动路径 public class FishPool : MonoBehaviour { public GameObject fishPrefab; public int poolSize 40; private ListFish fishes new ListFish(); void Start() { for (int i 0; i poolSize; i) { GameObject go Instantiate(fishPrefab, transform); go.SetActive(false); fishes.Add(go.GetComponentFish()); } // 每3秒放一批鱼 InvokeRepeating(SpawnFish, 1f, 3f); } void SpawnFish() { // 从池里找一个空闲鱼 Fish fish fishes.Find(f !f.gameObject.activeSelf); if (fish null) return; // 池满了就跳过 fish.gameObject.SetActive(true); fish.Init(RandomPath()); } Vector3[] RandomPath() { // 生成一条贝塞尔曲线路径起点在屏幕边沿 Vector3 start new Vector3(-10, Random.Range(-4f, 4f), 0); Vector3 mid new Vector3(Random.Range(-2f, 2f), Random.Range(-3f, 3f), 0); Vector3 end new Vector3(10, Random.Range(-4f, 4f), 0); return new Vector3[] { start, mid, end }; } }对象池的关键参数是poolSize——它决定了同屏最多多少条鱼。投影互动和手机游戏不一样大屏上鱼太密会干扰识别太疏则显得冷清。我的经验是100寸投影、4~6个玩家同时玩40条鱼是甜点值再多就有识别误判风险。InvokeRepeating的3秒间隔是初始节奏实际项目里我会改成动态密度——玩家人数少就加快生成玩家多就放慢避免屏幕被鱼塞满。3.2 渔网投放与命中判定从手部坐标到撒网动作捕鱼交互的手感建立在一个映射上玩家手在投影区拍一下识别点出现/消失/快速移动Unity判定为一次撒网以这个坐标为中心生成一张扩散的网网碰到鱼就得分。这里最怕的是手还没抬起来就撒网的误触。// 撒网判定识别点短时间快速出现并静止视为一次拍击 public class NetSpawner : MonoBehaviour { public GameObject netPrefab; public float swipeThreshold 0.3f; // 拍击最大持续时间秒 public float moveThreshold 0.5f; // 移动距离阈值超过不判定为拍击 private Vector2 lastPos; private float appearTime; void Update() { if (ScreenTouchEvent.HasTouch()) { Vector2 pos ScreenTouchEvent.GetPosition(); if (ScreenTouchEvent.IsNewTouch()) { lastPos pos; appearTime Time.time; } else { float moved Vector2.Distance(pos, lastPos); if (moved moveThreshold Time.time - appearTime swipeThreshold) { SpawnNet(pos); ScreenTouchEvent.ClearTouch(); // 防止同一帧重复撒网 } lastPos pos; } } } }这里swipeThreshold和moveThreshold是两个需要现场调的手感参数。数值太小玩家轻轻一挥手就出网数值太大拍下去半天没反应。我一般把阈值设成玩家做一个快速的拍手动作能触发但手从左边划到右边不触发。移动阈值建议用识别坐标的归一化值0~1这样不同分辨率的投影都能通用。撒网后给一个0.3秒的冷却时间防止连续误触导致网满天飞。3.3 鱼模型导入与材质优化从建模工具到Unity渲染捕鱼项目里的鱼模型不少是从SolidWorks这类工业建模软件导出的。常见做法是把SolidWorks模型转成STEP/IGES再用Blender或3ds Max重拓扑成低模导出FBX进Unity。直接导入SolidWorks原始格式是不行的Unity不认识而且工业模型的曲面细分太高一个鱼几百万面投影端跑不动。进入Unity后要做三件事压缩贴图到1024或512、开启GPU实例化Static Batching、关闭实时阴影。投影场景的灯光是固定不变的所有鱼用同一个方向光实时阴影在投影互动里非常容易把识别区域搞乱——阴影区域在红外摄像头下就是一块暗区会被误判成手影所以最好直接关掉。4. 投影画面与渲染适配梯形校正、RenderTexture与多机融合识别和玩法都通了接下来要解决画面本身的工程问题。投影机安装角度不可能完美正对幕布或地面画面会出现梯形畸变。Unity默认的相机是平视的矩形视锥直接输出会呈现上宽下窄的变形必须做Off-Axis投影校正。4.1 梯形校正写一个Off-Axis相机脚本方案一是在Unity里做推荐省得配投影机的几何校正方案二是用投影机自带的梯形校正功能硬件越贵校正能力越强。我倾向于在Unity里做因为软件校正可以精确到像素还能配合后续的多投影融合。// Off-Axis相机校正让Unity画面在投影幕布上呈现规则矩形 public class OffAxisCamera : MonoBehaviour { public Camera cam; public Vector2 bottomLeft new Vector2(-1f, -1f); public Vector2 topRight new Vector2(1f, 1f); public float nearClip 0.01f; public float farClip 100f; void Start() { cam GetComponentCamera(); } void LateUpdate() { if (cam null) return; // 手动构造投影矩阵替代默认的对称FOV // 这是OpenGL/Unity常见的Off-Axis矩阵写法 Matrix4x4 m PerspectiveOffCenter( bottomLeft.x, topRight.x, bottomLeft.y, topRight.y, nearClip, farClip); cam.projectionMatrix m; } Matrix4x4 PerspectiveOffCenter(float left, float right, float bottom, float top, float near, float far) { float x 2.0f * near / (right - left); float y 2.0f * near / (top - bottom); float a (right left) / (right - left); float b (top bottom) / (top - bottom); float c -(far near) / (far - near); float d -2.0f * far * near / (far - near); Matrix4x4 m new Matrix4x4(); m[0,0] x; m[0,2] a; m[1,1] y; m[1,2] b; m[2,2] c; m[2,3] d; m[3,2] -1; return m; } }所有Unity内置的相机矩阵本质上都是这个PerspectiveOffCenter的特例。bottomLeft和topRight的值就是四个角在投影幕上的归一化偏移。调试方法把脚本挂到相机上运行时在Inspector里拖这四个值直到投影画面在幕布上变成标准的矩形而不是梯形。注意cam.projectionMatrix不能写在Start()里再用必须在LateUpdate()持续赋值因为Unity每帧会重置它。4.2 视频流背景与实时渲染的混合捕鱼项目的背景画面很多客户要求播放门店的宣传视频或海底世界视频素材。这就要用到让视频作为纹理VideoPlayer RenderTexture的技术——直接把Unity3D视频流渲染到投影画布上然后鱼群等3D元素叠加在视频之上。做法是用一个平面Quad铺满相机视野上面挂VideoPlayer播放视频。VideoPlayer的renderMode设为RenderTexture用一个RT作为输出目标RT的分辨率设置成投影机的物理分辨率1920x1080。把这个RT赋给Quad的材质主纹理。鱼群、渔网特效仍然用3D物体渲染相机Clear Flags设为SolidColor且颜色为黑色这样视频背景不会被遮挡。关键参数是RenderTexture的分辨率。很多项目为了省性能设成1024x512但投影出来视频是糊的画面一糊客户就会觉得没档次。我建议无脑用1920x1080现代显卡跑这个分辨率毫无压力。Main Camera的背景颜色设为黑色还有个好处黑场在投影画面里几乎不可见相当于天然的透明背景。4.3 多投影融合两个以上投影机的边缘对齐面积超过8米的墙面或地面一台投影机不够需要两台打融合。这不只是把画面拉宽而是要让两台投影机的画面在中间重叠区域无缝拼接。Unity侧的常见做法是:开两个Camera分别渲染场景的左半部分和右半部分。两台Camera的视口ViewportRect在重叠区做渐变Alpha遮罩左边投影的右边缘渐隐右边投影的左边缘渐显。叠加区的像素宽度取决于你的投影机融合带常见的融合带是200~300像素。左相机输出到一个RenderTexture右相机输出到另一个RenderTexture再把两张RT分别送到两台投影机通过DP/HDMI分线。同步问题是多投影最容易翻车的地方——两台投影机的画面如果差几帧玩家动作和画面反馈就错位。解决办法用Genlock同步卡广播级硬件或者尽量让两端渲染负载对称不要一台跑满一台闲着。5. 避坑清单现场最常翻车的5个问题与对应解法这套系统说复杂也复杂说简单也简单——所有问题都集中在环境、通讯、识别这三个黑匣子里。我把几个高频率的坑写在这里每一条都是真金白银换来的经验。5.1 阳光直射导致识别区全部变成高亮红外阈值失效现象靠近落地窗的场地下午太阳照进来整个投影画面都在自动撒网鱼一出来就被抓光。原因红外摄像头的识别逻辑是高亮即手阳光里的红外成分非常高直接把整个画面推到了阈值以上。解决把红外灯的功率加大同时把摄像头的亮度阈值从200提到250~255让手部高亮和阳光高亮拉开差距。如果还压不住就在窗户上贴遮阳膜——这是最省事的做法。营业场地的采光不可控做方案时优先建议客户选内场位置这是血泪经验。5.2 玩家黑色衣服在投影面上乱晃识别点飘忽现象玩家穿黑衣服弯下腰识别点突然跳到腰上手明明没动鱼网却乱撒。原因红外识别是基于颜色深度黑色衣服吸光在红外画面里形成暗区算法把它当成手影边缘。解决加尺寸过滤——手在投影面上的面积相对小通过设置minContourArea和maxContourArea把过大/过小的轮廓全部过滤掉。具体数值要现场量伸出手在画面里占几个像素记下来除以1.5作为上限。不要试图靠算法识别手的形状现场的轮廓永远是奇形怪状的。5.3 识别端和Unity之间的TCP粘包坐标错乱现象运行半小时后渔网撒的位置越来越偏最后甚至从屏幕外撒网。原因TCP是流协议多个坐标包黏在一起Unity一次性读到几行数据Split后取到的不是完整坐标而且解析错位。解决接收端做缓冲追加按\n切分每一行单独解析不完整的一行保留到下一次再拼。同时识别端发数据改成固定频率比如30Hz不要用事件驱动——事件爆发时数据量忽大忽小最容易触发粘包。5.4 天气一变识别精度就变红外灯老化与灰尘现象开业两周后某个区域的鱼怎么抓都抓不到但别的区域正常。原因红外灯衰减不均匀或者镜头上有灰尘导致局部亮度下降。这是慢性的不容易发现。解决在Unity侧做一个识别热力图调试页——把识别坐标的轨迹画在屏幕上运行10分钟哪里轨迹稀疏说明哪里识别有问题。这块我做到了工程里常驻的一个隐藏页面每次巡检先看它。保洁擦镜头要注意用专用镜布否则涂层磨损后画面永久起雾。5.5 GC卡顿导致投影画面瞬间掉帧鱼瞬移现象每天下午高峰期画面偶尔卡一下鱼瞬移半个屏幕玩家开始抱怨。原因老代码到处new对象尤其是string.Format拼接日志、FindGameObjectWithTag查鱼高峰期GC脉冲瞬间卡死主线程。解决把所有高频路径里的字符串拼接改成StringBuilder或直接连加日志系统加开关查找鱼群用缓存的ListFish禁止运行时Find。性能监控用Unity Profiler跑一次抓GC Alloc曲线把红色高柱全部清掉帧率就能稳住。投影场景的帧率要求比手机更高——手机卡一下没人知道投影大屏卡一下所有人瞬间出戏。6. 交付前的标定验证一个网格校准法与隐藏调试开关这套系统做完了验收不能只看能不能玩。我习惯把最终验证做成两步网格校准和延迟测量。网格校准是在Unity里生成一个9x7的网格线叠加层把红外识别点实时显示成一个小球。人站在投影区逐个去碰网格交点如果小球能和手的位置重合说明坐标映射是准的如果某个区域偏移超过2厘米就要重新做四角标定。// 调试在Unity里显示识别点与网格的叠加层 public class DebugOverlay : MonoBehaviour { public bool showDebug true; // 交付后设为false但保留快捷键开启 private Texture2D gridTexture; void OnGUI() { if (!showDebug) return; // 画网格线间隔为屏幕的1/9宽、1/7高 for (int x 0; x 9; x) { float sx Screen.width * x / 9f; GUI.DrawTexture(new Rect(sx, 0, 1, Screen.height), gridTexture); } for (int y 0; y 7; y) { float sy Screen.height * y / 7f; GUI.DrawTexture(new Rect(0, sy, Screen.width, 1), gridTexture); } // 画识别点 Vector2 pos ScreenTouchEvent.GetPosition(); GUI.color Color.red; GUI.DrawTexture(new Rect(pos.x - 10, pos.y - 10, 20, 20), gridTexture); } }这段代码放在项目里当做一个常驻调试工具上线后把showDebug设为false但保留按键触发。网格校准还有一个额外的作用如果网格线是歪的、斜的说明投影机的Off-Axis相机校正参数不对而不是识别端的锅——这一下就把两个黑匣子分开了。延迟测量我用的土办法在Unity里放一个开始检测按钮按下后立刻在识别端显示一个高亮方块同时启动计时用高速摄像机对着投影画面拍算出从手按到画面反馈之间的帧数差。商业项目我要求延迟在80ms以内超过150ms玩家就会觉得不跟手愿意再花时间调的人不多但这个值直接决定你方案的口碑。我自己做过的第一个捕鱼项目就在延迟上栽过跟头——当时用了无线网络传识别数据延迟忽高忽低最后换成有线直连才稳定在60ms。从那以后所有互动投影项目的识别端和Unity主机之间我只走有线网络这个习惯帮我省了很多现场麻烦。希望帮到你。本文还有配套的精品资源点击获取