OpenHuman 屏幕感知能力下线：从 Rust 核心到 CEF 权限边界的全链路删除实施方案

OpenHuman 屏幕感知能力下线从 Rust 核心到 CEF 权限边界的全链路删除实施方案【免费下载链接】openhumanOpenHuman is an open source personal AI for Mac, Windows and Linux — local-first memory, agent orchestration, and deep research.项目地址: https://gitcode.com/GitHub_Trending/op/openhuman导读本文基于 OpenHuman 仓库中的 移除屏幕感知能力的实现计划及配套的 设计规格文档完整解读一次能力硬删除而非功能开关的架构级重构覆盖 Rust 核心域、配置文件、无障碍采集、Agent 注册表与能力目录、浏览器像素工具、Tauri 屏幕共享、嵌入式 CEF 桌面采集权限、桌面 Companion 以及前端 UI/路由/i18n 的逐层清除流程。读者将掌握以先写会失败的回归断言、后删除、再于同一原子提交内转绿的测试驱动删除方法论如何在大型 Rust Tauri React 混合仓库中安全移除一条横贯端到端的功能面并学会用仓库级搜索审计确保没有残留的可调用面。一、项目背景与删除目标OpenHuman 是一款本地优先的桌面 AI 助手Rust 核心 Tauri 桌面壳 React 前端早期版本内置了一套screen-awareness / screen-capture屏幕感知与屏幕采集能力面包括完整的 Rustscreen_intelligence领域采集会话、视觉摘要、屏幕派生记忆、权限管理、屏幕输入动作、Globe 监听控制、RPC/CLI 入口与 Agent 工具、可被编排器委派的screen_awareness_agent、原生截图工具、返回像素的浏览器自动化动作、Tauri 屏幕共享选择器以及桌面 Companion 依赖前台窗口上下文与[POINT:…]指点状态的对话能力。本计划的核心目标与不变量来自原文档 Goal and invariants是是移除而非禁用删除已发布shipped的屏幕感知表面不保留 feature flag 或兼容桩。删除后不留可调用面被移除的 JSON-RPC 方法成为未知方法返回 method-not-found被移除的 CLI / Tauri / 浏览器动作不再被广告、不再可分发。权限边界兜底嵌入式 CEF WebView 无法再获得桌面音频desktop-audio或桌面视频desktop-video采集权限。必须保留的能力DOM/无障碍树的文本快照snapshot、用户自行提供的图片、对这些图片的常规视觉处理、摄像头/麦克风采集以及仅服务于测试运行器与 App Store 出图的截图产物。实施约束在既有工作树remove-screen-awareness-fully上进行不得改动已提交批准的设计规格文档采用先运行目标测试使其对旧能力面失败再在同一个原子提交中让测试通过的红绿节奏每处路径验证后用atomic-commit提交。二、产品边界删什么、留什么设计文档明确划定了产品边界这是执行删除时的判据来源类别删除项保留项核心 Rust 域screen_intelligence域采集会话、视觉摘要、屏幕派生记忆、权限管理、屏幕输入、Globe 监听、RPC 控制器、CLI、Agent 工具—无障碍/浏览器屏幕录制Screen Recording权限助手、返回像素的screenshot/computer-usescreen_capture动作DOM/无障碍树文本snapshot、click/fill/type等非像素动作Agent 层screen_awareness_agent及其委派/提示词/注册表/MCP 资源vision_agent仅处理用户提供的图片桌面壳Tauriscreen_capture模块、屏幕共享选择器、缩略图、命令权限、getDisplayMediashim设备麦克风/摄像头采集CEF 权限桌面音频/视频采集的权限转发设备 mic/camera 位保留放行Companion前台应用/窗口上下文、capture_screen/include_app_context配置、屏幕感知提示词、[POINT:…]指点标签/状态/UI语音/文本对话、会话历史、TTS/取消前端与文档设置面板、开发者面板、连接/技能页签、setup 流程、路由、导航、CoreState 字段、RPC 包装、i18n、能力目录条目、已入库 schema、功能/架构文档、测试清单用户图片分析、DOM 快照说明一个值得注意的工程判断用户自己在 OpenHuman 之外截取的图片哪怕内容是一张屏幕截图仍属合法输入因为图像内容与采集能力是两回事。这正是该方案允许保留用户图片视觉分析与 App Store 截图生成脚本的原因。三、分步删除清单八层原子提交计划按依赖顺序将整次删除切成 8 个提交边界每一层都独立删除 测试 提交避免一次巨型改动难以评审与回滚。步骤 1核心域、配置、无障碍采集与公共核心契约删除面整目录删除src/openhuman/screen_intelligence/含 CLI、controller、engine、worker、vision、tool 及单元测试删除src/openhuman/accessibility/capture.rs及mod.rs中屏幕采集导出在permissions.rs/types.rs/README.md移除 Screen Recording 权限支持与screen_recording状态字段及其测试但暂时保留focused-text、foreground-window、automation、Globe、input-monitoring、麦克风行为foreground-window 类型要等步骤 5 Companion 清完后才能删从src/openhuman/mod.rs、src/core/{all.rs,cli.rs,legacy_aliases.rs}移除模块/注册表/CLI/历史别名条目移除ScreenIntelligenceConfig及其 schema 模块/再导出/默认字段连同 config 的 patch/update/controller/schema 条目。关键兼容性决策——不做 TOML 迁移设计规格明确用户升级后旧配置文件里可能残留[screen_intelligence]表由于 serde 的 unknown-field 默认行为反序列化该表仍会被接受只是不再产生任何活的配置字段。因此无需 migration也没有任何保留行为消费这份数据。当前仓库的 types_model_pin_tests_tests.rs 中就存在名为config_ignores_legacy_screen_intelligence_table的回归测试用一段含[screen_intelligence]的 TOML 验证解析后配置中不再包含该键——这正是该决策落地为测试的证据。RPC 回归策略把原有正面集成断言替换为一个聚焦的回归断言openhuman.screen_intelligence_status、openhuman.screen_intelligence_capture_now、openhuman.config_update_screen_intelligence_settings三个方法必须返回 JSON-RPC method-not-found。同时删除tests/screen_intelligence_vision_e2e.rs及其在scripts/test-rust-e2e.sh中的套件条目。对于涉及复合断言的测试文件tests/config_auth_app_state_connectivity_e2e.rs、tests/json_rpc_e2e.rs、tests/composio_list_tools_stack_overflow_regression.rs、tests/raw_coverage/tools_agent_credentials_state_raw_coverage_e2e.rs等只摘除 screen-intelligence 相关断言/夹具保留无关的>GGML_NATIVEOFF cargo test --lib core::all::tests GGML_NATIVEOFF cargo test --lib config::schemas_tests GGML_NATIVEOFF cargo test --lib config::ops_tests GGML_NATIVEOFF cargo test --lib app_state::ops_tests GGML_NATIVEOFF cargo test --lib credentials::ops_tests bash scripts/test-rust-with-mock.sh --test json_rpc_e2e bash scripts/test-rust-with-mock.sh --test config_auth_app_state_connectivity_e2e GGML_NATIVEOFF cargo check --manifest-path Cargo.toml提交信息refactor(core): remove screen intelligence surface。步骤 2移除 Agent 发现与能力目录条目删除src/openhuman/agent/registry/agents/screen_awareness_agent/从agents/{mod.rs,loader.rs}移除模块与BuiltinAgent条目从编排器允许的 subagent 列表agent/registry/agents/orchestrator/agent.toml、内建定义断言agent/harness/builtin_definitions.rs、以及definition_tests.rs/loader.rs的期望 Agent 数量与 worker 列表中去掉它保留vision_agent但移除其两个screen_intelligence_*工具并把vision_agent/{agent.toml,prompt.md}改为只描述附加的或磁盘上的用户提供图片删除src/openhuman/mcp/server/resources.rs中的屏幕感知提示词资源删除CapabilityCategory::ScreenIntelligence类型及其解析/序列化测试、about_app/{types.rs,catalog_data.rs,catalog_tests.rs}中全部screen_intelligence.*目录条目并清理overlay/types.rs的过期示例与inference/README.md中的屏幕相关表述。这一层解决的是**发现性问题**即使代码删干净了只要 Agent 目录、能力目录或 MCP 资源还在对外宣传这个能力产品面就仍算残留。当前仓库的 catalog_tests.rs 中保留了screen_intelligence_is_not_a_catalog_category_or_capability测试断言screen_intelligence.parse::CapabilityCategory()必须报错、且所有类别/能力 ID 不得以其开头loader_tests_part_01_tests.rs 中的三个断言则确保screen_awareness_agent不是可发现内建、编排器不暴露其委派、也不会载入内建注册表——这些否定式测试是删除后防止回归的关键防线。验证命令GGML_NATIVEOFF cargo test --lib agent_registry::agents::loader GGML_NATIVEOFF cargo test --lib agent::harness::definition_tests GGML_NATIVEOFF cargo test --lib about_app:: GGML_NATIVEOFF cargo check --manifest-path Cargo.toml提交信息refactor(agents): remove screen awareness discovery。步骤 3删除原生截图与返回像素的浏览器动作删除独立原生ScreenshotToolsrc/openhuman/tools/impl/browser/screenshot.rs及其注册与tools/local_cli.rs中残留的独立截图 wrapper在tools/impl/browser/{types.rs,action_parser.rs,browser.rs,browser_tests.rs}中移除BrowserAction::Screenshot变体、解析分支、广告动作/schema 选项以及screen_capturecomputer-use 动作保留snapshot及全部非像素浏览器/电脑输入动作在native_backend.rs、playwright_backend.rs、playwright_runner.mjs中删除截图执行分支并确保每个后端在 sidecar 分发前就把screenshot/screen_capture判为不支持清理tests/raw_coverage/中相关 E2E 的浏览器截图期望只保留不采集像素的浏览器 API/data-url 断言。从当前仓库源码看types.rs 中的BrowserAction枚举已只含Open、Snapshotaccessibility snapshot with refs含interactive_only/compact/depth参数、Click、Fill、Type、GetText等动作不再有Screenshot变体——snapshot成为浏览器检查的唯一读屏手段且它返回的是结构化文本引用而非像素。测试命令GGML_NATIVEOFF cargo test --lib openhuman::tools::implementations::browser::browser::tests GGML_NATIVEOFF cargo test --lib tools::ops_tests GGML_NATIVEOFF cargo test --test tools_approval_channels_raw_coverage_e2e --test tools_channels_raw_coverage_e2e提交信息refactor(tools): remove screenshot capture actions。步骤 4移除 Tauri 屏幕共享并强制 CEF 桌面采集拒绝桌面壳层的删除点以计划原始路径为准删除app/src-tauri/src/screen_capture/并从app/src-tauri/src/lib.rs摘除其模块、受管的ScreenShareState与三条命令注册从app/src-tauri/permissions/{allow-webview-recipe.toml,allow-core-process.toml}移除screen_share_begin_session、screen_share_thumbnail、screen_share_finalize_session命令及其描述从app/src-tauri/src/webview_accounts/runtime.js整块删除installGetDisplayMediaShim、picker DOM、会话 IPC 调用与显示采集权限查询覆写保留常规 recipe 运行时在app/src-tauri/vendor/tauri-cef/crates/tauri-runtime-cef/src/permissions.rs中令ALLOWED_MEDIA_MASK只包含设备麦克风/摄像头位并改写权限注释声明桌面位一律拒绝。为什么 CEF 这步是安全关键设计规格特别强调最终策略必须在权限边界拒绝桌面采集而不是只隐藏选择器 UI。嵌入式 Meet、Slack、Discord、Zoom 等 Provider WebView 若只依赖前端 shim 被删理论上仍可能直接发起getDisplayMedia请求唯有在 CEF 的ALLOWED_MEDIA_MASK层把DESKTOP_AUDIO/DESKTOP_VIDEO位过滤掉才能保证 WebView 层面就无权限通道可用。同时从cdp/session.rs、meet_audio/captions_bridge.js移除原生 picker 可用的过时宣称但不改动其保留的 mic/camera/caption 行为。验证要点是先改 CEF 单测要求桌面位缺席让当前 mask 先失败再跑cargo test --manifest-path app/src-tauri/vendor/tauri-cef/crates/tauri-runtime-cef/Cargo.toml permissions::tests cargo test --manifest-path app/src-tauri/Cargo.toml cargo check --manifest-path app/src-tauri/Cargo.toml提交信息refactor(tauri): remove display sharing。步骤 5让桌面 Companion 与屏幕解耦Companion语音/文本对话伴侣不做删除而是改为屏幕无关删除app/src-tauri/src/companion/{pointing.rs,pointing_tests.rs}在mod.rs/pipeline.rs/types.rs/session.rs中移除显示器几何采集、前台应用/窗口上下文采集、屏幕上下文提示词参数与文本、[POINT:…]解析、目标target字段、pointing 状态与状态迁移以及capture_screen/include_app_context配置字段run_text_turn与run_audio_turn只接收语音/音频 取消信号携带会话历史与当前发言交给 LLM返回文本/TTS/取消结果不再携带任何屏幕目标在最后一个消费方清除后从共享accessibility域删除AppContext与 frontmost-window/foreground_context助手保留独立使用的 focused-text 助手前端清理companionSlice.ts的 pointing 状态、companionEvents.ts的 pointer 事件面、CompanionPointer.tsx覆盖层、CompanionPanel.tsx中两条屏幕派生状态行。当前仓库的无障碍模块已迁移到 src/openhuman/desktop/accessibility模块头注释为 Platform accessibility middleware: focus queries and permission management仍然导出focused_text_context、focused_text_context_verbose、validate_focused_target以及detect_accessibility_permission、detect_input_monitoring_permission、open_macos_privacy_pane、request_accessibility_access等独立可用的聚焦文本与权限助手globe.rs中仍保留NSEvent.removeMonitor类代码服务于设备级输入监听。这与只删屏幕相关、保留 voice/dictation/hotkeys 所需无障碍能力的边界完全一致。验证cargo test --manifest-path app/src-tauri/Cargo.toml companion:: GGML_NATIVEOFF cargo test --lib accessibility:: pnpm debug unit src/components/settings/panels/__tests__/CompanionPanel.test.tsx src/store/companionSlice.test.ts提交信息refactor(companion): remove screen context and pointing。步骤 6清理前端 UI、路由、核心状态与 RPC 包装前端层删除量最大整目录删除app/src/features/screen-intelligence/、components/intelligence/ScreenIntelligenceDebugPanel.tsx、settings 下的ScreenIntelligencePanel.tsx/ScreenAwarenessDebugPanel.tsx/screen-intelligence/、components/skills/ScreenIntelligenceSetupModal.tsx、utils/tauriCommands/accessibility.ts移除Skills.tsx、WorkflowsTab.tsx、skillIcons.tsx、mockDefaultSkillStatusHooks.ts中的卡片/模态状态/页签解析/技能图标从 settings 的settingsRouteElements.tsx、settingsRouteRegistry.ts、useSettingsNavigation.ts、settingsNavIcons.tsx、DeveloperOptionsPanel.tsx摘除屏幕感知路由/导航/开发者行且不添加重定向——旧 hash如/settings/screen-intelligence必须走现有 settings-router 的普通 fallback从coreStateApi.ts、lib/coreState/store.ts、CoreStateProvider.tsx移除screenIntelligence快照字段从rpcMethods.ts移除屏幕方法/别名/accessibility 前缀重映射/schema-source 依赖从aboutApp.ts移除screen_intelligence能力类别从全部 14 个语言文件app/src/lib/i18n/{ar,bn,de,en,es,fr,hi,id,it,ko,pl,pt,ru,zh-CN}.ts删除屏幕感知 i18n 键、companion 屏幕行与 pointing 标签。测试上把 settings E2E 改为断言/settings/screen-intelligence、/settings/screen-awareness-debug不再渲染面板并走 fallback然后删除app/test/{e2e,playwright}/specs/screen-intelligence.spec.ts修订settings-feature-preferences.spec.ts与mcp-tab-flow.spec.ts夹具并从app/scripts/e2e-run-all-flows.sh的套件清单中移除已删除的 WDIO spec。前端检查命令为pnpm debug unit app/src/services/__tests__/rpcMethods.test.ts app/src/lib/coreState/__tests__/store.test.ts app/src/providers/__tests__/CoreStateProvider.test.tsx pnpm i18n:check pnpm i18n:english:check pnpm typecheck pnpm lint pnpm format:check提交信息refactor(app): remove screen awareness UI。步骤 7清理入库 schema、产品文档与测试清单从入库的app/schema.json移除config_update_screen_intelligence_settings与所有screen_intelligence_*方法使其与步骤 1 移除的注册表一致删除gitbooks/features/screen-intelligence.md修订gitbooks/features/native-tools/{README.md,browser-and-computer.md,image-tools.md}中的屏幕/浏览器采集宣传保留用户图片分析与 DOM 快照文档清理docs/TEST-COVERAGE-MATRIX.md的屏幕采集行、docs/library-minimal-recipe.md过期桌面自动化措辞、docs/RELEASE-MANUAL-SMOKE.md/docs/tinyagents-inference-migration-plan.md与gitbooks/developing/architecture/tauri-shell.md的相关宣称、AGENTS.md的模块清单把app/test/e2e/specs/tool-browser-flow.spec.ts改为文档化并测试snapshot不改动明确豁免的测试/App Store 截图产物文件app/test/e2e/helpers/artifacts.ts、app/test/e2e/specs/tauri-commands.spec.ts、scripts/ios-appstore-assets.mjs、scripts/ios-appstore-metadata.mjs。pnpm test:inventory # 若清单生成器改动已跟踪输出把生成结果纳入本提交 pnpm docs:generate pnpm docs:check pnpm debug e2e test/e2e/specs/tool-browser-flow.spec.ts # 桌面测试前置齐备时执行否则记录为 CI 验证 git diff --check提交信息docs: remove screen capture documentation。步骤 8全产品最终审计所有提交完成后执行一次面向整个产品的残留审计。计划原文给出两条rg命令第一条在所有可能藏着 shipped 表面的路径src app/src、app/src-tauri/src、app/src-tauri/permissions、docs gitbooks scripts tests app/schema.json上搜索关键标识符并显式排除已批准的设计文档与豁免的测试/商店截图文件rg -n -i screen_intelligence|screen-awareness|screen awareness|screen_awareness_agent|screen_share_|getDisplayMedia|screen_capture \ src app/src app/src-tauri/src app/src-tauri/permissions docs gitbooks scripts tests app/schema.json \ --glob !docs/specs/2026-07-24-remove-screen-awareness-design.md \ --glob !app/test/e2e/helpers/artifacts.ts \ --glob !app/test/e2e/specs/tauri-commands.spec.ts \ --glob !scripts/ios-appstore-assets.mjs \ --glob !scripts/ios-appstore-metadata.mjs rg -n DESKTOP_(AUDIO|VIDEO)_CAPTURE \ app/src-tauri/vendor/tauri-cef/crates/tauri-runtime-cef/src/permissions.rs \ app/src-tauri/vendor/tauri-cef/crates/tauri-runtime-cef/src/cef_impl.rs判定标准第一条命令不得有任何 shipped 产品匹配第二条只允许在拒绝/过滤测试或诊断格式化中引用 CEF 常量绝不允许出现在ALLOWED_MEDIA_MASK或任何放行路径中。对幸存词如 screenshot需人工确认仅指用户提供的图片或明确豁免的测试/App Store 产物。审计发现的任何残留归入其各自所属更早的原子提交边界单独修不重写已验证历史。最终全量验证cargo fmt --check GGML_NATIVEOFF cargo check --manifest-path Cargo.toml cargo check --manifest-path app/src-tauri/Cargo.toml pnpm typecheck pnpm lint pnpm format:check pnpm i18n:check pnpm i18n:english:check pnpm docs:check pnpm test:inventory四、可复用的工程方法论如何安全地删除一条端到端能力本方案最大的方法论价值在于把一次高风险能力下线拆成了四条可复用的纪律否定式回归测试negative regression删除不等于没有测试。真正稳健的删除是在新代码里保留证明它已不存在的测试——RPC 必须 method-not-found、Agent 目录里查无此 agent、能力类别解析必须报错、旧配置表被静默忽略、CEF 权限掩码不含桌面位。当前仓库中的 loader_tests_part_01_tests.rs、catalog_tests.rs 与 types_model_pin_tests_tests.rs 正是这类防回归断言的活样本。红绿先行、原子提交先新增期望失败的断言并确认其在旧表面上失败再执行删除使同一提交内测试转绿每层独立atomic-commit8 条提交信息构成清晰的变更史方便逐层 review 与 bisect。按依赖序分水岭清理先删无下游依赖的核心与配置步骤 1–2再删工具与桌面壳步骤 3–4随后净化消费方 Companion 与前端步骤 5–6文档/schema/清单最后统一收口步骤 7。每一层都同步更新期望该能力存在的既有断言与覆盖矩阵。搜索驱动的全产品审计依赖编译器与类型检查是不够的因为残留可能以字符串、TOML 表、i18n 键或文档形式存在。以统一的关键标识符集合做仓库级正则审计配豁免清单才能保证shipped surface 零残留。五、兼容性与安全边界的设计取舍计划与设计文档明确记录了几处易被忽略的取舍值得作为实现依据引用故意破坏旧调用方移除的 RPC、CLI、Tauri、浏览器与工具接口的调用方会因此断裂这是有意为之——保留可调用的 tombstone/弃用桩会留下误导性表面超出本次目标。不做 TOML 迁移借助 serde 对未知字段的默认容忍旧配置残留的[screen_intelligence]表在反序列化后不产生活字段天然安全当前测试已固化该行为。不加路由重定向前端旧 hash 走 settings-router 普通 fallback 即可避免出现假删除、真跳转的误导路径。CEF 在权限边界拒绝而非藏 UI即使 Provider WebView 里没有任何选择器仍从ALLOWED_MEDIA_MASK层硬性过滤桌面采集位杜绝绕过。六、仓库现状核对删除是否真正落地从当前仓库结构观察该方案已实质落地且后续还发生了目录整合例如无障碍模块由src/openhuman/accessibility/迁移至 src/openhuman/desktop/accessibility、部分单测文件切分为*_tests.rs分片可交叉验证的迹象包括src/openhuman/screen_intelligence/、src/openhuman/agent/registry/agents/screen_awareness_agent/、app/src-tauri/src/screen_capture/、app/src/features/screen-intelligence/等目录均不复存在浏览器动作枚举 types.rs 已无Screenshot变体snapshot作为结构化文本检查被保留多个否定式回归测试存活于 loader_tests_part_01_tests.rsscreen_awareness_agent must not remain a discoverable built-in、catalog_tests.rsscreen_intelligence_is_not_a_catalog_category_or_capability、types_model_pin_tests_tests.rsconfig_ignores_legacy_screen_intelligence_table内存安全测试中screen_intelligence_vision-*.json字样仅作为历史遗留数据存在app/src-tauri侧未再检出screen_share_/getDisplayMedia/ScreenShareState等 shipped 命令gateway/types.rs 中的DESKTOP_ID desktop仅指平台类型与本能力无关前端 feature 目录与 settings 面板中已无 screen-intelligence 相关实现gitbooks/features/下也不再存在screen-intelligence.md。若需要在实施后自查类似重构的完成度最直接的方式就是把步骤 8 的两条rg审计命令作为 CI 或 pre-merge 门禁长期保留——只要有任何符号以shipped 表面的身份回归搜索即失败从而让已删除的能力在代码层面被永久证明为不可逆。【免费下载链接】openhumanOpenHuman is an open source personal AI for Mac, Windows and Linux — local-first memory, agent orchestration, and deep research.项目地址: https://gitcode.com/GitHub_Trending/op/openhuman创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考