ab-testing - test-templates

A/B 测试模板参考用于规划、记录和分析实验的模板。目录测试计划模板结果记录模板测试仓库条目模板快速测试简报模板利益相关者更新模板实验排序评分卡假设库模板测试计划模板# A/B 测试[名称] ## 概述 - **负责人**[姓名] - **测试 ID**[测试工具中的 ID] - **页面/功能**[正在测试的内容] - **计划日期**[开始] - [结束] ## 假设 因为[观察/数据] 我们相信[变更] 将为[受众] 带来[预期结果]。 当[指标]时我们就知道这是真的。 ## 测试设计 | 元素 | 详情 | |------|------| | 测试类型 | A/B / A/B/n / MVT | | 持续时间 | X 周 | | 样本量 | 每变体 X | | 流量分配 | 50/50 | | 工具 | [工具名称] | | 实施方式 | 客户端 / 服务端 | ## 变体 ### 对照组A [截图] - 当前体验 - [当前状态的关键细节] ### 变体B [截图或模型] - [具体变更 #1] - [具体变更 #2] - 理由[为什么我们认为这能获胜] ## 指标 ### 主要指标 - **指标**[指标名称] - **定义**[如何计算] - **当前基准**[X%] - **最小可检测效应**[X%] ### 次要指标 - [指标 1][它告诉我们什么] - [指标 2][它告诉我们什么] - [指标 3][它告诉我们什么] ### 护栏指标 - [不应变差的指标] - [另一个安全指标] ## 分片分析计划 - 移动端 vs 桌面端 - 新访客 vs 回访客 - 流量来源 - [其他相关分片] ## 成功标准 - 获胜[主要指标在 95% 置信度下提升 X%] - 失败[主要指标显著下降] - 无结论[如果没有显著结果我们将做什么] ## 启动前检查清单 - [ ] 假设已记录和审查 - [ ] 主要指标已定义且可追踪 - [ ] 样本量已计算 - [ ] 测试持续时间已估算 - [ ] 变体已正确实施 - [ ] 所有变体的追踪已验证 - [ ] 所有变体已完成 QA - [ ] 利益相关者已通知 - [ ] 分析日期已预约结果记录模板# A/B 测试结果[名称] ## 摘要 | 元素 | 值 | |------|------| | 测试 ID | [ID] | | 日期 | [开始] - [结束] | | 持续时间 | X 天 | | 结果 | 获胜 / 失败 / 无结论 | | 决策 | [我们要做什么] | ## 假设提醒 [从测试计划复制] ## 结果 ### 样本量 | 变体 | 目标 | 实际 | 目标百分比 | |------|------|------|-----------| | 对照组 | X | Y | Z% | | 变体 | X | Y | Z% | ### 主要指标[指标名称] | 变体 | 值 | 95% CI | 与对照组对比 | |------|-----|--------|-------------| | 对照组 | X% | [X%, Y%] | — | | 变体 | X% | [X%, Y%] | X% | **统计显著性**p X.XX95% 显著 / 不显著 **实际显著性**[此提升对业务有意义吗] ### 次要指标 | 指标 | 对照组 | 变体 | 变化 | 显著 | |------|--------|------|------|--------| | [指标 1] | X | Y | Z% | 是/否 | | [指标 2] | X | Y | Z% | 是/否 | ### 护栏指标 | 指标 | 对照组 | 变体 | 变化 | 有问题 | |------|--------|------|------|----------| | [指标 1] | X | Y | Z% | 是/否 | ### 分片分析 **移动端 vs 桌面端** | 分片 | 对照组 | 变体 | 提升 | |------|--------|------|------| | 移动端 | X% | Y% | Z% | | 桌面端 | X% | Y% | Z% | **新访客 vs 回访客** | 分片 | 对照组 | 变体 | 提升 | |------|--------|------|------| | 新访客 | X% | Y% | Z% | | 回访客 | X% | Y% | Z% | ## 解读 ### 发生了什么 [用通俗语言解释结果] ### 我们为什么认为这发生了 [分析和推理] ### 注意事项 [任何限制、外部因素或担忧] ## 决策 **获胜者**[对照组 / 变体] **操作**[实施变体 / 保留原方案 / 重新测试] **时间线**[变更实施时间] ## 学习 ### 我们学到了什么 - [关键洞察 1] - [关键洞察 2] ### 下一步测试什么 - [跟进测试想法 1] - [跟进测试想法 2] ### 影响 - **预计提升**[Y 指标改善 X%] - **业务影响**[收入、转化等]测试仓库条目模板用于在中心位置追踪所有测试| 测试 ID | 名称 | 页面 | 日期 | 主要指标 | 结果 | 提升 | 链接 | |---------|------|------|------|----------|------|------|------| | 001 | 标题测试 | 首页 | 1/1-1/15 | 点击率 | 获胜 | 12% | [链接] | | 002 | 定价表布局 | 定价页 | 1/10-1/31 | 套餐选择 | 失败 | -5% | [链接] | | 003 | 注册表单字段 | 注册页 | 2/1-2/14 | 完成率 | 无结论 | 2% | [链接] |快速测试简报模板适用于不需要完整文档的简单测试## [测试名称] **内容**[一句话描述] **原因**[一句话假设] **指标**[主要指标] **持续时间**[X 周] **结果**[待定 / 获胜 / 失败 / 无结论] **学习**[关键要点]利益相关者更新模板## A/B 测试更新[名称] **状态**运行中 / 已完成 **剩余天数**X或已完成 **当前样本**目标的 X% ### 初步观察 [我们看到的——不做决策] ### 下一步 [接下来做什么] ### 时间线 - [日期]分析完成 - [日期]决策和建议 - [日期]实施如果获胜实验排序评分卡用于决定运行哪些测试因素权重测试 A测试 B测试 C潜在影响30%假设信心25%实施难度20%失败风险15%战略一致性10%总分评分1-55 最佳假设库模板用于收集测试想法| ID | 页面/区域 | 观察 | 假设 | 潜在影响 | 状态 | |----|-----------|------|------|----------|------| | H1 | 首页 | 滚动深度低 | 缩短首屏将增加滚动 | 高 | 测试中 | | H2 | 定价页 | 用户比较套餐 | 对比表将帮助决策 | 中 | 积压 | | H3 | 注册页 | 邮箱处流失 | 社交登录将提高完成率 | 中 | 积压 |