Zhanbo Growth Lab

A/B 实验与增长测量体系

Fri, 05 Jun 2026 00:00:00 +0800

A/B 实验与增长测量体系

A/B 实验不是一个按钮，也不是一个报表，而是一套让产品、算法、运营和增长团队能持续学习的测量系统。

我提供实验平台与增长测量体系的诊断、设计和实施陪跑，尤其关注 AI / Agent 决策是否具备可信反馈闭环。

六维诊断框架

模块	诊断对象	核心问题
流量管理与分流能力	分层、分桶、互斥、正交	是否支撑实验规模和复杂度
实验管理与流程规范	创建、审核、发布、回滚、归档	是否有完整生命周期管理
统计分析引擎能力	p-value、置信区间、CUPED、序贯检验	结论是否科学可信
指标体系健康度	北极星指标、护栏指标、长期指标	是否避免短期指标误导
工程架构与稳定性	SDK、配置、日志、容灾	是否稳定可靠
实验文化与组织效能	假设质量、复盘机制、决策习惯	是否真正用实验学习

Agent-ready Measurement

当团队开始用 AI / Agent 做投放建议、预算调整、素材推荐时，实验体系要新增一个问题：反馈信号是否足够正确、及时、稳定，能让 Agent 越学越好，而不是越优化越偏。

典型交付物

《实验平台成熟度诊断报告》
《流量分层与分桶模型建议》
《实验流程与治理方案》
《统计分析引擎能力清单》
《指标体系与护栏指标设计》
《Agent-ready Measurement 检查清单》
《实验平台 30/60/90 天改进路线图》

UA 买量增长数据诊断

Fri, 05 Jun 2026 00:00:00 +0800

UA 买量增长数据诊断

UA Growth Data Diagnostic 帮助出海游戏 Studio 建立一套可验证、可复跑、可落地的买量增长诊断体系，把「去后台看数」升级为「数据可信度 + 买量效率 + 归因链路 + 决策系统」的系统诊断。

适合团队

成长期出海游戏 Studio：数据散、ROI 不稳、扩量困难
中小型休闲游戏发行团队：优化师依赖后台和经验，缺统一看板
已有自研 BI 的成熟团队：老板、UA、BI 对 ROI 口径争议大
准备规模化买量的新项目：需要确认 SDK、事件、归因和看板基础是否可靠

要回答的四个问题

数据准不准：媒体后台、MMP、SDK、BI 之间的 spend、install、revenue、ROI 是否一致？
钱花得好不好：预算是否流向高质量 campaign、GEO、素材和媒体？
归因链路有没有坑：AppsFlyer / SKAN / SDK / S2S / ad revenue 回传是否导致 ROI 失真？
团队能否持续决策：是否有日常盯盘、异常告警、action tracking 和复盘机制？

诊断范围

广告平台与媒体后台：账户、Campaign、Ad Set、Creative、Spend、Action History
归因平台 / MMP：Attribution、Cost、Cohort、SKAN、Raw Data、Data API
游戏 SDK 与事件：SDK 初始化、Event Taxonomy、Revenue、S2S、Ad Mediation
自有数据聚合与 BI：数据源、ETL、维度、指标合同、看板和治理

标准流程

Discovery / 业务访谈：确认业务目标、投放规模、数据现状、组织结构和痛点排序。
Read-only 数据授权与诊断快照：建立一次可复跑的数据快照，避免截图和人工导出造成偏差。
UA Diagnostic Data Room：用本地 SQLite / DuckDB 建立诊断数据房间。
四大诊断分析：Data Trust、UA Efficiency、Attribution & Event Chain、Decision System。
报告与路线图：输出评分、问题清单、Quick Win 和 30/60/90 天路线图。

典型交付物

《诊断范围确认表》
《数据授权与安全边界清单》
《数据可信度评分》
《买量效率评分与浪费 / 机会清单》
《归因缺口表与事件链路图》
《决策系统改进建议》
《30/60/90 天增长系统路线图》

案例：A/B 实验平台与实验文化建设

Fri, 05 Jun 2026 00:00:00 +0800

案例：A/B 实验平台与实验文化建设

背景

我在内容、电商、游戏等场景中参与过实验体系建设和方法论推广。实验平台的挑战通常不是单个功能，而是技术、统计、流程和组织文化同时成立。

常见问题：

有配置中心，但没有完整实验生命周期
有 p-value，但业务不知道如何解释实验结论
有大量实验，但流量互斥、正交、分层不清晰
有短期指标提升，但长期留存、变现、用户体验被忽视
实验结果没有沉淀，团队重复踩坑

解决框架

流量管理：Hash 分流、正交分层、互斥实验、联合实验、条件分流
实验管理：假设、目标指标、护栏指标、审核、发布、灰度、回滚、归档
统计分析：Welch’s t-test、Z-test、Delta Method、CUPED、MDE、多重比较校正
指标体系：北极星指标、核心指标、护栏指标、长期指标

组织推广

实验平台要真正有效，必须让产品、算法、运营和管理层对「什么是可信结论」形成共同语言。

案例：策略产能，投放团队的第二增长曲线

Fri, 05 Jun 2026 00:00:00 +0800

案例：策略产能，投放团队的第二增长曲线

什么是策略产能

策略产能 = 投放团队把数据、经验和判断转化为有效增长动作的能力。

它不等于操作时长，也不等于 campaign 数量，而是团队能否持续回答：

哪些 campaign 应该扩量？
哪些 GEO 被低估？
哪些素材正在疲劳？
哪些出价和预算动作有效？
哪些经验可以沉淀为规则和模板？

诊断指标

指标	含义
人效消耗	月总消耗 / 优化师人数
策略时间占比	策略判断时间 / 工作时间
新人上手周期	新优化师多久能独立管盘
动作复盘率	调价、暂停、扩量、换素材后是否追踪效果
策略复用率	是否有可复用的规则、模板和 playbook

提升路径

减操作：批量创编、模板化 campaign、自动导数、命名规范。
推信号：ROI 红绿看板、异常预警、素材疲劳检测、机会清单。
沉策略：策略模板库、动作审计日志、Action Tracking、规则引擎与 Agent 建议草案。

案例：出海游戏 UA 增长数据诊断

Fri, 05 Jun 2026 00:00:00 +0800

案例：出海游戏 UA 增长数据诊断

背景

出海游戏团队在规模化买量后，常见问题不是「没有数据」，而是数据太多、口径太散、系统之间互相解释不清。

媒体后台、MMP、BI 的 spend、install、revenue、ROI 对不上
Campaign 命名和层级变化导致 cohort 历史不可比
iOS SKAN、user-level 归因和广告变现收入混在一起解释
优化师每天看多个后台，但动作缺少效果追踪

核心判断

买量诊断不能只看 ROI 报表，要同时检查广告平台、MMP 归因、游戏事件和 BI 决策四条链路。

方案

建立一次本地诊断数据房间，围绕四个评分输出：

Data Trust Score：数据可信度
UA Efficiency Score：买量效率
Attribution & Event Chain Gap：归因和事件链路缺口
Decision System Maturity：决策系统成熟度

可复用方法

先做 read-only 诊断，不直接改后台
原始数据、本地脚本、指标口径和图表全部可复跑
区分管理层看板、UA Lead 看板和优化师工作台
每个投放动作必须形成 action tracking：动作前、动作后、预期、结果

案例：发行/投放平台从 L1 到 L4

Fri, 05 Jun 2026 00:00:00 +0800

案例：发行/投放平台从 L1 到 L4

背景

成熟出海发行团队的增长系统通常不是从零开始，而是在大量工具、报表、后台和手工流程之上继续增长。

典型现状：

优化师在媒体后台、MMP、BI、变现平台之间来回切换
素材、campaign、GEO、媒体、包体之间缺少统一模型
老 BI 报表很多，但缺少统一指标合同和业务解释
对账、充值、授信、权限、API token 等后台能力被低估
业务希望 AI Agent 自动优化，但底层数据和动作记录还不完整

能力分层

层级	状态	核心能力
L1	信息可见	统一看数、基础 ROI、素材效果、账户余额
L2	数据整合	媒体 API、MMP 入仓、cost / revenue 对齐、SKAN 处理
L3	效率工具	批量创编、素材挂载、跨媒体操作、账户财务对账
L4	策略辅助	红绿看板、异常预警、素材疲劳、投放健康度
L5	策略自动化	规则引擎、自动执行、跨媒体预算协同、Agent 闭环

经验总结

平台不是功能堆叠，而是决策链路设计
先解决数据可信，再谈 AI 自动化
对业务方要用 Quick Win 换长期能力建设空间
对管理层要用 ROI、人效、风险降低讲平台价值

发行/投放平台建设咨询

Fri, 05 Jun 2026 00:00:00 +0800

发行/投放平台建设咨询

面向出海游戏发行团队，帮助从「多后台人工看数 + 手工操作」升级为「统一数据底座 + 策略辅助 + AI Agent」的智能发行体系。

背景问题

优化师每天切换 5–8 个平台后台，数据割裂，看数效率低
老 BI 累计大量零散报表，没有统一模型，数据准确性和时效性堪忧
素材管理依赖人工上传、打标、测试，设计与投放协作成本高
KOL、达人、合同、付款和效果数据割裂
账户充值、授信、对账全靠人工，财务与投放口径难统一

能力分层

能力层	核心功能	业务价值
L1 数据基建	统一数仓、ROI360 看板、素材效果、营销效果	数据打通，看数效率提升
L2 智能辅助	Campaign 红绿看板、异常预警、信号体系	问题发现从天级缩短到小时级或分钟级
L3 操作工具	跨媒体批量创编、素材库、账户财务对账	优化师和设计师人效提升
L4 AI Agent	UA Monitor + Ad Agent 双轮驱动	日常监控、分析、建议自动化

四大建设抓手

出价与预算：长期 LTV 目标反推出价、跨媒体边际 ROI 均衡、预算 pacing。
点位与回传信号：自定义事件管道、事件质量评分、MMP postback + 自研回传。
人群与一方数据：高价值用户 seed、设备图谱、RTA 能力规划。
素材与创意智能：统一素材库、素材标签、效果归因、疲劳检测、批量创编。

典型交付

平台蓝图：业务问题拆解、角色工作流、L1–L5 能力分层、MVP 范围
产品与数据方案：ROI360、Campaign 健康度、素材效果、账户财务看板设计
实施路线图：Phase 1 数据底座、Phase 2 效率工具、Phase 3 策略引擎与 AI Agent

企业级 AI 应用落地：从 FOMO 到真正的业务增长

Thu, 14 May 2026 15:10:00 +0800

AI 带来的个人效能提升有目共睹，但企业级落地却面临集体 FOMO。本文从红杉资本、OpenAI、神策数据等行业先锋的视角，解读企业 AI 应用的真正路径。

关于我

Thu, 07 May 2026 00:00:00 +0800

关于展博

你好，我是何赞，常用名字展博。我的当前定位是 Data & AI 独立咨询顾问，专注于出海游戏增长、数据产品、买量平台、A/B 实验和 AI Agent 增长系统。

Zhanbo Growth Lab 是我的个人增长实验室：一方面沉淀我在数据产品和增长平台上的方法论，另一方面为出海游戏 Studio 和增长团队提供咨询服务。

我擅长什么

数据产品与增长平台

我长期关注从数据采集、数据处理到数据应用的完整闭环，尤其擅长把复杂业务问题拆成可落地的数据产品、平台模块和指标体系。

典型场景包括：

UA 买量 ROI、CPI、ROAS、LTV、留存和广告变现分析
AppsFlyer / MMP 归因链路、SKAN、事件回传和 BI 口径治理
发行/投放平台建设：ROI360、素材管理、批量创编、账户财务、策略引擎
A/B 实验平台：流量分层、实验管理、统计分析、指标体系和实验文化
AI Agent 在增长场景中的落地：UA Monitor、Ad Agent、Agent-ready Measurement

咨询与平台建设

我的工作方式不是只给 PPT，而是把业务问题拆成：

现状诊断：数据是否可信，瓶颈在哪里
系统设计：平台能力如何分层，MVP 做什么，不做什么
路线规划：30/60/90 天如何推进，什么是 Quick Win
组织共识：管理层、UA、BI、研发、产品如何对齐
复用资产：指标口径、诊断清单、模板、脚本、playbook

经历背景

我曾在 IBM、TalkingData、滴滴、快手、Shopee、出海游戏等不同阶段和行业中做过咨询、数据分析、数据产品和算法平台相关工作。

阶段	关键词	经验
IT / 数据咨询	IBM、TalkingData	企业信息化、数据咨询、客户交付
出行与内容	滴滴、快手	数据分析、A/B 实验平台、推荐/搜索/广告相关数据产品
电商与算法平台	Shopee / SEA	电商智能算法平台，多模态算法、标注、机器翻译、CV、AIGC 等场景
出海游戏增长	游戏发行与买量平台	UA 数据、发行平台、归因体系、素材智能、策略自动化、Ad Agent

在快手时期，我也参与过实验方法论的内部推广，曾作为内部培训师输出实验平台和数据产品相关内容。