实验
A/B 测试引擎更偏好什么
运行受控实验，了解引擎更偏爱哪类内容。
在提问层面测试变体，让显著性替你决定胜者。
A/B
实验框架
outcomes · what you walk away with
- 弄清引擎真正偏好什么
- 只全量上线那些显著性胜出的变体
- 用受控实验替代拍脑袋
提问级测试
实验运行在客户实际使用的提示上，结果反映真实行为。
对照 vs. 变体
保持一个版本不变、测试另一个，隔离单次改动的效果。
显著性而非感觉
只有当差值越过你设定的置信阈值，才宣布胜者。
实验如何运作
提出假设、上线变体，让引擎告诉你谁胜出。
- 01
设计测试
选定要移动的提示与论断，定义变体。
- 02
对照 vs. 变体
在各引擎上查询两个版本，收集回答。
- 03
读取胜者
以显著性提升该论断的变体，被自动建议全量上线。