實驗
A/B 測試引擎更偏好什麼
運行受控實驗，了解引擎更偏愛哪類內容。
在提問層面測試變體，讓顯著性替你決定勝者。
A/B
實驗框架
outcomes · what you walk away with
- 弄清引擎真正偏好什麼
- 只全量上線那些顯著性勝出的變體
- 用受控實驗替代拍腦袋
提問級測試
實驗運行在客戶實際使用的提示上，結果反映真實行為。
對照 vs. 變體
保持一個版本不變、測試另一個，隔離單次改動的效果。
顯著性而非感覺
只有當差值越過你設定的置信閾值，才宣佈勝者。
實驗如何運作
提出假設、上線變體，讓引擎告訴你誰勝出。
- 01
設計測試
選定要移動的提示與論斷，定義變體。
- 02
對照 vs. 變體
在各引擎上查詢兩個版本，收集回答。
- 03
讀取勝者
以顯著性提升該論斷的變體，被自動建議全量上線。