A/B測驗是在相同的環境下，通過隨機的抽樣把對照組和操控組進行區分，並分別實行新舊兩種戰略，結合必定的計算辦法來操控隨機抽樣中帶來的隨機誤差，得出兩種戰略的比照狀況，然後能夠準確的對新戰略效果進行評估。它具有小流量、低風險、抗幹擾的特點。現在，A/B測驗能夠通過一些試驗渠道來進行大規模使用，通過計算戰略的評估辦法進行因果推斷的新標準。
在字節跳動，A/B測驗也是事務決策的基礎功用，任何產品上線前都需求做小流量的驗證，終究完成事務的增長。小到一條站外推送的消息，大到整個技術底層架構的優化修正，都會做A/B測驗。在字節，A/B測驗被使用最廣泛的是內容推薦、營銷活動、運營戰略、產品功用以及技術優化這幾個方面。「萬物皆可A/B」是字節的理念，甚至是抖音和西瓜視頻這兩個產品的取名，都和A/B測驗密切相關。
字節跳動的A/B測驗渠道叫做火山引擎DataTester，這個渠道在字節內部現已服務了 500 +多條事務線，在線上開的試驗總量超過了 150 萬個，一起線上運轉的試驗數有3萬多個，並且這些數字仍在持續上漲中。 |
