A/B測試產品可以說是企業科學決策的基礎“設施”，能夠幫助企業快速迭代產品。

(資料圖片)

在字節跳動，每一個產品功能上線前，都會先在火山引擎A/B測試產品DataTester上進行小流量驗證，結合業務邏輯對結果的分析理解策略生效過程，而后再對方案進行修正、嘗試創新，推動整個產品和業務的持續迭代。

抖音上，早期有一個功能“彈幕”功能設想，目的是強化熟人社交的互動性，產品團隊希望圍繞熟人社交進行功能拓展，以激勵用戶多看視頻、多發作品。

產品團隊借鑒長視頻的彈幕功能提出了一個想法——在抖音短視頻中增加彈幕互動的功能，當用戶觀看熟人（好友）的短視頻作品時，該視頻的相關評論通過彈幕的形式展示，讓用戶有更多的互動機會并感受互動的快樂。

這個功能設計初衷是很好的，但它對于產品所帶來的影響是正向還是負向，需要通過A/B實驗進行評估驗證。DataTester就幫助團隊快速試錯，避免了不合適的功能上線后為產品帶來的負向影響。

如圖所示，該團隊在DataTester中設計了這樣一個實驗：

● 圖一是對照組，產品界面維持抖音原樣，沒有彈幕功能。

● 圖二是實驗組1，由于彈幕功能對抖音而言是大型改動，會直接影響產品主界面布局，所以產品團隊在實驗組1中做了一個激進的嘗試，他們將視頻的文字描述區域全部去掉，替換為彈幕互動功能；與此同時，為了界面的美觀簡潔，將抖音右側原本的互動區收入了“更多”的按鈕中。

● 圖三是實驗組2，為了減少產品改動過大對用戶帶來的不確定影響，這個版本的產品設計保留了產品原有的互動等其他功能。

從DataTester的實驗結果數據看，兩個實驗組的互動率確實有著顯著提升，達到了功能設計時“提升互動率”的初衷。但觀察新方案對抖音大盤核心指標影響時發現，這個功能對抖音整體視頻的瀏覽量、用戶投稿率、用戶整體留存率均有負向影響，上述指標均出現了不同程度的下降。A/B實驗清晰地表明，這個功能雖然能提升抖音的互動率，但卻不利于用戶的整體使用與留存。因此這個看上去很好的改動并未在抖音全量上線。

之后，抖音圍繞彈幕類的產品優化探索并未停止，通過更多次的假設與A/B實驗驗證，這個功能后來加入了抖音的個人頁位置中。當它被放在了恰當的位置，也能為產品的指標帶來正向的提升。從這個案例中也可以看到，DataTester起到了幫助業務實現科學決策的能力，業務能夠大膽創新的同時，也能科學驗證每次創新是否真正有效。

像這樣的A/B實驗，在字節跳動已經開啟了150多萬次，每天都有2000多個新的實驗上線，在DataTester上同時運行的實驗有3萬多個。

作為字節跳動內部使用多年的 A/B 測試平臺，DataTester有支持多種復雜A/B實驗的能力和科學的分流能力。它能夠深度耦合推薦、廣告、搜索、UI、產品功能等多種業務場景需求，為業務增長、轉化、產品迭代，策略優化，運營提效等各個環節提供科學的決策依據。目前，火山引擎DataTester已經對外服務了美的、得到、凱叔講故事等在內的上百家標桿客戶，將成熟的 " 數據驅動增長 " 經驗賦能給各行業。（作者：呂紫）

關鍵詞：