webwxgetmsgimg_副本.jpg
字節跳動首次揭秘A/B測試:做了70多萬場實驗
2021-04-20 23:23:00  來源:揚子晚報網  
1
聽新聞

支持抖音、今日頭條等增長迭代的A/B測試工具,如今被字節跳動投入企業級市場。

在4月20日召開的火山引擎技術開放日活動中,字節跳動副總裁、算法和數據技術負責人楊震原首次揭秘了字節跳動如何使用A/B測試。火山引擎是字節跳動旗下為企業服務的智能科技品牌,字節跳動的A/B測試工具也已通過火山引擎開放給企業客戶。

A/B測試是指對不同策略進行對比實驗,根據結果選擇最優方案。A/B測試不是互聯網公司發明的,而是最早應用在醫學領域。十八世紀,一位英國醫生把患有壞血病的水手隨機分成六組,用不同方法進行治療,從而確定了檸檬和橘子能有效治療壞血病,這是人類有記載最早的A/B測試。在互聯網時代,A/B測試被互聯網巨頭廣泛使用在產品開發和運營中,有研究者也把A/B測試視為字節跳動快速增長的重要因素。

最新數據顯示,字節跳動每天同時進行的A/B測試達到上萬場,單日新增實驗數量超過1500個,覆蓋400多個大大小小的業務。隨著公司發展,這些數字還在不斷擴大。截至今年3月底,字節跳動累計已經做了70多萬次A/B測試。

圖:字節跳動副總裁楊震原

楊震原表示,字節跳動積累的技術能力和增長方法,會通過火山引擎提供給企業客戶。火山引擎產品體係包括基礎服務、技術中台、智能應用和行業解決方案,字節跳動的視頻編輯、特效、文字識別、圖像識別、個性化推薦等技術能力,都已在火山引擎上為企業服務,A/B測試也是其中一款重要的數據產品。

據相關產品負責人介紹,火山引擎A/B測試支持客戶端、服務端、推送、網頁、可視化建站等多種實驗形式,操作非常簡單,即使不會編程的人也能輕鬆做實驗。以悟空租車為例,該公司已通過火山引擎進行了70多次A/B測試,約有60%為正向實驗,提升產品轉換率約40%,以往需要一周時間的需求複盤數據分析,現在隻要一天就能得到數據結論。

不過,楊震原表示A/B測試並不是萬能的,它也有很多局限性,比如提高商品推薦門檻、不推薦評分低的商品,如果做A/B測試,短期內交易量肯定會降低,但長期來看結論有可能逐漸反轉,這是長周期影響和目標設定的問題。此外,獨立的實驗條件、統計置信度等問題都是做A/B測試需要考慮的。

標簽:
責編:袁中江 易保山
下一篇