近日，CCF TF舉辦了第123期分享活動，本期主題為“用戶體驗工程”。 CCF TF是中國計算機學會為企業界計算機專業人士創建的企業間常態化合作交流平臺，本期分享邀請到了來自火山引擎、牛游谷公司等在用戶體驗工程領域有著良好實踐的專家，共同探討在數智化時代，面對復雜用戶場景和超高體驗要求，如何通過有效的體驗測量和管理、利用A/B測試技術，在新趨勢下持續追求卓越并提升產品競爭力。
在活動中，來自火山引擎AB測試平臺的專家結合字節跳動的AB實驗經驗，進行了《數據驅動的實驗文化》為主題的現場分享。AB測試是用戶體驗優化過程中必不可少的一環，也被稱為效果衡量的“金標準”，字節跳動具有數據驅動的實驗文化，在這樣的土壤中，AB測試也成為了字節跳動優化用戶體驗的利器。
在企業中，能讓AB實驗發揮最大效用的企業實驗文化搭建，可以從組織、方法論與工具應用三個維度關注。在企業組織層面，需建立完善AB實驗的流程機制，字節的AB實驗與產品的設計研發緊密嵌合，每個小決策都會得到實驗驗證才推全上線。與此同時，組織機制的配套同樣重要，通過搭建AB測試接口團隊，運行好從實驗設計到開發、上線、完成決策的整個鏈路。火山引擎DataTester這樣的“工具+咨詢服務”雙軌機制，在字節內部應用的同時，也正在面向外部企業提供服務。
在方法論層面，一個AB實驗文化能良性運轉的企業，是將增長思路與AB實驗理念相結合的企業，將業務目標轉化為核心衡量指標，并通過AB實驗的設計、運行、迭代，不斷選取最優策略逼近業務目標;企業也應通過搭建指標體系、設立優化目標、管理實驗效果以及積累決策經驗四步，輔助實現科學評估效果。
在工具層面，一個可靠靈活的AB實驗平臺可以為企業節約很多人力成本與時間成本。在字節跳動，“萬物皆可AB測試”，而火山引擎DataTester在經歷了字節多年業務打磨后，也具備了易學易用、快速安全、可處理復雜場景實驗需求的能力。2023年中數據顯示，字節已通過DataTester累計做過240萬余次AB實驗，日新增實驗 4000余個，同時運行實驗5萬余個。
對于用戶體驗優化而言，體驗度量的難點包含評價主觀性和用戶多樣性等，AB測試能幫助業務團隊提供更為科學的數據參考，通過客觀的數據對比來反饋產品體驗的好壞，但同時需要數據實驗文化理念與先進工具的良好結合。
在成熟的實驗文化與AB實驗工具支撐下，字節跳動踐行出了一條行之有效的產品用戶體驗提升之路，而企業可以參考上述經驗，通過自建或引入AB測試“工具+咨詢服務”雙軌機制的方式，從組織、方法論與工具應用三個維度入手，搭建屬于企業自己的數據驅動的實驗文化，用實驗科學決策，用數據驅動增長。(作者：胡智城)
