此前,企業進行 A/B 測試時每個試驗指標都需要單獨配置,在業務發展初期還可以接受,但當你的公司有 5 個業務部門、每個部門有 50 個試驗、每個試驗需要配置 10 個指標時,該怎么辦?
在神策數據 A/B 測試產品服務客戶的過程中,我們收到了不少基于試驗高質量增長的反饋,但與此同時,也進一步收集到了客戶對 A/B 測試產品的更多需求,比如多產品線的指標配置口徑統一、更細顆粒度的試驗直觀分析報告等。
針對此,神策數據 A/B 測試產品團隊秉承著“給客戶帶來價值”的理念,深入客戶痛點,完成指標管理與試驗報告兩大模塊的重磅升級,明確了試驗指標的類型、配置方式和計算原理并可以統一調用,顯著提升試驗配置效率;另一方面,新版試驗報告拆分化,無論你是企業的什么角色,在使用 A/B 測試的時候,都可以快速獲取更豐富、方便閱讀的報告內容,以及多角度、細顆粒度的試驗洞察和報告產出,全面提升產品體驗。
關注神策數據公眾號,了解更多 A/B 測試功能與實踐。
接下來將詳細介紹。
一、試驗指標管理升級,把指標配置時間從「分鐘」縮短到「秒」
為了幫助企業更好地進行試驗指標管理,神策數據 A/B 測試在此次升級后,進一步完善了指標的類型、配置方式、計算原理,分析師等同學可以明確計算邏輯,最大可能減少歧義和與技術同學溝通的成本,輕松實現公司內部信息的有效統一。
比如,對于通用指標 DAU 來說,部分客戶的公司內部有統一的口徑,不同的業務部門做試驗的時候如果跟著試驗單獨配置,容易造成 DAU 口徑差異,帶來指標口徑和計算方案核對的額外成本。而通過試驗指標管理功能,企業可以通過統一創建 DAU 指標,對齊后續所有試驗涉及 DAU 指標的計算口徑。
通過神策數據 A/B 測試的指標管理功能完成統一配置后,相較于過去每個試驗都需要進行指標配置的情況,針對相關性較強的試驗,企業可以告別費時費力的重復配置,有效減少操作量。過去需要數十分鐘的配置工作,現在只需一鍵調用即可快速完成。
值得關注的是,神策數據 A/B 測試在此次升級后也將為客戶提供常見業務指標的觀測能力,幫助客戶更全面地評估試驗效果。
二、試驗報告升級,不只有統計學指標,業務數據也一目了然
企業可以通過試驗報告綜合了解試驗情況、同步了解業務狀況、對試驗進行小時/分鐘粒度的監測、自定義主題分析等。通過此次升級,神策數據 A/B 測試將試驗報告拆分化,同時豐富了每個細分部分的內容,全面提升報告的整體可讀性和易用性。
具體表現在:
第一,綜合了解試驗情況。觀測試驗運行至今的進組情況、重要指標的數據表現、指標的統計檢驗結果。也就是說,相較于之前的試驗報告,試驗負責人可以通過新的報告總覽直觀了解進組人數、重要指標的表現,并統計檢驗指標結果。
第二,同步了解業務狀況。除了關注試驗本身的數據,同時觀測常用業務數據在試驗期間的變化情況。
第三,實時監測。對于實時性較強的試驗,如活動落地頁試驗等需要進行短期高頻觀測的場景,可以進行小時/分鐘粒度的監測。
第四,自定義主題分析。通過自選指標和觀測時間范圍,進行主題式分析邏輯的構建,輔助產出報告或分享試驗洞察。
第五,發布報告增加指標選擇?？汕袚Q指標查看發布策略情況。
升級后的試驗報告不再只有單純的統計數據結果,對于關注業務類指標的產品運營同學,可直接查看試驗的業務報告;對于技術同學來說,參考檢驗類指標相對更嚴謹;對于試驗負責人,只需查看報告的試驗總覽,即可獲得進組人數、重要指標的表現,以及檢驗指標結果。
通過指標的統一管理,報告可讀性和透明性提升,打消客戶 A/B 測試使用成本的顧慮,可以讓客戶更加聚焦業務本身,而不是反復的配置和需求溝通上。
除此之外,神策數據 A/B 測試在此次更新過程中,還進一步明確了試驗進組事件,減少對指標計算邏輯的誤解;同時,樣本量計算器適配最新的指標管理邏輯,支持多個檢驗指標切換去預估樣本量,自動配置計算模板。
關注神策數據公眾號,了解更多 A/B 測試功能與實踐。
