你想知道的,都在這里!本文是神策數(shù)據(jù)「十問(wèn)十答」科普系列文章的第二期,圍繞 A/B 測(cè)試展開(kāi)。
1
Q:什么是 A/B 測(cè)試?
A:A/B 測(cè)試作為互聯(lián)網(wǎng)企業(yè)的核心增長(zhǎng)手段之一,其價(jià)值已在實(shí)際應(yīng)用中被多次驗(yàn)證。它通過(guò)為用戶線上業(yè)務(wù)旅程制定兩套或多套方案,在保證各套方案對(duì)應(yīng)用戶群的特征相同(相似)的情況下,觀察關(guān)鍵的效果指標(biāo)的差異,并運(yùn)用科學(xué)的統(tǒng)計(jì)學(xué)檢驗(yàn)來(lái)判斷哪個(gè)方案更加有效,從而幫助企業(yè)做出更科學(xué)的決策,驅(qū)動(dòng)精細(xì)化用戶增長(zhǎng)。
2
Q:哪些場(chǎng)景可以使用 A/B 測(cè)試?
A:A/B 測(cè)試通常應(yīng)用在產(chǎn)品正式迭代發(fā)版階段,將 Web 或 App 界面/流程以同一個(gè)目的制定兩個(gè)或多個(gè)方案,在同一時(shí)間維度,將用戶流量對(duì)應(yīng)分成若干組,在保證每組用戶特征相同或相似的前提下,展示給用戶不同的設(shè)計(jì)方案,收集各組用戶的體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù),最后分析評(píng)估出最優(yōu)版本,驅(qū)動(dòng)決策落地。比如:UI、文案層的 A/B 測(cè)試;信息架構(gòu)的 A/B 測(cè)試;流程交互的 A/B 測(cè)試;功能范疇的 A/B 測(cè)試。
3
Q:如何選擇 A/B 測(cè)試平臺(tái)?
A:參照 Google 重疊試驗(yàn)框架——更多、更好、更快地試驗(yàn),并結(jié)合神策 A/B 測(cè)試服務(wù)數(shù)十家客戶的實(shí)踐,我們從不同維度總結(jié)出企業(yè)選擇 A/B 測(cè)試平臺(tái)的標(biāo)準(zhǔn):
功能:支持豐富的試驗(yàn)人群定向和指標(biāo)管理配置,同時(shí)進(jìn)行多個(gè)試驗(yàn)的可擴(kuò)展性、靈活性
性能:A/B 測(cè)試的性能越高,對(duì)實(shí)際業(yè)務(wù)造成的延遲越小,C 端客戶的體驗(yàn)越好
穩(wěn)定:A/B 測(cè)試平臺(tái)要保證足夠高的 SLA,A/B 故障不應(yīng)該影響正常業(yè)務(wù)運(yùn)行
效率:降低試驗(yàn)的實(shí)施和分析成本,通過(guò)標(biāo)準(zhǔn)化的試驗(yàn)指標(biāo)計(jì)算快速發(fā)現(xiàn)、終止不符合預(yù)期的試驗(yàn)
易用:降低試驗(yàn)的實(shí)施門檻,幫助沒(méi)有 A/B 測(cè)試基礎(chǔ)的小白快速上手、避免踩坑
4
Q:A/B 測(cè)試怎么做?
A:神策數(shù)據(jù)結(jié)合數(shù)百場(chǎng) A/B 測(cè)試的服務(wù)及交付經(jīng)驗(yàn),總結(jié)、沉淀出了建立假設(shè)、確定評(píng)價(jià)指標(biāo)、設(shè)計(jì)試驗(yàn)、運(yùn)行試驗(yàn)并獲取數(shù)據(jù)、結(jié)果分析、最終決策六大環(huán)節(jié),幫助企業(yè)順利落地 A/B 測(cè)試,為客戶帶來(lái)價(jià)值。
5
Q:A/B 測(cè)試如何實(shí)現(xiàn)流量復(fù)用?
A:A/B 測(cè)試需要基于一定樣本量才能有效體現(xiàn)結(jié)果,但對(duì)于業(yè)務(wù)流量較小的企業(yè)來(lái)說(shuō),很難確定多個(gè)試驗(yàn)的效果是否會(huì)相互影響,因此無(wú)法同時(shí)上線多個(gè)試驗(yàn)。神策數(shù)據(jù)的 A/B 測(cè)試功能采用正交分流,實(shí)現(xiàn)同一試驗(yàn)層內(nèi)的流量互斥,不同試驗(yàn)層內(nèi)的流量正交,達(dá)到流量復(fù)用的目的。
6
Q:如何降低 A/B 測(cè)試的延遲?
A:公網(wǎng)傳輸耗時(shí)是 App 使用過(guò)程中不可避免的,企業(yè)要想在 A/B 測(cè)試期間降低延遲,根本在于降低分流服務(wù)的處理耗時(shí)和規(guī)避試驗(yàn)請(qǐng)求的公網(wǎng)傳輸耗時(shí)。
7
Q:A/B 測(cè)試如何建立假設(shè)?
A:A/B 測(cè)試最核心的原理是假設(shè)檢驗(yàn)。我們?cè)诮⒓僭O(shè)的過(guò)程中需要注意兩點(diǎn):第一,A/B 測(cè)試屬于因果推斷,所以需要先確定原因和結(jié)果;第二,假設(shè)必須是可衡量的,需要有相應(yīng)的評(píng)價(jià)指標(biāo)來(lái)檢驗(yàn)假設(shè)是否成立。
8
Q:如何通過(guò)置信區(qū)間法評(píng)估 A/B 測(cè)試的試驗(yàn)結(jié)果?
A:置信區(qū)間法是企業(yè)評(píng)估 A/B 測(cè)試結(jié)果顯著性的常用方法。置信區(qū)間是一個(gè)范圍,最常見(jiàn)的是 95% 的置信區(qū)間。也就是說(shuō),對(duì)于一個(gè)隨機(jī)變量,95% 的概率包含總體均值的范圍,就叫做 95% 的置信區(qū)間。也可以簡(jiǎn)單理解為總體數(shù)據(jù)有 95% 的可能性在這個(gè)范圍內(nèi)。
在 A/B 測(cè)試中,我們會(huì)計(jì)算兩組指標(biāo)的差異值,如果計(jì)算得出的差異值置信區(qū)間不含 0,那么就可以拒絕零假設(shè),認(rèn)為兩組結(jié)果差異顯著;反之則接受零假設(shè),認(rèn)為兩組結(jié)果差異不顯著。
9
Q:產(chǎn)品 A/B 測(cè)試怎么做?
A:以游戲產(chǎn)品為例。在游戲產(chǎn)品研發(fā)與運(yùn)營(yíng)過(guò)程中,企業(yè)可以通過(guò) A/B 測(cè)試工具測(cè)試美術(shù)設(shè)計(jì),如按鈕用什么顏色、什么形狀,NPC 用什么造型、技能特效、抽卡表現(xiàn)等;測(cè)試新手引導(dǎo),調(diào)整新手階段的節(jié)奏、難度和特定的關(guān)卡設(shè)計(jì);測(cè)試界面布局,如商城界面布局,包括順序、大小、顏色和邊框等;測(cè)試產(chǎn)品定價(jià),確定哪些定價(jià)的硬通貨或者禮包對(duì)玩家更有吸引力;測(cè)試變現(xiàn)入口,確定合適的變現(xiàn)入口,使得既可以獲得可觀的收益又不影響玩家體驗(yàn);測(cè)試玩法機(jī)制,找到更吸引玩家的玩法,如調(diào)整 PVE 通關(guān)獎(jiǎng)勵(lì)領(lǐng)取方式能否提升玩家體驗(yàn)深度,副本增加隨機(jī)隱藏 BOSS 能否吸引玩家再次挑戰(zhàn),PVP 不同匹配策略對(duì)玩家參與積極性有什么影響。
10
Q:神策數(shù)據(jù) A/B 測(cè)試有哪些優(yōu)勢(shì)?
A:在神策分析云中,迭代優(yōu)化后的 A/B 測(cè)試能夠?yàn)槠髽I(yè)提供完整的試驗(yàn)創(chuàng)建能力和試驗(yàn)分流能力,可以滿足流量分層、試驗(yàn)互斥等更高級(jí)測(cè)試需求,為產(chǎn)品迭代、運(yùn)營(yíng)策略的優(yōu)化提供決策依據(jù)。
搜索神策數(shù)據(jù)進(jìn)入官網(wǎng),即可免費(fèi)體驗(yàn) A/B 測(cè)試。
