作者：阿宅的產(chǎn)品筆記
本文在PMCAFF社區(qū)發(fā)布（www.pmcaff.com），轉(zhuǎn)載請(qǐng)注明作者及出處。
大家在聊增長(zhǎng)的時(shí)候必定會(huì)聊到實(shí)驗(yàn)，而聊實(shí)驗(yàn)的時(shí)候也必然聊到AB test。而且很多用人單位也把會(huì)不會(huì)用AB test作為考察增長(zhǎng)產(chǎn)品或運(yùn)營(yíng)的關(guān)鍵指標(biāo)之一。那么聽(tīng)起來(lái)這么高大上的AB test到底是個(gè)啥？
|| 什么是AB test？
A/B TesT，也叫AB測(cè)試，有時(shí)你也會(huì)看到 AB testing的說(shuō)法。簡(jiǎn)單來(lái)說(shuō)，它是指針對(duì)想調(diào)研的問(wèn)題提供兩種不同的備選解決方案（比如兩個(gè)下單頁(yè)面），然后讓一部分用戶(hù)使用方案A，另一部分用戶(hù)使用方案B，最終通過(guò)數(shù)據(jù)觀察對(duì)比確定最優(yōu)方案。
其本質(zhì)還是對(duì)照試驗(yàn)。這就像初中時(shí)學(xué)的鼠婦試驗(yàn)：把鼠婦等額分為兩組，在其他條件相同的情況下對(duì)一側(cè)遮光，另一側(cè)不遮，再觀察兩組鼠婦在兩種條件下的反應(yīng)，從而得出光對(duì)鼠婦的影響。
|| AB test的特點(diǎn)
作為一種科學(xué)的實(shí)驗(yàn)方法，AB 測(cè)試具有以下特點(diǎn)：
-
先驗(yàn)性： A/B測(cè)試能夠先于上線，得出結(jié)論；不再需要先將版本發(fā)布，再通過(guò)數(shù)據(jù)驗(yàn)證效果，從而一定程度上減少改版帶來(lái)的風(fēng)險(xiǎn)。
-
并行性： A/B測(cè)試是將兩個(gè)或以上的方案同時(shí)在線試驗(yàn)，這樣做的好處在于保證了每個(gè)版本對(duì)應(yīng)的時(shí)間環(huán)境、數(shù)據(jù)環(huán)境保持一致，便于更加科學(xué)客觀地對(duì)比優(yōu)劣。
-
科學(xué)性：如果能保證流量分配的科學(xué)性，將相似特征的用戶(hù)均勻的分配到試驗(yàn)組中，就可以避免出現(xiàn)數(shù)據(jù)偏差，使得試驗(yàn)的結(jié)果更有代表性。
簡(jiǎn)單來(lái)說(shuō)，AB測(cè)試可以讓你以對(duì)照試驗(yàn)的方法在小范圍內(nèi)對(duì)多個(gè)方案進(jìn)行測(cè)試，并得出改版的最優(yōu)解。
|| AB test的應(yīng)用場(chǎng)景
作為增長(zhǎng)的常用工具，它的應(yīng)用場(chǎng)景非常廣泛，小到一個(gè)文案，大到一套算法
1. 產(chǎn)品UI：紅色還是紫色？會(huì)動(dòng)的icon還是靜態(tài)icon？
2. 文案內(nèi)容：“免費(fèi)注冊(cè)”還是“注冊(cè)送188元大禮包”？
3. 頁(yè)面布局：登錄框置于導(dǎo)航欄，還是懸浮于放在頁(yè)面左側(cè)？
4. 產(chǎn)品功能：要不要把看似冗余的資訊簽下掉，還是將它留著？
5. 算法/算法：是根據(jù)用戶(hù)的歷史記錄推薦相似內(nèi)容，還是根據(jù)相似興趣用戶(hù)的行為推薦相關(guān)內(nèi)容，又或是根據(jù)商品/內(nèi)容本身的相關(guān)性給用戶(hù)推薦？
以下是幾個(gè)通過(guò)AB測(cè)試得到較好的產(chǎn)品改進(jìn)的例子（引用自《增長(zhǎng)黑客：創(chuàng)業(yè)公司的用戶(hù)與收入增長(zhǎng)秘》）
-
Airbnb曾測(cè)試過(guò)把“保存到心愿單”的收藏圖標(biāo)由星形改為愛(ài)心，結(jié)果僅憑這一改動(dòng)就讓心愿列表的使用率提升了30％。
變?yōu)閻?ài)心圖標(biāo)后的“保存到心愿單”按鈕
-
37Signals在對(duì)旗下CRM產(chǎn)品的注冊(cè)頁(yè)面標(biāo)題進(jìn)行A/B測(cè)試后，發(fā)現(xiàn)“30-day Free Trial on All Accounts”（所有賬戶(hù)享受30天免費(fèi)試用）可以比原來(lái)的“Start a Highrise Account”（注冊(cè)高額回報(bào)賬戶(hù)）多帶來(lái)30％以上的新用戶(hù)。他們還試著挑戰(zhàn)傳統(tǒng)網(wǎng)頁(yè)必須把所有重要信息都放在第一屏的慣例，做了一個(gè)長(zhǎng)達(dá)5000多像素高的展示網(wǎng)頁(yè)，結(jié)果竟成功讓注冊(cè)率增加了37.5％。
37Signals旗下產(chǎn)品Highrise的注冊(cè)引導(dǎo)文案
-
EA在發(fā)布游戲《模擬城市》時(shí)，發(fā)現(xiàn)刪除掉官網(wǎng)頂部的“PRE-ORDER”（預(yù)購(gòu)）廣告橫幅可使得頁(yè)面更加干凈整潔，并因此使訂購(gòu)量由之前的5.8％上漲到10.2％。
《模擬城市》訂購(gòu)頁(yè)面測(cè)試前的廣告文案
|| AB test的實(shí)施步驟
與我們寫(xiě)論文時(shí)做的實(shí)證分析類(lèi)似，AB 測(cè)試也有一套成熟的實(shí)施步驟：
1.現(xiàn)狀分析：分析業(yè)務(wù)數(shù)據(jù)，確定當(dāng)前最關(guān)鍵的改進(jìn)點(diǎn)。
2.假設(shè)建立：根據(jù)現(xiàn)狀分析作出優(yōu)化改進(jìn)的假設(shè)，提出優(yōu)化建議。
3.設(shè)定目標(biāo)：設(shè)置主要目標(biāo)，用來(lái)衡量各優(yōu)化版本的優(yōu)劣；設(shè)置輔助目標(biāo)，用來(lái)評(píng)估優(yōu)化版本對(duì)其他方面的影響。
4.界面設(shè)計(jì)：制作2（或多）個(gè)優(yōu)化版本的設(shè)計(jì)原型。
5.技術(shù)實(shí)現(xiàn)：
網(wǎng)站、App(Android/IOS) 、微信小程序和服務(wù)器端需要添加各類(lèi)A/B測(cè)試平臺(tái)提供的SDK代碼，然后制作各個(gè)優(yōu)化版本。Web平臺(tái)、Android和iOS APP需要添加各類(lèi)A/B測(cè)試平臺(tái)提供的SDK代碼，然后通過(guò)編輯器制作各個(gè)優(yōu)化版本。通過(guò)編輯器設(shè)置目標(biāo)，如果編輯器不能實(shí)現(xiàn)，則需要手工編寫(xiě)代碼。使用各類(lèi)A/B測(cè)試平臺(tái)分配流量。初始階段，優(yōu)化方案的流量設(shè)置可以較小，根據(jù)情況逐漸增加流量。
6.采集數(shù)據(jù)：通過(guò)各大平臺(tái)自身的數(shù)據(jù)收集系統(tǒng)自動(dòng)采集數(shù)據(jù)。
7.分析A/B測(cè)試結(jié)果：統(tǒng)計(jì)顯著性達(dá)到95%或以上并且維持一段時(shí)間，實(shí)驗(yàn)可以結(jié)束；如果在95%以下，則可能需要延長(zhǎng)測(cè)試時(shí)間；如果很長(zhǎng)時(shí)間統(tǒng)計(jì)顯著性不能達(dá)到95%甚至90%，則需要決定是否中止試驗(yàn)。
上面說(shuō)的可能有些復(fù)雜，核心便是假設(shè)檢驗(yàn)和對(duì)照試驗(yàn)。接下來(lái)我們對(duì)上述步驟的一些要點(diǎn)和注意事項(xiàng)進(jìn)行說(shuō)明。
|| AB test的注意事項(xiàng)
1. 樣本規(guī)模
在統(tǒng)計(jì)中樣本量過(guò)小的話，樣本特征相較總體特征便會(huì)存在一定偏差，實(shí)驗(yàn)結(jié)果便也不準(zhǔn)確。樣本量越大，樣本特征才能越接近總體特征。所以，在進(jìn)行實(shí)驗(yàn)設(shè)計(jì)時(shí)，為了保證實(shí)驗(yàn)結(jié)果的有效性，我們需要對(duì)樣本規(guī)模進(jìn)行約定。那么至少需要多大的樣本規(guī)模才能在特定顯著性下反應(yīng)總體特征呢？這里涉及了一些統(tǒng)計(jì)學(xué)的概念。對(duì)于比率類(lèi)指標(biāo)可以按以下公式計(jì)算。
例如：“XX提交”按鈕由紅色變?yōu)槌壬y(tǒng)計(jì)的指標(biāo)是點(diǎn)擊UV轉(zhuǎn)化率UV_rate，測(cè)試時(shí)間是20200801～20200814，則計(jì)算“XX提交”按鈕的歷史月均值mean(UV_rate)為下面數(shù)據(jù)的均值avg(UV_rate)：
圖片來(lái)源：知乎@livan，公眾號(hào)：livandata
看起來(lái)確實(shí)挺頭疼的，但你可以用一個(gè)小小的工具解決這個(gè)難題：
在這個(gè)工具里只要輸入原始版本的轉(zhuǎn)化率、優(yōu)化版本的轉(zhuǎn)化率和統(tǒng)計(jì)顯著性，就可以計(jì)算出所需樣本的數(shù)量大小了。是不是很好玩？
留言回復(fù)“樣本”獲取樣本數(shù)量計(jì)算器
順嘴提一句，在算出AB測(cè)試所需樣本數(shù)量大小后，根據(jù)網(wǎng)站或App每天的訪問(wèn)數(shù)，即可計(jì)算出試驗(yàn)所需的時(shí)間。
試驗(yàn)所需的時(shí)間 = 所需樣本數(shù)量大小 / 每天訪問(wèn)數(shù)
2. 測(cè)試結(jié)果分析
前面說(shuō)過(guò)，AB測(cè)試的本質(zhì)是假設(shè)檢驗(yàn)，所以我們也需要進(jìn)行顯著性檢驗(yàn)以拒絕或同意原假設(shè)。怎么進(jìn)行假設(shè)檢驗(yàn)就不扯了，太掉頭發(fā)，即使大學(xué)概率論滿績(jī)但也吃不住折磨人的小妖精，還是給個(gè)小工具吧。
當(dāng)然，學(xué)霸朋友們也可以看看這篇 AB-Test 雙樣本顯著性計(jì)算，我等就蹭現(xiàn)成的了。
這個(gè)小工具可以根據(jù)A、B版本的訪問(wèn)數(shù)和轉(zhuǎn)化數(shù)，計(jì)算出轉(zhuǎn)化率和統(tǒng)計(jì)顯著性數(shù)值，并給出可信度結(jié)論。
有了這倆，媽媽再也不擔(dān)心我不會(huì)概率論啦。
依然，回復(fù)“測(cè)試結(jié)果”獲取AB測(cè)試結(jié)果檢驗(yàn)工具
3.辛普森悖論
這個(gè)悖論也是AB測(cè)中常常說(shuō)到的話題，它是指某些條件下的兩組數(shù)據(jù)，分別討論時(shí)都會(huì)滿足某種性質(zhì)，可是一旦合并考慮，卻可能導(dǎo)致相反的結(jié)論。這個(gè)理論由英國(guó)統(tǒng)計(jì)學(xué)家辛普森提出。
用一個(gè)腎結(jié)石手術(shù)療法的 AB 測(cè)試結(jié)果作為例子：
看上去無(wú)論是對(duì)于大型結(jié)石還是小型結(jié)石，A療法都比B療法的療效好。但是總計(jì)而言，似乎B療法比A療法要好。
