背景
最近用戶使用時長下跌,為什么?
遠期計劃提升流量規模,怎么搞?
業務分析師經常不得不通過數據來回答這些通常來自高層的靈魂問題。之所以靈魂問題,因為這類問題通常針對一個頂層指標發問,卻需要在指標背后紛亂繁雜的眾多可能性中找到一個清晰的解釋路徑。和我一樣,一開始不少分析師在面對這樣的問題時會束手無策,產出的分析通常是數據的羅列但缺少洞見,或者結論脫離數據很難落地。但在我接觸異動歸因分析這一年多以來,也見識過一些非常棒的成功案例以及對口的理論方法。本文筆者將這段時間所積累的經驗整理出一套方法,希望文中的理論方法還有案例可以成為分析師日常工作的工具。
解構多邊平臺
互聯網+ 催生了大量的多邊平臺。這些平臺的產品雖然相差甚遠,但商業原理卻很相近:它們都類似一個市場,有「賣家」和「買家」雙方,市場則通過算法策略與機制設計來撮合買賣雙方達成「交易」。例如,司機和乘客構成的網約車平臺,通過分單來撮合司乘達成交易;配送平臺,調度運力配送訂單,在體驗約束下優化人效;內容消費者與創作者構成的社區平臺,通過算法來匹配內容需求與創作意愿來達成一篇內容的創作與閱讀。我們統稱這些商業模式為多邊平臺,它的主要職能是撮合買賣雙方,也就是「供需」匹配。
平臺的終極目標是流量與利潤,因此每家公司的頂層指標(頂層指標:評估公司終極目標的指標)通常與 DAU(Daily Active Users,日活躍用戶數)、時長、商業收入與利潤有關。為了達成目標,我們日常的項目基本逃離不開這兩個抓手:
1. 供需拉動:拉新,召回,供需結構優化
2. 供需匹配:算法策略,前端產品,平臺治理,基礎架構
平臺加上活躍在平臺上的供需作為一個整體就類似一個生產引擎:平臺引入需求與供給這些生產要素,利用技術、產品與算法策略優化生產效率。給定一個用戶需求,平臺每次通過計算分發一個供給,這個供給是平臺的一單位「產出」。一單位「產出」的例子比如網約車平臺的一次司機應答,又例如電商、內容平臺分發給用戶的每一張卡片,本質上都是平臺為了達成終極目標而分發給用戶的最小內容子單元,一切用戶體驗與頂層指標的漲跌也都起始于這些最小內容子單元。用戶有主動權選擇是否消費平臺的每單位「產出」,這進一步直接決定了平臺的頂層指標。舉例,類似知乎、快手這類內容平臺,每一刻在線的用戶就代表「需求」,而平臺的內容池代表「供給」,平臺通過卡片(最小內容子單元)形式將內容分發給用戶,用戶選擇閱讀卡片內容與否決定了平臺是否完成一單位流量的生產。反過來講,每單位流量的因果鏈條最底層是:用戶是誰;分發的內容是什么;內容與用戶是否匹配。
所以,‘最近用戶使用時長下跌原因是什么?長期如何提升平臺流量?’,時長、流量等這些頂層指標背后的因果鏈條最底層就是無數平臺的一單位產出,頂層指標也就可以「解構」成這些產出與用戶需求之間匹配程度的累加:因此為了回答這些靈魂問題,從事后歸因角度,分析需要量化:過去平臺分發的每單位產出對應的需求(用戶)與供給分別是什么,供給質量如何;同樣的,從遠期規劃層面,需要量化:什么類型的單位產出會給平臺帶來收益,這樣的產出需要對應到怎樣的需求與供給。
解構平臺用到的數據相對簡單,需要到一次分發粒度的數據中明確對應的用戶與供給 ID 信息,但是需要相對完備的用戶畫像與供給畫像數據做支撐。畫像很重要,有意義的解構依賴于畫像對需求與供給的有效拆解。
頂層指標的分析通常對應兩個場景:
● 戰略規劃:分析通常要基于歷史數據來測算未來相當長一段時間如何通過供需規模拉動來優化頂層指標。
● 事后歸因:分析一般是對短期歷史數據中體現的頂層指標異動做復盤,通常要從用戶結構、分發結構、匹配效率層面快速定位原因與策略優化點。
長期規劃
多邊平臺與 Cobb-Douglas 生產函數
互聯網雖然催生了許多在線的多邊平臺,但多邊平臺是非常古老的概念。一個國家就是一個多邊平臺,從經濟產出水平層面可以將國家成解構成 GDP = f(L,K),其中 GDP 是國內生產總值,L(abor) 代表勞動力個數,K(aplital) 代表總投資。國家也好比一個生產引擎,吃進去投資與勞動力,產出 GDP。早在20世紀20年代,經濟學家保羅·道格拉斯研究國家投入和產出相關性的問題發現,在1909-1918十年間,盡管資本/勞動力比率并不穩定,勞動力產出份額相當穩定,約為74%。他問他的朋友,數學家查爾斯科布,是否有任何特定的數學形式可以解釋這一點。他們創造了最初的Cobb–Douglas生產函數: , 于他們1928年的論文《生產理論》中提出。Cobb–Douglas生產函數從此對學界與業界產生了深遠的影響,在醫療、能源、供應鏈上面也有著廣泛應用。最近 Ba?e?mez, Hülya 在美國經濟增長研究中基于 Cobb-Douglas 生產函數對美國 1951-2008 年的經濟數據進行建模,得到 。建模基于 log-log regression 得到參數估計,具體的,他們將 1951-2008 美國經濟年鑒中每年的 GDP,L 勞動力,K 總投資數據提取出來,用線性回歸對 進行參數估計,得出這個公式。Cobb–Douglas生產函數有著良好的業務性質:
1. 邊際一單位生產要素對產出的價值可以量化,拿勞動力與單位投資對 GDP 的邊際價值作為例子:
由于 1.1>1,因此目前引入勞動力是存在遞增規模收益(IRS)的,也就是每邊際引入一單位勞動力對 GDP 的影響是遞增的;由于 0.4 << 1,因此目前引入更多投資對 GDP 是存在遞減規模收益(DRS)的,雖然投資還在正向影響 GDP,但是會愈加不劃算。
2. Cobb–Douglas生產函數反映平臺「跨邊網絡效應」的性質:網絡效應是指一個產品用戶規模的增長會正向影響每一個用戶的產品體驗,例如:電話、微信、wifi 萬能鑰匙。多邊平臺具有跨邊網絡效應,簡單來說,就是「買家」規模增長會激勵賣家參與,反之亦然,例如知乎、快手、淘寶、美團等,這些平臺的收益與活躍的供給量和需求量的乘積成正比關系。依然用國家 GDP 作為例子說明 Cobb–Douglas生產函數對跨邊網絡效應的刻畫:勞動力邊際價值
可以發現 K 遞增時,勞動力對 GDP 的邊際價值也會增加,資本可以為勞動力提供更優質的生產設備與技能培訓,勞動力的生產效率也因此提升。平臺雙邊之間通常存在跨邊效應:越多的司機供給,乘客的發單意愿與轉化率越高,因此每單位乘客產出 GMV 的速率會增加;內容平臺提供越豐富的內容供給,消費者的瀏覽意愿越強,因此每單位消費者產生的閱讀流量也越高。
Cobb–Douglas生產函數在業界的應用
留意Cobb–Douglas生產函數的兩端,左邊是產出,右邊是生產要素與生產效率,參考前一部分對平臺的結構,我們可以很容易找到適合于各類業務的定量框架,例如:
●網約車平臺:GMV(Gross Market Value 總收益)= At
●內容平臺:PV(PageView 總瀏覽量)= At
●外賣平臺:
在不同時間片下,我們可以觀測到產出、供給、需求的波動,基于 log-log regression對這些波動進行建模可以得到不同業務的參數估計,也就可以用來推斷各種生產要素的邊際價值與規模效益了。
在這個基礎上,我們可以基于用戶畫像、供給畫像對供需進行細拆,得到更具象化、更準確的供需模型。例如,網約車平臺、外賣平臺可以到城市粒度做分塊建模,內容平臺也可以具體到細分內容領域上面探究高價值的 DAU 與內容分別來自哪些渠道或者領域。因此,完備的供需畫像會是Cobb–Douglas生產函數應用場景和價值的拓展。
Cobb–Douglas生產函數也常用于戰略運營規劃場景:平臺戰略規劃本質上是在思考投資如何應用才能最大化終極目標提升這個有條件約束的最優化問題上面。我們以內容平臺為例,運營層面通常具備能力估算每拉動一單位內容與 DAU 的成本,分別是 Cs,Cd,同時假設平臺未來一年決定投資 I 在供需拉動上面,則最優的供需拉動策略可以從以下有條件最優化問題中得出:
短期診斷
短期診斷,就是分析推斷業務核心指標近期漲跌的具體原因。業務在「短期診斷」上的訴求比「長期規劃」要頻繁甚至著急很多,因此對分析師做這件事情的效率有很高的要求。短期診斷本質上就是回答一個或多個「最近大盤指標 x 為什么跌了?」的過程。「大盤」指標是對一個業務下所有覆蓋的主體進行宏觀層面的刻畫,主體可以是剛剛提到的用戶、供給、或者是平臺分發的每一條內容,而之所以稱為大盤的指標實際是對所有主體的強調。具象化一點,我們用「活動后相比之前大盤(i.e. 全體活躍用戶)用戶留存下跌原因分析」作為例子。
大盤用戶留存波動背后是一個復雜的系統:大盤留存波動背后是許多留存上漲、下跌的細分群體累加;同時具體到每一個用戶留存雖然與平臺分發給用戶的每單位產出的質量脫不開干系,但是用戶天與天之間在平臺之外的生活、學習、工作、情緒這些「外生隨機因素波動」也很大程度影響著用戶的留存。因此,短期影響留存的因素大部分是獨立于平臺策略、原因不明的。分析師需要避免被一些細節數據纏住,清楚平臺短期可能對用戶體驗產生的影響是什么,如何定量評估這些影響,這樣才能從混沌系統中快速找到平臺層面的原因,并針對關鍵目標用戶群體提出業務可執行的策略建議。如果分析師可以圍繞留存分析建立一套這樣的分析體系并落地在周報解讀上,長期對業務產生的影響會是巨大的。進一步展開討論之前,介紹幾個大盤留存的規律:
1. 大盤整體留存率波動的主因是兩類波動的累加:a. 某些用戶群體留存率的波動,b.某些用戶群體的占大盤比例的波動。前者可能是平臺策略變動的結果或者在反映策略接下來的發力點;后者通常是大盤用戶結構的波動,與平臺策略關系不大,也很難通過平臺策略干預。
2. 用戶群體留存率波動與平臺相關的主要因素來自兩類:a1. 業務策略或者基礎服務變更/異常(e.g. 新產品發版;在線業務異常導致服務降級),a2. 當下平臺分發的‘供給’(e.g. 內容、騎手、商品)與用戶‘需求’(i.e. 對‘供給’的預期)之間的匹配程度發生變化。同時,數據層面可以有相對固定的分析框架與維度指標體系來識別 a1&2 兩類因素,并同時提供策略優化點。
3. 在相對成熟的業務系統中,除非重大業務/基礎服務變更或異常,平臺很難對任何用戶群體留存率產生 2% 以上的影響。同時,通過數據去發現或者論證平臺之外的原因對用戶的潛在影響是非常困難而且代價很高的。
4. 作為用戶遠期行為的刻畫,留存即受到用戶當期消費體驗的影響,也很大程度上受到用戶在平臺之外因素頻繁波動的制約。由于平臺之外的因素很大程度上是不可知的,異動歸因需要引入更直接反映用戶當期體驗的指標(e.g. 使用時長、轉化率)作為留存指標的補充。
5. 只關注短期數據會讓分析師進入過分解讀的陷阱,拉長時間范圍可以幫助更有效看清指標走勢以及意義不大的短期波動。
在上述規律的基礎上,用于短期診斷的分析框架依賴兩個要素:快速拆清楚大盤用戶與供給分發結構(i.e. 供需結構)的畫像數據,和定量評估供需結構變化對頂層指標影響的計算方法。這個分析框架可以拆解成三個步驟:1. 定位目標用戶群體;2. 聚焦目標群體,定位與平臺相關的原因;3. 提供策略建議。
定位目標用戶群體
將大盤用戶做細拆是非常必要的。一方面,細拆幫助我們看清潛在體驗出現問題的目標用戶群體;另一方面,如果停留在大數層面去做推斷可能會得到錯誤甚至相反的結論:「辛普森悖論」經常會體現在大數指標的波動上面。舉個例子,某平臺市場推廣前后大盤整體留存率下跌 3%,這說明活動損害用戶體驗了嗎?當細拆用戶群體之后發現用戶體驗是全面提升的。如下圖,活動大幅拉動了增量的新用戶與沉默用戶進入平臺,用戶占比均從 5% 提升到了 10%。在此基礎上,活動對各個群體的留存率均產生 2% 的正向影響,因此該活動產生的正向收益是非常明顯的。
這個例子中,大盤與細分群體的數據之間的相互矛盾就是典型的辛普森悖論問題:大盤留存率變化=f(用戶結構變化,用戶體驗變化),忽略掉用戶結構這個重要內生維度得到的相關性不能指向因果關系。所以,僅停留在大盤層面基于「大數」給出各種用戶體驗推斷的時候,出錯的概率就會大大增加。只有當我們聚焦在各個細分用戶群體層面來看數據的時候,才能有效避免這類錯誤的發生。業務通常會在「大數」上產生不必要的困擾:決策層每天可能只會早上花個幾秒時間掃一眼幾個核心「大數」,根本沒有時間精力去從成百上千個細分群體中找到「大數」波動的關鍵原因。這就需要系統的方法設計與數據產品落地來賦能業務解讀數據的速度與質量,接下來主要分享下筆者在這個方法上面的沉淀與體會。
通過這個例子我們可以體會到,用戶群體內部(接下來統稱:種類內)留存率的變化與用戶群體之間占比變化(接下來統稱:種類間)都會影響大盤整體留存率。由于短期用戶結構變化大概率是平臺之外因素擾動導致大盤用戶結構變化,業務會更多關注具體某個用戶群體留存漲跌的原因,因此算清楚具體到每個細分群體的用戶占比(種類間)變化與留存率(種類內)變化分別對整體留存的影響是很關鍵的:我們把這類計算稱作貢獻度計算。用同樣例子(數據略有調整,見下圖)來講計算邏輯:對于某個用戶群體,設該群體活動前后用戶占比分別為
活動前后留存率分別為
大盤活動前后整體留存率分別為 Q1, Q2, 則:
1. 群體種類間貢獻 = (q1 – Q1) * (w2 - w1)。種類間變化回答的業務問題:該群體占比變化相比不變化對整體留存產生的影響是多少?
a. 舉例:沉默召回用戶占比活動前后從 5% 漲到 10%,該群體活動前留存率與大盤整體留存率分別是 10%,65%。則沉默召回用戶占比變動對大盤整體留存率產生的影響為
。如果該用戶群體用戶占比沒有變化,則活動后大盤留存的理論值為
b. 以此類推活躍用戶群體與新用戶群體種類間變化貢獻為 -0.5%,-1.8%,用戶結構變化對大盤整體留存產生的影響是 -5%。
2. 群體種類內貢獻
。種類內變化回答的業務問題:該群體留存變化相比留存不變對整體留存產生的影響是多少?
a. 舉例:活躍用戶留存率從 70% 跌至 68%,活動后用戶占比 80%。則該群體留存率變動對整體留存率產生的影響為
。如果該群體用戶留存沒有變化,則活動后大盤留存的理論值為
b. 以此類推沉默召回與新用戶群體種類內變化貢獻為 0.2%,0.2%,各群體留存變化對大盤整體產生的影響是 -1.2%。
3. 這種計算方式可以保證各個群體的種類間、種類內貢獻累加等于大盤整體留存率前后的差值
貢獻度計算是可拓展的,當一個業務的用戶畫像體系建設很完備時,貢獻度可以幫助我們快速找到關鍵的幾個用戶群體以及這個群體影響大盤的方式。
那誰才是真正要去重點分析的目標用戶群體呢?筆者認為,相比分析某個留存率不變但占比波動的群體,分析留存率在下降的用戶群體更有意義:因為后者更可能在反映用戶體驗的問題,可以通過分析找到一些短期策略優化點;但前者不同,由于留存穩定,占比波動更可能是平臺之外因素擾動的結果,因此很難通過平臺內部數據找到真正原因與應對策略。因此,為了提升工作效率,分析師有限時間內要去分析留存率顯著下降的群體(上面的例子:目標群體就是活躍用戶),根據種類內貢獻大小排布優先級;對于僅僅占比波動的用戶群體,客觀向業務呈現數據之后,建議節省時間截止在第一步。
聚焦目標群體,定位平臺原因
與平臺相關的主要因素來自兩類:a1. 業務策略或基礎服務變更/異常,a2. 平臺的供需匹配程度短時發生了變化。由于業務/基礎服務變更/異常都是從某個具體的時間點開始對線上產生影響,目標用戶群體是否受到 a1 影響可以通過常規用來掃描時間序列斷點的統計方法來快速判定。本文重點討論對 a2 的診斷分析。
如文章一開始所講,一個用戶的體驗可以解構成平臺分發的每單位內容與用戶需求之間匹配程度的累加,用戶體驗受損則很可能在反映一定程度的供需失衡。在供需失衡場景,平臺通常具備短時優化匹配效率的能力:無論是在高峰期配送平臺對價格的動態調整,還是在某個熱點引爆后內容平臺傾斜分發熱門內容,當平臺具備識別供需失衡的能力,就可以通過調整分發結構來優化用戶體驗與平臺收益。
供需失衡背后有兩個潛在原因:平臺分發的內容質量問題(簡稱分發質量),平臺分發的供給結構問題(簡稱分發結構)。拿內容平臺作為例子,分發質量問題意味著平臺分發的內容不能滿足用戶需求,CTR、內容均閱讀時長、內容變現率下跌是供給質量問題的體現;分發結構問題指的是分發的內容類型分布不合理造成體驗下降,例如整體分發內容中視頻、各個領域內容的分布改變就會造成用戶體驗的波動。我們可以使用在步驟一相似的方法來去定量測算不同類型內容的質量與占比變化對用戶體驗的影響。還用上面的例子,聚焦在目標群體,具體分析平臺一段時間內分發給活躍用戶的內容結構與質量數據:
實際上,評估內容結構、質量對體驗的影響與評估用戶結構 、體驗對留存的影響使用的是一個計算方法。唯一變化的是主體與評估指標:主體從一個用戶到平臺分發給用戶的每個供給,指標從留存率變成了評估分發質量的指標,在這里是CTR(點擊率)。貢獻度輸出的種類間變化與種類內變化分別在量化分發結構變化與分發質量變化對用戶體驗(CTR)產生的影響。同時,內容分發有個內在的邏輯,就是當一類內容被傾斜分發的時候,通常會影響其分發的質量,因此在供給分析里面,通常分發質量與分發占比之間是此消彼長的。這時,評估一類內容傾斜分發整體對全局體驗的影響就是該類內容種類間與種類內貢獻的加和。例如,上圖案例中視頻內容在活動中做了傾斜分發,占比從 20% 漲到 30%,同期視頻分發質量從 32% 跌至 28%,活動前大盤整體 CTR 30.3%,因此分發占比變化對整體 CTR 的影響是正向 0.2% =(32%-30.3%)*(30%-20%),分發質量的影響是顯著負向 -1.2% = 30%*(32%-28%)。總體來看,視頻內容傾斜分發負向影響了活躍用戶群體的體驗,如果沒有進行傾斜分發,活動后 CTR 的理論值為 29% - (-1.2%+0.2%)= 30%,構成了目標群體體驗下跌的主要原因。
貢獻度在診斷各類業務核心指標波動原因上具有普適性。無論是分析內容社區的留存率還是物流配送時效性,亦或從線上算法準確率到投資組合收益率,這些指標的波動本質上都是一類問題:從數學角度去看,這些指標都是先將一個總體按照細分維度拆解成若干細分群體,然后將細分群體指標依據群體占比來加權平均。本文例子中,「定位目標群體」環節是將 DAU 作為總體,用戶畫像作為維度,留存率作為指標展開分析的;「定位平臺原因」環節是將平臺分發給活躍用戶群體的內容作為總體,內容畫像作為維度,CTR 作為指標展開分析的。進一步討論,一個加權平均數變化的原因要么是「某項的權重(占比)」發生變化,要么是「該項的取值(指標)」發生變化,因此種類間、種類內貢獻的計算定量解釋了加權平均數變化的原因;
由于貢獻度計算視「總體」、「指標」、「維度」為可以靈活調整的「參數」,所以這個方法普適于與各類業務核心指標的異動歸因與診斷。在下面提供策略建議環節,我們依然會用到這個方法。
提供策略建議
診斷分析需要具備提出有效策略建議的能力,因為只有業務因為分析發生了改變才是分析價值的真正體現。「定位目標群體」環節無法提供有效策略建議,因為「提升活躍群體留存」雖然算是個建議,但是「如何提升該群體留存」依然是個靈魂問題。造成這些困惑的主要原因是因為分析沒有拆解到業務抓手層面。什么才是真正的業務抓手呢,從內容平臺業務來看,除了基于 AB 測試上下線業務策略還有修復明確的基礎服務故障,短期的抓手無非是改善分發結構或者是在產品之間做導流。例如上面例子就可以作為調整分發結構的依據,可以通過「綜合貢獻度」發現視頻 + 文章的傾斜分發會負向影響活躍群體的用戶體驗,因此策略上應該短期針對活躍用戶群體適當控制視頻、文章的傾斜分發力度,在新用戶與沉默召回用戶群體保持原有分發策略。
產品之間導流也通常是一個有效短期改善體驗的策略抓手,平臺時常與用戶之間存在一定程度的信息不對稱從而造成分發效率低下:例如在內容平臺,不同用戶瀏覽內容分散在首頁、關注頁、熱榜、圈子等入口,但是一個具體用戶的消費習慣會相對固定在一個產品內部,可能也不愿意付出成本來探索其他產品的消費體驗。同時,一個用戶在不同時間與場景下在一個產品的消費體驗是不可預期的,例如熱榜通常在有外源熱點的時候才更大概率出現優質內容,這些不確定性進一步限制用戶主動探索不同產品的動機。我們可以通過貢獻度來分析各個產品線的數據來尋找潛在的信息不對稱可能,并找到產品之間導流的方案。例如如下數據,通過綜合貢獻發現顯著負向與正向影響活躍用戶體驗的產品線分別是推薦與熱榜,這說明將推薦頁用戶短期引導至熱榜消費可以緩解活躍用戶群體的體驗問題:
總結
平臺的終極目標是流量和利潤,需要持續迭代優化平臺背后的數學模型從而讓我們看清這個看似混沌的系統。本文認為平臺本質上在通過供需拉動與提升匹配效率兩個抓手去優化平臺的終極目標:類似一個生產引擎,平臺輸入供需,產出最小內容子單元。流量、利潤等頂層指標也就可以「解構」成這些產出與用戶需求之間匹配程度的累加。
平臺長期戰略規劃通常涉及供需規模拉動的成本收益估算,我們可以基于 Cobb-Douglas 生產函數作為技術選型來估算遠期一單位供給與需求的邊際價值、規模效益和網絡效應;也可以用來解決給定資本投入情況下供需拉新資源最優化分配的問題。
平臺短期診斷需要圍繞頂層指標波動快速定位平臺相關原因并提出有效策略建議,這就需要系統的方法設計與數據產品來保障分析速度與質量。具象化一些來講,分析師要持續完善供需畫像體系,并迭代異動歸因的方法論與工具。方法論層面,我們建議先定位目標群體然后再分析具體原因并提出策略建議這樣由淺入深、從總體到個體的分析方法;工具層面,我們提出貢獻度計算方法,該方法輸出的種類內、間變化有很好的業務性質,也是解決指標異動歸因的通用框架,從定位目標用戶群體到分析用戶體驗波動原因,我們可以通過在貢獻度計算中調整總體、指標、維度這些參數來靈活解決各類異動歸因分析問題。
作者:胡淏,畢業于哥倫比亞大學,一枚熱愛統計學、經濟學的數據科學家。先后在螞蟻、滴滴、知乎等互聯網公司研究和落地數據驅動解決方案。了解風控、網約車與即時配送、內容社區等業務的領先算法與分析解決方案。






