A/B 測試:以變應(yīng)變,給用戶更好的體驗“寵愛”

0 評論 4479 瀏覽 14 收藏 11 分鐘

編輯導(dǎo)語:數(shù)據(jù)分析是推動決策的重要環(huán)節(jié)之一,而若想讓數(shù)據(jù)真正地產(chǎn)生價值,則可能需要基于一定的運營框架,形成業(yè)務(wù)價值輸出閉環(huán),進(jìn)而推動后續(xù)優(yōu)化迭代,提升用戶的產(chǎn)品使用體驗。本篇文章里,作者結(jié)合實際經(jīng)驗,基于企業(yè)運營框架SDAF做了一次A/B測試與用戶行為相結(jié)合的實踐梳理,不妨來看一下。

伴隨著企業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的加速及用戶行為分析理念的深入,各種各樣的數(shù)據(jù)分析模型,比如事件分析、漏斗分析、留存分析等,早已成為企業(yè)日常運營不可或缺的“小助手”。

作為大數(shù)據(jù)分析與營銷科技服務(wù)提供商,在我們過去服務(wù)客戶的過程中,逐漸意識到,數(shù)據(jù)分析只是企業(yè)數(shù)字化轉(zhuǎn)型過程中的一環(huán),要想讓數(shù)據(jù)真正對企業(yè)產(chǎn)生價值,應(yīng)該將基于數(shù)據(jù)流的決策、行動與反饋統(tǒng)統(tǒng)加入進(jìn)來,也就是基于數(shù)據(jù)流的企業(yè)運營框架 SDAF,即 Sense(感知)、Decision(決策)、Action(行動)、Feedback(反饋),形成一個完整的業(yè)務(wù)價值產(chǎn)出閉環(huán)。

當(dāng)我們進(jìn)一步思考,為什么 SDAF 是個環(huán),而且是多個持續(xù)不斷的環(huán)呢?

這時候我們會發(fā)現(xiàn),這是因為普遍存在兩個痛點:一是目標(biāo)不精確,可能會導(dǎo)致行動失準(zhǔn)、產(chǎn)出失效;二是手段不精確,可能會導(dǎo)致最終產(chǎn)出小于投入。這不僅是因為我們自身的認(rèn)知有限,用戶本身也十分“善變”。

也正是因此,我們希望將 A/B 測試與用戶行為分析結(jié)合,帶來應(yīng)對用戶變化的解決方案,最大化提升價值產(chǎn)出與效率,持續(xù)優(yōu)化、持續(xù)迭代,給用戶帶來更好的體驗“寵愛”。

那么,我們?nèi)绾螒?yīng)用行為分析和 A/B 測試,達(dá)到良好融合、最大化提升價值產(chǎn)出的效率呢?用通俗的話語進(jìn)行描述,那就是:“像投資人一樣找杠桿,像科學(xué)家一樣做試驗?!倍业礁軛U,首先得理解我們的目標(biāo)是什么。如果從用戶行為的角度來描述目標(biāo),可以分為一次性行為和周期性行為。

一次性行為:我們希望用戶盡可能發(fā)生單個目標(biāo)行為,且這類行為通常非常關(guān)鍵,可以為后續(xù)的產(chǎn)品使用打下堅實基礎(chǔ),常見如用戶注冊、首單支付、實名認(rèn)證等等。這類行為對應(yīng)著我們的業(yè)務(wù)目標(biāo)是“轉(zhuǎn)化”,即讓更多用戶沿著正確路徑達(dá)成目標(biāo)事件。

周期性行為:我們希望用戶盡可能多次發(fā)生某個行為,或者發(fā)生的程度更深,通常是體現(xiàn)產(chǎn)品核心價值的行為,常見如支付訂單、瀏覽內(nèi)容等等。這類問題通常對應(yīng)的業(yè)務(wù)目標(biāo)是“參與度”或“留存”,即讓用戶更多更深入地做某件事情。

接下來我們將基于 SDAF 閉環(huán)運營框架,詳細(xì)為大家介紹 A/B 測試與用戶行為相結(jié)合的應(yīng)用實踐。

一、Sense:使用行為分析模型,感知用戶行為

對于用戶的一次性行為,我們的業(yè)務(wù)目標(biāo)是讓更多的用戶沿著正確的路徑做某個事情??梢酝ㄟ^以下模型進(jìn)行觀測:

  • 漏斗分析:嚴(yán)格規(guī)定的路徑上,用戶流失情況如何?
  • 路徑分析:用戶群體的實際行為路徑如何分流?
  • 行為序列:用戶個體的實際行為路徑如何跳轉(zhuǎn)?

對于周期性的行為,我們的業(yè)務(wù)目標(biāo)是讓用戶更多更持久地做某件事,并形成習(xí)慣。可以通過以下模型進(jìn)行觀測:

  • 留存分析:用戶行為的發(fā)生在時間上的持續(xù)性如何?
  • 分布分析:用戶行為的發(fā)生頻次(強度)如何?

二、Decision:基于觀測數(shù)據(jù),正確使用數(shù)據(jù)做決策

只有數(shù)據(jù)是很難產(chǎn)生價值的,所以完成了 Sense 之后,需要做進(jìn)一步的解讀與決策。我將數(shù)據(jù)應(yīng)用總結(jié)為以下三點:

  1. 有限還原場景。從抽象過的、框架化的角度還原用戶的整個決策過程,比如通過漏斗分析、用戶路徑分析,就可以描繪用戶的整體行為情況。
  2. 做為診斷依據(jù)。感知用戶行為,通過時間或分類維度的橫向豎向比較,可以大致確定是否存在問題。
  3. 進(jìn)行杠桿排序。知曉當(dāng)前哪個比較重要,哪個暫時不那么重要,雖然問題可能很多,但事兒還得一件一件干。

除此之外,比數(shù)據(jù)應(yīng)用重要的事情是知道事情怎么做?要描述好這個事情,我通常會列出兩張表。

第一張表叫做:為什么?如果我們對于要解決的問題有更準(zhǔn)確的認(rèn)識,解決起來的效果當(dāng)然是較好的,因此可以從動力、阻力、時機等角度羅列可能的原因,并做一些主觀上的排序。

第二張表叫做:怎么辦?針對于這些具體原因,我們可以列出可能的方案或者方案的方向。最終使用 ICE 模型(Impact 影響范圍、Confidence 自信程度、Ease 實現(xiàn)難易)進(jìn)行主觀排序,確定最近的一段時間,我們要做的試驗是什么。

比如針對電商場景,我們可以梳理出電商的核心路徑,并找到核心路徑上的薄弱環(huán)節(jié),或者杠桿指標(biāo),并進(jìn)一步定位我們的關(guān)注點。

當(dāng)定位到某個問題頁面或者模塊之后,我們會進(jìn)一步列出為什么和怎么辦。比如我們在數(shù)據(jù)分析中診斷出某電商的輪播圖模塊存在轉(zhuǎn)化問題,該模塊靠后的幾張廣告的滲透率急劇下降,且經(jīng)評估我們認(rèn)為該模塊的重要度比較高,我們就可以進(jìn)一步針對其列出以下列表:

三、Action:基于業(yè)務(wù)決策,實施 A/B 測試

當(dāng)我們已經(jīng)有了比較具體的試驗方向,就可以進(jìn)一步設(shè)計試驗本身的細(xì)節(jié),去羅列出試驗實施的幾個要素:

  • 試驗的假設(shè):我們所認(rèn)為的目標(biāo)和手段之間的因果關(guān)系。(改動什么會影響什么?原因是什么?)
  • 試驗的變量:具體的改動元素,通常是單一元素,方便歸因。
  • 試驗的指標(biāo):評估試驗成敗的指標(biāo)及其相關(guān)指標(biāo)。
  • 試驗的受眾:具體實施試驗的用戶對象。

四、Feedback:分析試驗數(shù)據(jù),獲取反饋與認(rèn)知

“反饋”的字面含義,指的是我們從試驗結(jié)果中獲得的直接結(jié)論,即各試驗組是否有差異,哪組策略更好或是更壞。而“認(rèn)知”卻是更深一層的,即我們學(xué)到的、可以被沉淀的知識。

比如在我司客戶的某個電商場景中,對于奢侈品的圖片加上各種相關(guān)標(biāo)語的大圖版本,從數(shù)據(jù)上來看轉(zhuǎn)化率是更差的,這是“反饋”。而奢侈品類產(chǎn)品的大圖中加上標(biāo)語,對用戶來說受到了注意力干擾,影響到體驗產(chǎn)品的美感,這是“認(rèn)知”。

商品圖源于網(wǎng)絡(luò)

在統(tǒng)計學(xué)中講到,“即使數(shù)據(jù)上存在顯著差異,我們無論接不接受新的方案,都是有概率犯錯誤的?!币簿褪钦f,反饋可能是錯誤的。

更要命的是,即使我們得到的反饋是對的,也可能在認(rèn)知上犯錯誤。比如我們錯誤的認(rèn)為,奢侈品的大圖上不加標(biāo)語是更好的,但實際上,只是不能只加優(yōu)惠政策類標(biāo)語,因為這看起來會很山寨,影響客戶的信任度,恰當(dāng)添加標(biāo)語也可以提升信任度。

商品圖源于網(wǎng)絡(luò)

基于反饋,我們可以判定最近的試驗是否有效,基于認(rèn)知,我們也可以沉淀更多可累積的經(jīng)驗。

就像企業(yè)一直追求的精細(xì)化運營,其背后就是這種聚沙成塔式累積的效應(yīng),能夠幫助我們累積得更多,走得更遠(yuǎn)!

 

作者:簡寧,神策數(shù)據(jù)資深分析師

本文由 @神策數(shù)據(jù) 發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!