abtest測(cè)試用例「ABTest」

編輯導(dǎo)語(yǔ)：當(dāng)你需要結(jié)合產(chǎn)品的多個(gè)版本進(jìn)行測(cè)試時(shí)，你要如何利用ABtest做好數(shù)據(jù)分析？此時(shí)，你可以利用“方差分析”來(lái)完成測(cè)試。那么，多版本測(cè)試情況下的方差分析怎么做？一起來(lái)看看作者的解讀和演示吧。

之前分享了ABtest的基本原理，有小伙伴問(wèn)：那如果我不止AB兩個(gè)版本，而是有ABC三個(gè)版本做測(cè)試，還能用ABtest方法嗎？當(dāng)然能用！只是使用的統(tǒng)計(jì)學(xué)方法換成了：方差分析，今天簡(jiǎn)單跟大家分享一下。

一、多版本與AB兩個(gè)版本的區(qū)別

如果只有AB兩個(gè)版本比較，那么做假設(shè)檢驗(yàn)的時(shí)候，原假設(shè)是：A版本均值/比例=B版本均值/比例。之后，只要我們能用測(cè)試結(jié)果推翻原假設(shè)，就能說(shuō)明AB版本均值/比例不同，從而論證哪個(gè)版本更好。相應(yīng)的統(tǒng)計(jì)量，也是依此設(shè)計(jì)的。

當(dāng)有ABCDE……多個(gè)版本的時(shí)候，問(wèn)題變得略復(fù)雜一些。因?yàn)楹苡锌赡苓@一堆版本里，有些有差異，有些沒(méi)有。如果一個(gè)個(gè)測(cè)試，得對(duì)比n多次，費(fèi)時(shí)費(fèi)力。如何高效率地完成測(cè)試呢？

二、多版本測(cè)試基本思路

可以用兩步驟方法。

第一步：先做方差分析，檢驗(yàn)是否這幾個(gè)版本的均值都是相等的。

此時(shí)，原假設(shè)為：A版本=B版本=C版本=D版本……總之假設(shè)他們都是一樣的。如果沒(méi)有推翻該假設(shè)，則說(shuō)明大家均值都一樣，根本就不需要做第二步了。如果能推翻的話(huà)，再看其兩兩差距。

第二步：假設(shè)第一步檢測(cè)已推翻原假設(shè)，則進(jìn)行第二步檢驗(yàn)。

第二步可以用fisher LSD方法，對(duì)總體均值進(jìn)行兩兩比較。

今天就先不啰嗦第二步檢測(cè)了，我們先把第一步講清楚。

三、方差分析是什么？

方差分析是用來(lái)檢驗(yàn)多個(gè)版本（3個(gè)以上）對(duì)應(yīng)的多組數(shù)據(jù)，是否存在均值差異的方法。方差分析的統(tǒng)計(jì)學(xué)原理略復(fù)雜，小伙伴們可以簡(jiǎn)單記憶為：用一個(gè)F統(tǒng)計(jì)量，衡量各組數(shù)據(jù)的組間差異與組內(nèi)差異的比值。

當(dāng)組間差異很大，組內(nèi)差異很小的時(shí)候，則F統(tǒng)計(jì)量變得很大，說(shuō)明這些樣本肯定來(lái)自不同個(gè)體，從而不可能均值都相等，推翻原假設(shè)（如下圖所示）。

四、方差分析如何做

方差分析分為四步：

第一步：清晰要對(duì)比的版本。第二步：清晰要對(duì)比的數(shù)據(jù)指標(biāo)。第三步：收集不同版本的測(cè)試數(shù)據(jù)。第四步：計(jì)算F統(tǒng)計(jì)量值，進(jìn)行假設(shè)檢驗(yàn)。

看個(gè)簡(jiǎn)單的例子：產(chǎn)品給個(gè)ABC三個(gè)版本，測(cè)試不同用戶(hù)每日留存時(shí)間。每個(gè)版本各單獨(dú)抽6名隨機(jī)用戶(hù)進(jìn)行測(cè)試，數(shù)據(jù)如下：

第一步：確認(rèn)要參與對(duì)比的是ABC版本。第二步：確認(rèn)要比的指標(biāo)是：三個(gè)版本下，用戶(hù)每日留存時(shí)間。第三步：篩選用戶(hù)，發(fā)布版本，收集測(cè)試數(shù)據(jù)（這里說(shuō)的輕松，實(shí)際上涉及相當(dāng)多的開(kāi)發(fā)工作，之后有機(jī)會(huì)再詳細(xì)講）。第四步：進(jìn)行計(jì)算。這種只考慮“版本”一個(gè)影響因素的實(shí)驗(yàn)，稱(chēng)為：?jiǎn)我蛩胤讲罘治觯胑xcel都能求解（如下圖）。

解出來(lái)數(shù)據(jù)如下圖：

那么，可以認(rèn)為這三組測(cè)試結(jié)果均值不同，能做第二步檢驗(yàn)了。想偷懶的同學(xué)，可以直接認(rèn)為版本C更差勁，先踢出去。

五、方差分析擴(kuò)展

小伙伴們掌握了方差分析的思路以后，就能做很多對(duì)比。實(shí)際上，這種區(qū)分N個(gè)組別，測(cè)試版本/方法/屬性對(duì)某個(gè)指標(biāo)影響的做法，是數(shù)據(jù)實(shí)驗(yàn)的基本方法。通過(guò)不斷地實(shí)驗(yàn)，能測(cè)試出新版本/新方法到底能起多大作用。

同時(shí)，方差分析也有進(jìn)一步的應(yīng)用。比如本例中，很有可能不同用戶(hù)本身也有行為差異，需要從用戶(hù)行為中剔除個(gè)人差異（比如讓一個(gè)人體驗(yàn)三個(gè)版本）或者提前找到一些影響結(jié)果的因素（比如是否重度用戶(hù)）然后將同類(lèi)人組成一組。這些都是進(jìn)一步設(shè)計(jì)實(shí)驗(yàn)要考慮的。

或者，影響結(jié)果的不止一個(gè)因素。用戶(hù)用的久，除了版本影響外，還和運(yùn)營(yíng)動(dòng)作，促銷(xiāo)活動(dòng)等有很大關(guān)系，因此可能需要對(duì)多個(gè)因素進(jìn)行分析，此時(shí)又需要用到更復(fù)雜的方法。

總之，沒(méi)有一個(gè)方法能包打天下，小伙伴們且聽(tīng)我慢慢道來(lái)吧。

作者：碼工小熊，微信公眾號(hào)：碼工小熊

本文由 @碼工小熊 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash，基于CC0協(xié)議