A/B測試如何工作?

可以使用統計信息和分析來監控訪問者的操作,以確定產生更高轉換率的版本。 A/B測試結果通常以精美的數學和統計術語給出,但數字背後的含義其實很簡單。 有兩種重要的方法可以通過它們檢查A/B測試的轉換率 -

  • 數據採樣
  • 置信區間

下面詳細討論這兩種方法。

數據採樣

樣本數量取決於執行的測試次數。 轉化率的計數稱爲樣本,收集這些樣本的過程稱爲採樣。

示例

假設您有兩種產品A和產品B,想要根據市場需求收集樣品數據。 您可以要求幾個人從產品A和產品B中進行選擇,然後請他們參與調查。 隨着參與者數量的增加,它將開始顯示一個實際的轉換率。

有各種工具可用於確定正確的樣本數量。 下面是一個免費工具 - http://www.evanmiller.org

A/B測試如何工作?

置信區間

置信區間是對多個樣本數量的平均偏差的度量。 假設在上面的例子中有22%的人更喜歡產品A,置信區間爲±2%。 此間隔表示選擇產品A的人員的上限和下限,也稱爲誤差範圍。 爲了在這項平均調查中取得最佳結果,誤差應儘可能小。

示例

假設在產品B中,添加了一個小的改變,然後對這兩個產品進行了A/B測試。 置信區間乘積A和B分別爲10%±1%和20%±2%。 所以這表明,一個小的變化已經提高了轉換率。 如果我們忽略誤差幅度,測試變化A的轉換率爲10%,測試變化B的轉換率爲20%,即測試變化增加10%。

現在,如果將控制變化率的差值除以10%÷10%= 1.0 = 100%,則顯示出100%的提高。 因此,可以說A/B測試是一種基於數學方法和分析的技術。 有各種在線工具可用於計算A/B的重要性。

A/B測試如何工作?