定性研究:我們到底應(yīng)該訪談多少用戶?

0 評(píng)論 4537 瀏覽 21 收藏 15 分鐘

在用戶研究和市場(chǎng)調(diào)研領(lǐng)域,定性研究是一種不可或缺的方法,然而,一個(gè)常見(jiàn)的困惑是:在定性研究中,究竟需要訪談多少用戶才能獲得有價(jià)值且具有代表性的數(shù)據(jù)?本文將深入探討這一問(wèn)題,從定性研究與定量研究的區(qū)別出發(fā),結(jié)合實(shí)際案例和專家建議,為你提供科學(xué)的指導(dǎo)和實(shí)用的計(jì)算公式,幫助你在成本和收益之間找到最佳平衡點(diǎn)。

你是不是經(jīng)常遇到這樣的問(wèn)題:當(dāng)開(kāi)展一項(xiàng)定性研究時(shí),訪談多少個(gè)用戶才是最佳的?這個(gè)問(wèn)題背后是成本和收益的最佳平衡點(diǎn)問(wèn)題。

01?定性研究VS定量研究的樣本量

在回答這個(gè)問(wèn)題前,我們首先要知道樣本量的本質(zhì)是用“小數(shù)據(jù)”推測(cè)“大真相”

無(wú)論是調(diào)查一個(gè)城市的消費(fèi)者偏好,還是研究全國(guó)用戶的產(chǎn)品使用習(xí)慣,我們幾乎不可能調(diào)查所有人。因此,需要通過(guò)抽樣(從總體中選取一部分樣本)來(lái)推測(cè)總體情況。

而這種“推測(cè)”,在定性研究和定量研究中的邏輯是不同的。

1.定量研究

定量研究(如問(wèn)卷):追求“數(shù)字的廣度”,目標(biāo)是統(tǒng)計(jì)代表性

定量研究樣本量的確定受到很多因素的影響,具體包括:

(1)總體大小當(dāng)總體規(guī)模較小時(shí),樣本量會(huì)隨著總體的增加而相對(duì)較多地增加。但是當(dāng)總體規(guī)模達(dá)到一定程度后(通常是10000),總體的大小對(duì)樣本量的影響就變得相對(duì)較小了。無(wú)限總體假設(shè)下的樣本量和有限總體校正(Finite Population Correction, FPC)樣本量計(jì)算公式不同,本文不做詳細(xì)展開(kāi)。

(2)期望的置信水平和置信區(qū)間常用的置信水平為95%(Z值為1.96)或99%(Z值為2.58)。置信區(qū)間(或誤差范圍)越小,所需樣本量越大。

(3)變異性越高的群體變異性(多樣性)通常需要更大樣本量來(lái)捕捉不同群體特征。

(4)研究目的描述性研究一般需要較少樣本,而要進(jìn)行推斷或預(yù)測(cè)的研究可能需要更多樣本以確保結(jié)果的穩(wěn)健性。

【常見(jiàn)的經(jīng)驗(yàn)法則】

  • 描述性研究:通常至少30個(gè)樣本
  • 相關(guān)性研究:一般至少30-50個(gè)樣本
  • 實(shí)驗(yàn)研究:每組至少15-30個(gè)樣本
  • 回歸分析:每個(gè)預(yù)測(cè)變量10-15個(gè)樣本(有些學(xué)者建議更高)
  • 因子分析:變量數(shù)的5-10倍,且不少于100個(gè)樣本
  • 結(jié)構(gòu)方程模型(SEM) :至少200個(gè)樣本,復(fù)雜模型可能需要更多

(5)設(shè)計(jì)效應(yīng)

在定量研究中,設(shè)計(jì)效應(yīng)(Design Effect, DEFF)反映了復(fù)雜抽樣方法(如分層、整群或多階段抽樣)相較于簡(jiǎn)單隨機(jī)抽樣(SRS)對(duì)樣本量需求的影響。某些抽樣方法,比如集群抽樣,因?yàn)橥粋€(gè)集群內(nèi)的個(gè)體可能很相似,所以結(jié)果可能偏向某個(gè)方向,導(dǎo)致需要更多樣本來(lái)糾正這個(gè)偏差。

設(shè)計(jì)效應(yīng)越大,所需樣本量越多,以維持相同的統(tǒng)計(jì)精度。

Tips:定量研究樣本量問(wèn)題本文不做展開(kāi),感興趣可到“用戶研究成長(zhǎng)圈”知識(shí)星球?qū)W習(xí)。

2.定性研究

定性研究(如訪談)追求“信息的深度”,目標(biāo)是達(dá)到飽和(Saturation)

關(guān)于“飽和”的概念,尼爾森諾曼集團(tuán)(Nielsen Norman Group)的 Maria Rosala(2021 年)提出以下定義:

“在定性研究中達(dá)到飽和是指從研究中浮現(xiàn)的主題已經(jīng)足夠詳盡,再進(jìn)行更多的訪談也不會(huì)提供能夠改變這些主題的新見(jiàn)解?!崩纾矨pp團(tuán)隊(duì)想了解用戶卸載原因。前10次訪談中,發(fā)現(xiàn)了“功能復(fù)雜”“廣告太多”等6個(gè)原因;第11~15次訪談中,新增了“耗電量高”這一原因;第16~20次訪談無(wú)新發(fā)現(xiàn)。此時(shí)可認(rèn)為達(dá)到飽和,樣本量定為20人。?2017年,Hennick 等人進(jìn)一步定義了兩種形式的飽和度:

代碼飽和(Code saturation)——“當(dāng)不再發(fā)現(xiàn)新問(wèn)題,且代碼本開(kāi)始趨于穩(wěn)定時(shí)的節(jié)點(diǎn)。”

意義飽和(Meaning saturation)——“當(dāng)我們完全理解問(wèn)題,且無(wú)法再發(fā)現(xiàn)任何新的維度、細(xì)微差別或問(wèn)題的見(jiàn)解時(shí)的節(jié)點(diǎn)?!?/p>

根據(jù) Hennick 等人(2017)的說(shuō)法,代碼飽和“可能表明研究人員已經(jīng)‘聽(tīng)到了所有內(nèi)容’”,而意義飽和則發(fā)生在研究人員“理解了所有內(nèi)容”時(shí)。那么問(wèn)題來(lái)了,訪談的樣本量達(dá)到多少才能達(dá)到代碼飽和以及意義飽和?

02?定性研究樣本量問(wèn)題

來(lái)自海外的一名專家Katryna Balboni在Victor Yocco等人基礎(chǔ)上,提供了一個(gè)計(jì)算定性研究樣本量的公式:

所需樣本量 = 被訪者未出席率 x ((研究范圍 x 人群多樣性 x研究方法)/研究人員專業(yè)程度)

Participants = No-show rate x ((scope x diversity x method)/expertise)

1.研究范圍(Scope)

國(guó)外的Rolf Molich基于比較可用性評(píng)估研究和個(gè)人研究經(jīng)驗(yàn),在2010年提出了一個(gè)有趣的框架:

Slater Berry在2023年從戰(zhàn)術(shù)性與戰(zhàn)略性研究的角度討論了不同研究范圍所需的樣本量問(wèn)題:

咨詢公司 Blink UX 的 Brittany Schiessel同樣在2023年提出:

  • 基礎(chǔ)性研究(10-12 名參與者)——以更深入地了解您的主題或感興趣領(lǐng)域
  • 形成性研究(6-8 名參與者)——在開(kāi)發(fā)開(kāi)始之前,識(shí)別問(wèn)題和考慮因素以指導(dǎo)設(shè)計(jì)
  • 總結(jié)性研究(15+ Ps)—— 用于衡量用戶體驗(yàn)

在這些人的基礎(chǔ)上,Katryna Balboni做如下收斂:

  • 狹窄 —— 針對(duì)現(xiàn)有產(chǎn)品或非常具體問(wèn)題的研究(最少未知數(shù)、戰(zhàn)術(shù)性、形成性)。范圍 = 1
  • 專注型 —— 創(chuàng)建新產(chǎn)品或探索已定義的問(wèn)題(存在一些未知因素,戰(zhàn)術(shù)性或戰(zhàn)略性,形成性)。   范圍 = 1.25
  • 廣泛 —— 發(fā)現(xiàn)新問(wèn)題/洞察(許多未知因素,戰(zhàn)略性,基礎(chǔ)性)。范圍 = 1.5

2.樣本群體多樣性(Diversity)

通常來(lái)說(shuō),群體越多樣化,達(dá)到飽和狀態(tài)所需的參與者就越多(Hennick & Kaiser, 2022)。

Katryna Balboni的公式中,多樣性由一個(gè)值表示:

  • 非常相似:我使用多個(gè)標(biāo)準(zhǔn)來(lái)招募具有共同特征和/或習(xí)慣的特定人群(例如“擁有 5-10 年經(jīng)驗(yàn)且使用過(guò) AWS 的英國(guó)軟件工程師”)多樣性 = 1
  • 有些類似:我正在招募特定的一群人(例如“具有 5-10 年經(jīng)驗(yàn)的軟件工程師”)多樣性 = 1.3
  • 有些不同:我正在招募一些不同的參與者或者幾組不同的群體。雖然有一些限制,但相當(dāng)多的人可能符合資格(例如,“在過(guò)去 12 個(gè)月中在線購(gòu)物 2 次以上的女性?!保┒鄻有?= 1.5
  • 非常不同:我正在招募一組非常多樣化的參與者或幾個(gè)不同的群體。資格標(biāo)準(zhǔn)更寬泛,許多人可能符合條件。(例如,“過(guò)去 12 個(gè)月內(nèi)在網(wǎng)絡(luò)上購(gòu)物過(guò)的人。”)多樣性 = 1.7

從“非常相似”到“有些相似”的跳躍,其值增加了 30%。在此之后,每增加一個(gè)多樣性程度,數(shù)值就增加 15%。

這是基于一個(gè)假設(shè),即樣本群體之間會(huì)存在一些相似之處,并且隨著樣本量的增加,總體重疊量也會(huì)增加。

3.研究人員的專業(yè)知識(shí)(Expertise)

研究人員的專業(yè)知識(shí)越豐富,對(duì)所研究現(xiàn)象越熟悉,他們作為研究工具的表現(xiàn)就越有效。

換句話說(shuō),熟練的研究人員可以用更少的參與者揭示見(jiàn)解。

Katryna Balboni的公式中,專業(yè)水平是一個(gè)介于 1 至 1.3 之間的值,具體取決于你對(duì)以下問(wèn)題的回答:“參與該項(xiàng)目的研究人員平均有多少年從事這類研究的經(jīng)驗(yàn)?”

  • 0-4 年。 專業(yè)水平 = 1
  • 5-9 年。 專業(yè)度 = 1.1
  • 10-14 年。 專業(yè)水平 = 1.15
  • 15-19 年。 專業(yè)度 = 1.2
  • 20-24 歲。 專業(yè)水平 = 1.25
  • 25 年以上。 專業(yè)水平 = 1.3

Yocco (2017) 建議這個(gè)變量對(duì)于初學(xué)者研究者應(yīng)從 1 開(kāi)始,并且每增加 5 年經(jīng)驗(yàn),以 0.10 的速率遞增。Katryna BalboniH計(jì)算后,發(fā)現(xiàn)以這種速率增加專業(yè)分母會(huì)產(chǎn)生過(guò)于顯著的影響。

Katryna BalboniH仍然將這個(gè)值增加了 0.10,以實(shí)現(xiàn)從 0-4 年到 5-9 年經(jīng)驗(yàn)的首次跳躍,但之后每 5 年區(qū)間的增幅減少到 0.05。

4.被訪者未出席率(No-show rate)

缺席者是指那些接受了研究邀請(qǐng)但從未出現(xiàn)在訪談中的人。

在對(duì) 201 名可用性專業(yè)人士的調(diào)查中,尼爾森諾曼集團(tuán)的團(tuán)隊(duì)發(fā)現(xiàn)人們報(bào)告的平均未出席率為 11%(Nielsen, 2003)。同時(shí),Jeff Sauro (2018) 指出典型范圍在 10%到 20%之間。

這意味著,每需要 10 名參與者,實(shí)際上應(yīng)該招募 11 或 12 人。

Katryna BalboniH堅(jiān)持使用 10%的比例——因?yàn)檫@是一個(gè)整齊的數(shù)字。

5.研究方法

Katryna BalboniH在前人的研究基礎(chǔ)上,給出了一張表:

根據(jù)這張表:

  • 一對(duì)一訪談的基準(zhǔn)樣本量是12個(gè)
  • 焦點(diǎn)小組的基礎(chǔ)樣本量是18個(gè)(3組,每組6名)
  • 日記研究的基準(zhǔn)樣本量是10個(gè)
  • 共同設(shè)計(jì)或參與式設(shè)計(jì)的基線樣本量是10個(gè)
  • 卡片分類研究的基準(zhǔn)樣本量是20個(gè)
  • 可用性測(cè)試的基線是9個(gè)
  • 概念測(cè)試(通常在項(xiàng)目的早期階段進(jìn)行,以評(píng)估用戶對(duì)想法或簡(jiǎn)單原型的反應(yīng))基礎(chǔ)樣本量是5個(gè)

6.綜合起來(lái)

現(xiàn)在,我們有了影響飽和的所有變量,根據(jù)公式代入計(jì)算所需樣本量 = 被訪者未出席率 x ((研究范圍 x 人群多樣性 x研究方法)/研究人員專業(yè)程度)

場(chǎng)景 1:探索性訪談

你希望在開(kāi)發(fā)新產(chǎn)品時(shí)進(jìn)行一些探索性訪談——假設(shè)這個(gè)產(chǎn)品是一個(gè)面向銷售運(yùn)營(yíng)的工具。

你的目標(biāo)用戶是銷售運(yùn)營(yíng)專家,但你也希望與那些在工作中涉及銷售運(yùn)營(yíng)的其他人員交流。

換句話說(shuō),你的被訪者可能有某種程度上相似的使用場(chǎng)景和需求。你有10 年的研究經(jīng)驗(yàn),并且與一位擁有 4 年客戶訪談經(jīng)驗(yàn)的產(chǎn)品經(jīng)理共同進(jìn)行這些訪談——你計(jì)劃平分這項(xiàng)工作。

  • 范圍 = 廣泛 = 1.5
  • 多樣性 = 有些相似 = 1.3
  • 方法 = 訪談 = 12
  • 專業(yè)知識(shí) = 5-9 年 [平均] = 1.1
  • 未出席率=1.10

因此:樣本量 = 1.1 x ((1.5 x 1.3 x 12)/1.1) = 23.4

人不能分成小數(shù),所以我們把樣本量四舍五入到 24。

場(chǎng)景 2:概念測(cè)試

你是一位用戶體驗(yàn)設(shè)計(jì)師,正在為英國(guó)市場(chǎng)開(kāi)發(fā)一款旅行產(chǎn)品。

在對(duì)目標(biāo)受眾(假設(shè)他們是高收入、對(duì)奢華、環(huán)保/文化意識(shí)強(qiáng)的旅行感興趣的成年人)進(jìn)行了一些探索性研究后,你已經(jīng)有了一個(gè)清晰的概念和低保真原型。

現(xiàn)在,你想了解自己是否走在正確的道路上——這些想法能否引起共鳴?你有三年從事這類研究的經(jīng)驗(yàn)。

  • 范圍 = 聚焦 = 1.25
  • 多樣性 = 非常相似 = 1
  • 方法 = 概念測(cè)試 = 5
  • 專長(zhǎng) = 0-4 年 = 1

所需樣本量 = 1.1 x (( 1.25 x 1 x 5)/1) = 6.9

所以在這個(gè)情況下,你需要招募 7 名參與者。

總之,定性研究的樣本量需要根據(jù)研究范圍、數(shù)據(jù)收集方法、資源限制以及信息飽和的原則來(lái)綜合考慮。

研究者需要在數(shù)據(jù)收集過(guò)程中不斷評(píng)估是否達(dá)到了信息飽和,并根據(jù)研究進(jìn)展動(dòng)態(tài)調(diào)整樣本量。

本文由人人都是產(chǎn)品經(jīng)理作者【Peron用戶研究】,微信公眾號(hào):【Peron用戶研究】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!