設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

0 評論 5141 瀏覽 28 收藏 17 分鐘

有關(guān)設(shè)計(jì)師必備的體驗(yàn)評估設(shè)計(jì)指南——本篇為組織篇,內(nèi)容從策劃、評估、跟進(jìn)、復(fù)盤、推廣、改正等步驟詳細(xì)介紹了組織體驗(yàn)評估的整個(gè)過程,整理了升級的思路以及落地執(zhí)行的詳細(xì)流程,希望對你有所幫助。

前面兩篇文章介紹了58UXD體驗(yàn)評估體系升級的思路:

本篇將介紹如何有序組織體驗(yàn)評估,并將詳細(xì)講解本次QMD升級的要點(diǎn)、難點(diǎn)是如何落地執(zhí)行的。

我們選用質(zhì)量管理工具PDCA來組織體驗(yàn)評估,做體驗(yàn)管理。以季度為評估周期,一個(gè)季度完成一次PDCA循環(huán)后,我們持續(xù)迭代評估體系,從而更好的完成下一個(gè)周期的體驗(yàn)評估。

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

一、策劃-Plan

策劃的主要內(nèi)容就是大家很熟悉的5W1H了。

1.評估目標(biāo)-Why

如第一篇文章所述,新的體驗(yàn)評估機(jī)制,評估目標(biāo)從單一的提升體驗(yàn)質(zhì)量,調(diào)整成契合業(yè)務(wù)目標(biāo)的體驗(yàn)質(zhì)量。參與體驗(yàn)評估,業(yè)務(wù)設(shè)計(jì)師的預(yù)期有:

  1. 提升產(chǎn)品使用體驗(yàn);
  2. 提升業(yè)務(wù)核心指標(biāo)。

QMD項(xiàng)目組需要兼顧參與評估業(yè)務(wù)的預(yù)期,目標(biāo)有:

  1. 采用可靠的評估機(jī)制,度量契合業(yè)務(wù)目標(biāo)的體驗(yàn),發(fā)掘影響業(yè)務(wù)目標(biāo)的體驗(yàn)問題,確保評估結(jié)果可信、可靠并易感知
  2. 確保按照規(guī)劃周期性做體驗(yàn)評估、同步結(jié)論、跟進(jìn)優(yōu)化;
  3. 驗(yàn)證各個(gè)參評業(yè)務(wù)的評估指標(biāo)、評估機(jī)制的可靠性。

2.相關(guān)人員-Who

想要按照以上預(yù)期高質(zhì)量的完成體驗(yàn)評估,離不開組織架構(gòu)的支持。58UXD設(shè)立了由交互設(shè)計(jì)師和用研工程師組成的體驗(yàn)管理組。由體驗(yàn)管理組來組織全部業(yè)務(wù)的體驗(yàn)考核、體驗(yàn)評估、體驗(yàn)展示、體驗(yàn)跟進(jìn)等一系列橫向體驗(yàn)管理項(xiàng)目。

QMD作為體驗(yàn)管理的重要工具,由體驗(yàn)管理組中的QMD項(xiàng)目組來牽頭策劃完成。有同學(xué)對58UXD其他體驗(yàn)管理工具感興趣的話,可以在評論區(qū)留言。明確了組織方及其職責(zé),根據(jù)新的評估機(jī)制,還需要每個(gè)業(yè)務(wù)6名評估專家(2名產(chǎn)品、2名交互、2名視覺)。

QMD項(xiàng)目組采取了參評業(yè)務(wù)產(chǎn)品、交互、視覺交叉互評的方式,由第二篇文章介紹的評分者信度保障結(jié)果的可靠性。在新的體驗(yàn)評估機(jī)制下,有很多QMD項(xiàng)目組和業(yè)務(wù)設(shè)計(jì)師需要溝通協(xié)作的節(jié)點(diǎn)。

為了高效運(yùn)行評估機(jī)制,QMD項(xiàng)目組在各個(gè)參評業(yè)務(wù)都明確了一位QMD對接人。各個(gè)角色的職責(zé)明確如下:

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

3.評估業(yè)務(wù)-What

新的體驗(yàn)評估機(jī)制對參評業(yè)務(wù)也有了新的要求。出于可行性和投入產(chǎn)出比的考慮,我們根據(jù)以下4點(diǎn),深入了解各個(gè)業(yè)務(wù)的情況,做出研判,最終確定了參評業(yè)務(wù)。

  1. 當(dāng)前階段業(yè)務(wù)對于體驗(yàn)的重視程度如何;
  2. 業(yè)務(wù)是否有明確的、可持續(xù)監(jiān)控的目標(biāo);
  3. 業(yè)務(wù)迭代的頻率如何;
  4. 業(yè)務(wù)是否已達(dá)到一定用戶規(guī)模。

4.時(shí)間規(guī)劃-When

如前所述,新的體驗(yàn)評估機(jī)制關(guān)鍵節(jié)點(diǎn)多,時(shí)間跨度長,需要周密的規(guī)劃和嚴(yán)謹(jǐn)?shù)臅r(shí)間管理。QMD項(xiàng)目組是以季度為單位做周期性體驗(yàn)評估的,所以在季度初就會做好整個(gè)季度的規(guī)劃,并嚴(yán)格執(zhí)行。同時(shí)采用周報(bào)制來及時(shí)處理意外事件,保障項(xiàng)目準(zhǔn)時(shí)完成。

另外值得提一下評估場次時(shí)間的確定,除了視評估專家的時(shí)間安排外,也需要考慮線上測評的版本是否符合業(yè)務(wù)預(yù)期,晚幾天可能就到了發(fā)版時(shí)間,是否需要評估最新版,需要綜合情況和業(yè)務(wù)協(xié)商。同時(shí)也要求QMD項(xiàng)目組在規(guī)劃之初,就要留好類似這種情況的buffer。

5.評估地點(diǎn)-Where

確定好評估時(shí)間,就可以提前約會議室了。然而我們在2022年的Q2和Q4,遇到了兩次因疫情大量同事遠(yuǎn)程辦公的情況。如此我們需要保證線上評估或者部分同學(xué)線上評估的結(jié)果可靠性。原理如第二篇文章所述,需要保障人員可靠性、認(rèn)知一致性,標(biāo)準(zhǔn)化實(shí)施方案。

6.怎么評估-How

給到專家評估,我們需要至少準(zhǔn)備評分工具和主觀問題反饋工具。這些都需要以評估指標(biāo)為基礎(chǔ),我們從第一篇文章了解到指標(biāo)的制定原理后,各個(gè)業(yè)務(wù)的評估指標(biāo)具體怎么確定呢?

首先,調(diào)整基礎(chǔ)指標(biāo):我們知道業(yè)務(wù)的評估指標(biāo)由基礎(chǔ)指標(biāo)和自定義指標(biāo)構(gòu)成的,我們在制定指標(biāo)前需要根據(jù)新的指標(biāo)體系需要,重新審視原有的基礎(chǔ)指標(biāo)。我們認(rèn)為一個(gè)良好的基礎(chǔ)指標(biāo),應(yīng)該是清晰、準(zhǔn)確、普適、易懂;我們邀請專家對這樣的指標(biāo)進(jìn)行評估,應(yīng)該是對體驗(yàn)設(shè)計(jì)有指導(dǎo)意義的。

所以對基礎(chǔ)指標(biāo)做了如下調(diào)整:評估指標(biāo)由原來的一級指標(biāo)改為二級指標(biāo),顆粒度更細(xì),聚焦到具體問題;相似指標(biāo)合并,二級指標(biāo)由15個(gè)合并成10個(gè);增加動效、語義等方面的評估;評估指引描述方式更直白、易理解;等等。

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

我們把基礎(chǔ)指標(biāo)給到業(yè)務(wù),由業(yè)務(wù)設(shè)計(jì)師參考以下幾個(gè)原則制定個(gè)性化指標(biāo)體系。

  1. GSM模型(Goal- Signal- Metric):方法在第一篇文章中;
  2. 反向思考:場景拆解到什么程度,可以結(jié)合業(yè)務(wù)的實(shí)際需要,由希望監(jiān)控的顆粒度來定,以結(jié)果的實(shí)用性為準(zhǔn);
  3. 有跡可循:場景的設(shè)計(jì)目標(biāo),需要是可量化、可監(jiān)控的,一方面可以追蹤優(yōu)化效果,另一方面可以反向驗(yàn)證指標(biāo)制定的合理性;
  4. 因地制宜:評估指標(biāo)需要足夠細(xì)化、貼合業(yè)務(wù)場景。比如基礎(chǔ)指標(biāo)中的“品牌”指標(biāo),在基礎(chǔ)指標(biāo)中的描述是“”,是考慮普適性的描述方式。而其在不同業(yè)務(wù)中的具體元素、形式、原則等體驗(yàn)要素都差別較大,所以需要額外說明當(dāng)前業(yè)務(wù)的“品牌”具體需要達(dá)到什么體驗(yàn)要求。有些業(yè)務(wù)會額外提供一份品牌手冊,供專家評估參考;
  5. 穩(wěn)定性:指標(biāo)體系內(nèi)的元素需要在一定時(shí)間范圍內(nèi)保持穩(wěn)定,盡量不因業(yè)務(wù)的調(diào)整而頻繁變化。

有了細(xì)化的評估指標(biāo)制定指引,我們向參評業(yè)務(wù)做了詳盡的講解,并充分探討其在各個(gè)業(yè)務(wù)的可行性。業(yè)務(wù)設(shè)計(jì)師按照要求,結(jié)合實(shí)際情況,制定了由總目標(biāo)、影響總目標(biāo)的場景、場景的評估指標(biāo)、評估指標(biāo)的詳細(xì)說明四個(gè)部分構(gòu)成的指標(biāo)體系。

而后交由QMD項(xiàng)目組審核,確定無誤后,由業(yè)務(wù)設(shè)計(jì)師根據(jù)模版,自行制定體驗(yàn)評估要用到的評分工具和主觀問題反饋工具,這里我們用的分別是58問卷和在線協(xié)作表格。

二、評估-Do

1.體驗(yàn)評估

一切準(zhǔn)備就緒后,就可以邀請專家來評估了。就像第二篇文章介紹的那樣,為了保障評估結(jié)果的可靠性,我們對評估工具、專家、環(huán)境等都制定了標(biāo)準(zhǔn)化方案。下圖是QMD項(xiàng)目組在專家評估前宣講的評估目標(biāo)、機(jī)制及評估注意事項(xiàng)。

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

2.信度評估

>專家評估后,我們就拿到了評分問卷和主觀問題記錄表的原始數(shù)據(jù)。首先最重要的一件事就是預(yù)處理評分?jǐn)?shù)據(jù),評估信度,完成校驗(yàn)閉環(huán)。我們采用的信度可靠對照關(guān)系如下:

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

如果第一次信度評估可靠程度不高,則需要調(diào)整數(shù)據(jù)組,重新進(jìn)行信度評估,直至信度可靠。我們并非每一場體驗(yàn)評估都一帆風(fēng)順,在疫情期間遠(yuǎn)程體驗(yàn)評估時(shí),我們就遇到了無論如何調(diào)整數(shù)據(jù)組都不能達(dá)到信度可靠的結(jié)果的情況。

發(fā)現(xiàn)了這種情況,我們立即響應(yīng),臨時(shí)邀約更多專家,快速加測了一場。欣慰的是,兩場評估結(jié)果合并后,經(jīng)過數(shù)據(jù)組調(diào)整,評分信度可靠。

3.業(yè)務(wù)復(fù)議

通過第二篇文章我們知道,復(fù)議階段的目標(biāo)一是矯正部分理解有偏差的主觀問題,二是讓業(yè)務(wù)盡快了解QMD的結(jié)論,感受到其可靠可信,快速迭代優(yōu)化問題。所以:

  • 復(fù)議呈現(xiàn)給業(yè)務(wù)的內(nèi)容有:評分、分?jǐn)?shù)對比、對應(yīng)的主觀問題、截圖等;
  • 需要留給業(yè)務(wù)復(fù)議的反饋空間;
  • 想要做體驗(yàn)評估的你,需要具備一定的數(shù)據(jù)分析基礎(chǔ)和表格操作技巧。

4.輸出報(bào)告

報(bào)告是為了讓體驗(yàn)評估結(jié)論更加直觀、可信,便于查閱與傳播。我們對報(bào)告做了一些調(diào)整:

  1. 評分和問題對應(yīng)展示;
  2. 評分間差距標(biāo)記更加清晰明了;
  3. 增加QMD項(xiàng)目組的優(yōu)化建議。希望業(yè)務(wù)重視分?jǐn)?shù)洼地、不及競品的指標(biāo)對應(yīng)的影響較大的主觀建議。

高優(yōu)場景/指標(biāo)/問題判斷標(biāo)準(zhǔn)如下,供參考:

  • a.權(quán)重最高或較高;
  • b.和均值比差10%/8%/5%/3%以上;
  • c.和競品比差10%/8%/5%/3%以上;
  • d.同比/環(huán)比差10%/8%/5%/3%以上

三、體驗(yàn)跟進(jìn)&項(xiàng)目復(fù)盤-Check

前面兩篇文章介紹的體驗(yàn)評估指標(biāo)體系和評估機(jī)制,是我們通過現(xiàn)狀分析、理論分析等綜合確定的,此時(shí)我們需要校驗(yàn)兩點(diǎn):??一是需要校驗(yàn)根據(jù)認(rèn)知、經(jīng)驗(yàn)主觀拆解的評估指標(biāo)是否符合預(yù)期;二是需要校驗(yàn)QMD機(jī)制全程保障的專家評估結(jié)論是否可靠。

我們采取的校驗(yàn)方式,就是看體驗(yàn)評估的結(jié)論應(yīng)用到業(yè)務(wù)的體驗(yàn)優(yōu)化后,是否帶來如預(yù)期程度的業(yè)務(wù)指標(biāo)的提升。所以我們在報(bào)告同步后,下一次體驗(yàn)評估前,留足業(yè)務(wù)改進(jìn)優(yōu)化的時(shí)間,組織參評業(yè)務(wù)復(fù)盤QMD結(jié)論落地情況。由各個(gè)業(yè)務(wù)闡述以下內(nèi)容:

  1. 問題發(fā)掘&解決:QMD報(bào)告分析&洞察、解決思路&方案、上線效果&數(shù)據(jù)、結(jié)論;
  2. 項(xiàng)目管理:優(yōu)化進(jìn)度、迭代計(jì)劃。

同時(shí)為了激勵(lì)、幫助業(yè)務(wù)設(shè)計(jì)師推動結(jié)論落地,我們邀請?jiān)O(shè)計(jì)總監(jiān)、設(shè)計(jì)負(fù)責(zé)人和高階設(shè)計(jì)師從三個(gè)維度為業(yè)務(wù)復(fù)盤的內(nèi)容打分、點(diǎn)評,包括邏輯合理度、指標(biāo)結(jié)果相關(guān)度、進(jìn)度。

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

同時(shí)QMD項(xiàng)目組收獲了業(yè)務(wù)設(shè)計(jì)師對于整個(gè)體驗(yàn)評估機(jī)制的一些想法,結(jié)合組織過程遇到的問題和思考,做了周期性的復(fù)盤。

四、推廣&改正-Action

通過業(yè)務(wù)復(fù)盤及評委打分、點(diǎn)評,我們了解到業(yè)務(wù)的大部分迭代效果都是正向的,小部分負(fù)向效果的迭代需要嘗試其他設(shè)計(jì)方案。所以目前沒有因?yàn)閺?fù)盤結(jié)果而要調(diào)整指標(biāo)的情況。由此印證QMD體驗(yàn)評估的結(jié)論是可靠的,整個(gè)體驗(yàn)評估流程也是可靠的。

如果有業(yè)務(wù)出現(xiàn)按照QMD的結(jié)論設(shè)計(jì)方案,驗(yàn)證發(fā)現(xiàn)預(yù)期的業(yè)務(wù)數(shù)據(jù)沒有提升或者反而下降,則需要反思指標(biāo)制定、分析、洞察、解決思路、方案是否有問題,逐一排查關(guān)鍵環(huán)節(jié),及時(shí)作出調(diào)整。

如開篇所述,QMD項(xiàng)目組也在每次體驗(yàn)評估完成后進(jìn)行復(fù)盤,持續(xù)優(yōu)化評估機(jī)制,目前整個(gè)流程已經(jīng)形成SOP,便于高效組織每次評估,跟緊業(yè)務(wù)節(jié)奏,打好配合。

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

五、最后

以上詳盡介紹了我們QMD項(xiàng)目組,組織58UXD各個(gè)業(yè)務(wù)體驗(yàn)評估的過程與思考。我們認(rèn)為整個(gè)體驗(yàn)評估體系的升級和實(shí)踐,最關(guān)鍵的思考邏輯就是閉環(huán)管理,這個(gè)邏輯貫穿始終,讓所有人為因素的影響降到最低,保障過程和結(jié)果可靠可信。

我們設(shè)定的閉環(huán)管理一共有以下三個(gè)方面:

  1. 在策劃環(huán)節(jié),各業(yè)務(wù)制定的指標(biāo)體系、整理的評估工具,都由QMD項(xiàng)目組審核,確保指標(biāo)拆解符合指引要求,評估工具準(zhǔn)確無誤;
  2. 在評估環(huán)節(jié),各個(gè)業(yè)務(wù)的專家的評分都需要評估評分者信度,確保評分可靠;
  3. 在跟進(jìn)環(huán)節(jié),通過業(yè)務(wù)復(fù)盤了解優(yōu)化效果,校驗(yàn)指標(biāo)制定的可靠性,以及整個(gè)QMD新機(jī)制為業(yè)務(wù)體驗(yàn)設(shè)計(jì)帶來的價(jià)值。

設(shè)計(jì)師必備體驗(yàn)評估設(shè)計(jì)指南(組織篇)

作者:58UXD

來源公眾號:58UXD(ID:i58UXD),58UXD,全稱58同城用戶體驗(yàn)設(shè)計(jì)中心。

本文由人人都是產(chǎn)品經(jīng)理合作媒體 @58UXD 授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務(wù)。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!