前測思維研究所(1):量化是減少不確定性的第一步
2024年更新,這裡想跟你推薦我的課程:前測問卷設計實戰課程
前言:
我發現我這三到五年主要的工作和累積,都是在解決新產品、新服務或新事業,在0到1的階段如何有效生存下來的方法,內容包含:如何驗證自己想法是否靠譜?如果測試自己的產品或服務是否有市場價值? 用戶是否真的買單? …等等。
我打算寫一系列文章,嘗試將自己這幾年在這方面的一些經驗,並且試著整理出一套方法論,而裡頭的內容會有許多讀書或學習的筆記,或者是一些我在實務工作解決問題的思路與技巧。
希望這些內容對您有所幫助,您在閱讀完有任何收獲,也歡迎隨時與我交流互動。
一、量化是減少不確定性的第一步
所有科學研究的目的與結果都是減少我們人類對這世界的不確性,而要想做好研究的第一步,就是要先確認需要量化的目標是什麼,而在商業領域上也是如此,如果我們的新產品、新服務或新的創業項目在0到1的階段想要預測或驗證是否成功的話,學習如何量化也會是重點之一。
同時,身為創業者或管理者們都應該要明白,有許多事物看似無法量化,但事實上很可能只是你尚未為所討論的主題作出明確定義。
因此如果你能夠搞清楚自己的商業問題,或者內心的真實意圖是什麼,就已經完成了量化工作的一半。
比方說:在氣候變化研究中,碳排放量是一個關鍵指標。確定碳排放量有助於科學家了解人類活動對全球變暖的影響,並制定相應的減排政策。此外,透過量化碳排放,政府和企業能夠實施更有效的減排措施,以實現可持續發展目標。
另外又比方說:在商業上常見的「客戶滿意度指數」(Customer Satisfaction Index, CSI)也是一個經典的案例,對於企業來說,客戶滿意度是一個重要的經營指標。通過將客戶滿意度量化,企業可以了解客戶對其產品或服務的滿意程度,從而優化商業策略以吸引和留住客戶,而不是只憑大家的感覺來做決策。
二、減少不確定性所需的成本比你想像中還來小
其實已經有許多被證明有效的量化方法,有助于我們量化某些最初認為不可量化的事物,而且可能方法你比想像中的簡單或者成本更低,另外大多數量化方法其實就是一些基本方法的變化,這些基本方法有幾種抽樣和控制實驗,有時候還會選一個重點問題來關注。
比方說:看到這個新聞時,我們會想知道,要如何簡單估算一個池子中有多少魚?當然最笨的方式就是直接把魚池抽乾,然後把所有的魚撈出來一條一條去數,但可想而之,這方法的成本代價太高。
而一個簡單的方式如下:我們可以先捕捉了40條魚,然後在各自標記後把魚放回。
再過了幾天之後,我們可以再捕撈約160條魚,其中發現有6條帶標記,因此標記魚與總魚數的比例是6:160。
而因為一開始我們有40條標記魚,所以我們可以估算出魚池裡的魚應該有1067條(算式:(40×160)/6=1067)
不過這裡也要提醒你,這樣的估計方式,仍可能有很大誤差,例如魚的分布並不一定均勻。我們在撈的時候,可能會因為少抓了兩條標記魚,結果魚的總數就會被高估變成1600條(算式:(40×160)/4=1600)。這樣就容易產生30%的誤差因此,建議一個更好的方法是多捕捉幾次,再取個平均值。
這個例子的重點是想告訴時,有時你想量化一件事情的方法與成本,可能比你原先想像中的還要小。
但是在商業決策的場景中,這些量化方法常常被忽略,也許是因為大家覺得它們太過細節和正式了。即使這些方法不花太多時間和錢,人們還是覺得沒必要去做,但事實上,它們是可以起到很大作用。
例如:「5人法則」我覺得就是一個很有用的方法之一,這個方法來自《如何衡量萬事萬物》這本書,下面是我改寫的一個案例來幫助你理解,我們將運用五人法則來衡量公司內部的員工滿意度。
假設某公司正在尋求改進員工福利,以提高員工的工作滿意度,以期提高整體的工作效率。在這種情況下,了解員工的滿意程度對於制定相應的改進計劃非常重要。
為了節省時間和資源,我們將使用五人法則來進行抽樣調查。首先,從公司的員工通訊錄中隨機挑選五名員工。接著,對這五名員工進行一次簡短的問卷調查,詢問他們對目前的工作滿意度以及期望公司改進的方面。問卷可以包括一個滿意度評分,範圍在1到10之間,1表示非常不滿意,10表示非常滿意。
假設收集到的五個滿意度評分分別為6、8、7、9和5。在這個範圍內,最低評分為5,最高評分為9。根據五人法則,所有員工的平均滿意度有93.75%的可能性在5到9之間。這意味著,根據這個小樣本,可以估算出公司整體的員工滿意度大致在這個範圍內。
接下來,我們可以分析這五名員工提出的改進建議。假設他們分別希望改進的方面包括:工作環境、薪資待遇、工作時長、教育訓練機會和福利政策。這些反饋的資訊可以幫助公司了解員工需求,進一步制定相應的改進計劃。
然而,在使用五人法則時,我們仍需考慮一些可能影響結果的因素。例如,抽樣方法的好壞可能會對結果產生很大影響。在這個案例中,如果五個被抽樣的員工都屬於同一部門,那麼結果可能會受到這個部門特定狀況的影響,從而無法完全反映整個公司的員工滿意度。此外,樣本中的員工可能會受到他們當天的心情、最近的工作經歷或其他因素的影響,這些因素也可能導致調查結果的偏差。
因此,在分析結果時,我們應該採取一定的保守態度,將樣本調查結果作為參考,而非絕對的數據。對於可能存在的誤差,我們可以通過與其他資訊相結合,例如評估員工流失率、收集更多部門的反饋等方式,來獲得更全面的滿意度評估。
在這個案例中,五人法則提供了一個快速、簡便的方法來估算公司整體的員工滿意度。雖然這種方法可能存在一定的誤差,但在時間和資源有限的情況下,它依然是一個有價值的工具。透過這個方法,公司可以快速了解員工的需求和期望,制定相應的改進策略,提高整體的員工滿意度和工作效率。
這裡也再補充「5人法則」的其他解釋:Why You Only Need to Test with 5 Users ,這篇文章的作者是 Jakob Nielsen,他是丹麥一位人機互動專家,被認為是現代使用者體驗設計(User Experience, UX)的先驅之一,在網站設計和使用者測試方法的發展上有重要的貢獻。
文章中提到的 “5 人法則”(Rule of 5)來源於他對使用者介面測試的觀察,並非基於嚴格的統計計算,而他的主要觀察是,對於大部分的使用者介面設計,每增加一個測試用戶,就能發現更多的問題,但是這些新發現的問題的數量會隨著測試用戶數的增加而遞減。換句話說,每個額外的用戶提供的新資訊會越來越少。基於這種觀察,Nielsen 建議只需要五個用戶就足以找出大部分的使用者介面問題。不過這裡要提醒你的是,這個法則並不是基於精確的統計計算,而是基於作者的經驗和對問題發現速率的估計。
Nielsen 的觀察可以以數學模型來表示,在文章中你可以看到圖片,這個模型稱為 “問題發現曲線”(problem discovery curve)。這個曲線的形狀大致上是一個遞減的曲線,表示每增加一個測試用戶,發現的新問題數量就會遞減。
這個模型的基本假設是每個用戶都有一定的機率發現一個問題,並且每個問題都有一定的機率被一個用戶發現。因此,每增加一個用戶,就增加了發現新問題的機會,但是這些新問題的數量會隨著已經發現的問題數量的增加而遞減。
最後,再次提醒這個模型並不提供一種精確的方法,而是提供一種直觀的方式來理解為什麼每增加一個用戶,發現的新問題數量會遞減。實際上,會因為具體的測試環境和用戶樣本的變化而變化。
總結來說,五人法則可以幫助我們在許多情境中迅速獲得有用的資訊,而我認為它適用於許多範疇廣泛的問題,例如:滿意度調查、產品評價、用戶行為等等,而我自己在做群眾募資專案,或者線上課程的「課前調查」的抽樣訪談時,也時常會用到這個方法。。
雖然它可能存在一定的誤差,但是簡單易用和成本效益使其在許多情況下具有很高的實用價值。
當然,在運用五人法則時,我們需要留意抽樣方法的選擇以及結果的局限性,適當地結合其他資訊來源,以獲得更全面、準確的結果。
最後我想引用書中的一段話來提醒你:「人們經常高估了樣本的誤差,從而導致對樣本價值的低估。」
三、不用一步到位,降低不確定性是一個不斷改善的過程
這點很多人並不知道,他們會認為想做好預測或評估似乎就要一次解決,如果沒有任何方法可以做到這樣的話,就不值得去做,轉而就去胡亂嘗試,或只想依照直覺或經驗就去下判斷。
在實務上我建議你可以把下面這2點放在心上,它不一定在所有情境下都是正確的,但實際在使用中我覺得很有用:
1. 你面臨的難題並非像你所想的那麼特殊,以及你所需的資料比你想像中的還要少
比方說,過去我有個客戶,他們決定要開發一項新產品,在投入之後老板希望先找一些資料來研究,但公司的市場部門同仁,認為他們面臨的競爭環境與客戶需求相當特殊,難以找到相關資料。(這在許多公司都有類似的狀況。)
然而,當我接到這個案子之後,仔細研究了過往的一些市場報告,並且協助客戶一起調查後,我才發現其實客戶本身就有足夠的數據,足以分析出潛在客戶的需求。而且,在經過一番挖掘,他們自己也發現,要收集的新資料其實遠比原本想象的少。
最後,客戶公司決定利用已有資料進行初步研究,並輕鬆地獲得了少量新資料來驗證他們的假設,使新產品順利上市。
2. 你擁有的資料比你所認為的更豐富,獲得新數據的過程比你想像的更簡單
比方說,我有一個學弟,他是一位新創公司的產品經理,最近被公司指派一個新的任務,要替公司的App改版,要設計出一個對用戶友善的新介面,但他認為自己要先有大量的數據才能完成任務。
因此他跟公司提出了許多要求和資源,但卻一直被主管給打槍,他覺得很無奈,完全很不合理,因此來找我諮詢時,一直抱怨公司在找他麻煩,說又要馬兒好又要馬兒不吃草,根本做不到。
但實際上在與他仔細討論過,我發現他其實已經擁有了來自過去APP的用戶反饋,可以幫助他理解用戶的喜好和需求。此外,其實他僅僅需要進行有限的新調查或測試,就可以來獲得用戶的反饋。
四、小結
我想閱讀這篇文章的讀者,可能都會想像過去在大學裡曾學過的統計學,會回想起各種量化的概念,不過其實對多數人而言,釐清量化的觀念並不容易,而且當我們進入職場工作之後,不管是在任何專業領域或職務工作中,你會發現你所面對的各種問題,似乎都是一個又一個無法衡量的事物。
比方說:
- 身為電商的開發業務,老板叫你選品時,你會心想說:這個產品到底會不會變成爆款?
- 在接募資專案時,客戶一定會問我說:你覺得這個產品可以募多少錢?
- 進行創業諮詢顧問時,客戶時常會問說:「我不太確定這個點子到底有沒有市場?」(創業者的心態通常是兩個極端,一方面對自己的點子有極度的信心,但對未知又有無限的焦慮。)
而要想解決這些問題,除了學習量化與前測的技巧之外,在這之前你要排除心中的第一個阻障,要先給自己一個重要認知是:無形事物只是個迷思,量化的困難是可以克服的,而探討與數量相關的問題具有重要意義。
以上,如果你讀完這篇文章有任何想法,歡迎您隨時留言與我交流互動。
探索更多來自 學習長 阿康 的內容
Subscribe to get the latest posts sent to your email.