數據分析的基礎工程:不只是資料品質而是問題意識

更新 發佈閱讀 3 分鐘


很多大公司小公司會想要導入數據分析作為內部決策的參考依據。不過,通常遇到的第一步,是發現公司內部空有資料,但殘缺不全。或是,基礎建設的效能不足等等問題。這時候,數據分析人員,往往除了執行數據分析的檢測或是資料探勘外,最常要做的就是自己動手清資料。也常常是因為這點,所以,許多公司的數據分析任務,一開始常常會跟資料工程(Data Engineer)混在一起。

以下是我自己經常遇到的場景:

Hello F , 長官最近對於產品良率的品質很有意見,但是技術部門實在太忙,每天光是在產線就飽了,根本沒空想解決良率的問題。你有沒有辦法做一點分析資料,提供一些洞見呢?
當然沒問題,不過,我想確定的是,我們的良率品質數據是完整的追蹤數據嗎?
欸~有是有,但好像不太齊全...。我去幫你問問哦。

通常這種狀況,會在經歷一個禮拜。然後,經歷了N個部門的詢問,終於,似乎得到了一個看起來比較像是可分析的數據使用。

其實這並不是少見的狀況。而且,這間公司的狀況已經好很多了,他們甚至是砸下了大筆資源的投資,建立了機聯網的數據蒐集機制。以至於,其實他們已經有基礎的數據源,而且在我看來,最關鍵的那一步已經建立起來。

問題就浮現了,為什麼許多公司宣稱自己有很多資料(或是數據)但真正在用的時候卻經常是不堪一擊。坦白說我覺得問題並不在於資料本身,而在於公司內部的人們是否嘗試從數據端來想問題。我的意思是說,我們的日常生活中想問題的解法會有多種方式,特別是技術人員有自身的經驗法則,但重點是,這些經驗法則要如何被第三方的資料所驗證呢?這事實上就是數據分析最常要做的事情:是在驗證某些第一線專家所無法回答的問題。

也因為如此,套一句社會科學訓練常說的話,不是你的資料本身發生的問題,是要做這件事情的「問題意識」並不清楚。當問題意識真的清楚了,這時候需要些什麼數據跟分析變量,就自然會被開展開來了。

這是為什麼許多大公司小公司,雖然平常好像有在蒐集資料,但真正要用的時候,就會遇到許多坑洞。用簡單的話來說,就是「未曾用過的資料,不能算是好的資料」;「好的資料,應該是經常被使用的資料」。


vocus|新世代的創作平台


(圖片擷取自網路;許多公司想像中的數據分析是這個儀表板。但事實上每張圖表的內涵著大量的問題意識。資料科學常常說的資料品質是garbage in, garbage out;而我的說法則是 question in, question out。有問題意識,才是好的資料。)



留言
avatar-img
Fisher 文組大叔 的沙龍
3會員
8內容數
在簡單介紹自己的轉職經驗後,這個出版系列將詳細的介紹轉職過程所需要做的準備工作,包含準備作品、履歷以及工作面談時的細節。希望幫助沒有程式開發經驗,但也想轉職工程師的朋友能找到自己理想中的工作。
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
看更多
你可能也想看
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
每日自動檢查資料庫運作所產生的訊息,若發現有錯誤,自動寄出警告信給擔當人員
Thumbnail
每日自動檢查資料庫運作所產生的訊息,若發現有錯誤,自動寄出警告信給擔當人員
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
數據驅動的專案管理如何提升決策質量,涵蓋數據收集與管理、數據分析策略、實際應用技巧,以及面臨的挑戰和解決方案。通過描述性分析、診斷性分析、預測性分析和規範性分析,專案經理能夠優化資源分配、進度管理和風險控制,確保專案順利進行。
Thumbnail
數據驅動的專案管理如何提升決策質量,涵蓋數據收集與管理、數據分析策略、實際應用技巧,以及面臨的挑戰和解決方案。通過描述性分析、診斷性分析、預測性分析和規範性分析,專案經理能夠優化資源分配、進度管理和風險控制,確保專案順利進行。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
實際就業後,會發現收集與分析需求,通常都不是工程師在做,會有另一群人,以非工程的角度收集及分析需求,然後在開發過程中蹦出不同的火花,於是很好奇另一群人的想法是什麼?我不敢說這本書能完全代表另一群人的想法,但確實能夠得到很多有用的思維。推薦給所有的軟體工程師。
Thumbnail
實際就業後,會發現收集與分析需求,通常都不是工程師在做,會有另一群人,以非工程的角度收集及分析需求,然後在開發過程中蹦出不同的火花,於是很好奇另一群人的想法是什麼?我不敢說這本書能完全代表另一群人的想法,但確實能夠得到很多有用的思維。推薦給所有的軟體工程師。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News