[Day1]AI學習筆記--從大腦啟發到深度學習:AI如何從數據中找到特徵

更新 發佈閱讀 6 分鐘

從大腦啟發到深度學習:一窺 AI 找尋「資料背後特徵」的旅程

什麼是人工智慧(AI)與機器學習(ML)?

人工智慧(Artificial Intelligence, AI)是「打造智慧機器的科學與工程」(The science and engineering of creating intelligent machines)。而其中最核心的實踐方式就是機器學習(Machine Learning, ML)。

機器學習的經典定義來自 Arthur Samuel:「讓電腦具備在沒有明確程式設計下也能學習的能力」(The field of study that gives computers the ability to learn without being explicitly programmed)。這句話說明了 ML 的核心精神:從原始資料中學習並發現隱含的特徵


一個簡單的例子:從 MRI 預測個人健康

讓我們以「從 MRI 影像預測一個人的健康狀況」為例,來理解 AI 模型的學習過程。

vocus|新世代的創作平台

首先,模型會接收到 MRI 影像作為輸入 x,但原始影像對機器來說毫無意義。如下圖所示,即使人類能辨識大腦區域,模型仍無法直接從圖像中找出規律:

vocus|新世代的創作平台

[MRI 原圖]

因此,我們需要先將影像轉換為機器能理解的形式,也就是向量化特徵 ϕ(x),例如:

[0.1516516, 16516.51, ..., 15.5484984]

這樣的向量能作為模型的輸入,用來預測輸出 y。透過比較預測值 y 與真實標籤 t的差異(例如使用 L2 損失函數),模型就可以根據這個誤差來更新參數。整體架構如下:

f_w(φ(x)) → y (with ground-truth t)

這樣的設定就是我們熟知的 監督式學習(Supervised Learning),每個輸入 x 都有一個對應的正確答案 t


特徵不是那麼容易找出來

然而,資料之間的特徵並不總是明顯。例如下圖左側,原始資料無法簡單用一條線就分開兩類:

vocus|新世代的創作平台

這時我們可能會透過手工設計特徵(hand-designed features),例如使用:

φ₁(x) = √(x₁² + x₂²)

將資料重新映射到新的空間,如此一來分類邊界就變得簡單許多。但手工特徵設計成本高、彈性差,因此人們開始思考:是否能仿造人腦的結構來自動提取特徵?


仿腦啟發:從神經元到深度學習

人腦中有約 860 億個神經元(neurons),以及 1014 ~ 1015個突觸(synapses),這些結構成為 AI 架構設計的靈感來源。


1. Spiking Neural Networks(SNN)

這類架構模仿大腦的「積分放電」(integrate-and-fire)機制:

  • 神經元持續對輸入脈衝進行電位積分
  • 當電位高於閾值時發出脈衝(spike)
  • 發放頻率或時間即用來編碼訊息

這是較生物真實的模擬方式,代表系統如 IBM 的 TrueNorth 晶片。


2. Artificial Neural Networks(ANN)

現今最廣泛應用的是類神經網路(ANN),其關鍵機制包含:

  • 加權和(Weighted Sum):每層神經元根據權重整合輸入
  • 非線性(Nonlinearity):如 ReLU 將結果變形,增加模型表現力
  • 反向傳播(Backpropagation):根據損失計算梯度,更新參數以學習資料中的特徵

這三者讓神經網路能自動從資料中學習複雜表示,而不需人為設計特徵。

vocus|新世代的創作平台

深度學習:讓神經網路變「更深」

當我們將神經網路層數進一步加深,就形成了我們熟悉的「深度學習(Deep Learning)」。如下圖,每一層都像是在抽取資料中的一層意義:

vocus|新世代的創作平台

這可用以下數學形式表示:

vocus|新世代的創作平台

其中,每個 ϕi 代表第 i 層的處理函數,輸出作為下一層的輸入,形成一個逐層抽象的特徵階層(hierarchy of concepts/features)


AI 發展三波:歷史中的演進

  • 第一波:Cybernetics(控制論) | 1940s–1960s

→ 模仿神經元與控制迴路,代表模型為 McCulloch–Pitts,因技術限制未持續發展。

  • 第二波:Connectionism(連結主義) | 1980s–1990s

→ 發展 Backpropagation,出現 MLP、Hopfield Net、Boltzmann Machine 等,但資料不足。

  • 第三波:Deep Learning(深度學習) | 2006–至今

→ Hinton 提出 DBN,GPU 與大數據推動 CNN、RNN、Transformer 普及。


Big Data 時代:讓學習更簡單

過去,我們若只有少量資料,必須倚賴精心設計的演算法來彌補樣本不足;

但在 Big Data 時代

  • 訓練樣本大量增加
  • 模型能在海量樣本中自動學習特徵
  • 甚至簡單模型也能表現良好(不一定要設計很複雜)

這也是為什麼說:「大數據讓機器學習變得容易了」。

機器學習的三要素為:

  1. 模型(Hypothesis)
  2. 資料(Data)
  3. 學習演算法(Learning Algorithm)

只要資料足夠,就像給模型提供了強大燃料,它能自己學會你想要的東西。


總結

從 MRI 特徵提取,到模仿人腦結構的神經網路與深度學習,我們看到 AI 的核心就是從資料中找到特徵的能力。透過層層堆疊的函數結構,我們正逐步接近一種 自動理解世界的方式 —— 也就是今天深度學習的真正價值。

留言
avatar-img
Ben_Coding沙龍
0會員
3內容數
學習筆記
你可能也想看
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述,經過 AI說書 - 從0開始 - 74 到目前為止的實驗,應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 如 AI說書 - 從0開始 - 78 所述,經過 AI說書 - 從0開始 - 74 到目前為止的實驗,應可以漸漸感受到 Transformer 模型如何從數學層面漸漸往
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
今天來和你分享這本我剛讀完的「AI 世界的底層邏輯與生存法則」。當大家一股腦地想投入AI的領域當中時,這本書的作者程世嘉帶著我們用更高的視角和思維來思考,在AI時代下最重要的底層思考邏輯,找出那些最有價值的核心觀念,幫助我們在這個快速變化的世界當中站穩腳步,釐清未來的方向。
Thumbnail
今天來和你分享這本我剛讀完的「AI 世界的底層邏輯與生存法則」。當大家一股腦地想投入AI的領域當中時,這本書的作者程世嘉帶著我們用更高的視角和思維來思考,在AI時代下最重要的底層思考邏輯,找出那些最有價值的核心觀念,幫助我們在這個快速變化的世界當中站穩腳步,釐清未來的方向。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 87 說:Wang 等人 2019 年的論文,提供了合理答案的選擇 (Choice of Plausible Answers, COP
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 87 說:Wang 等人 2019 年的論文,提供了合理答案的選擇 (Choice of Plausible Answers, COP
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型,並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing,現
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 我們已經在 AI說書 - 從0開始 - 114 建立了 Transformer 模型,並在 AI說書 - 從0開始 - 115 載入權重並執行 Tokenizing,現
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 Transformers for Natural Language Processing and Computer Vision, 2024 這本書中講 Decoder
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 87 說:Wang 等人 2019 年的論文,提供了合理答案的選擇 (Choice of Plausible Answers, COP
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 87 說:Wang 等人 2019 年的論文,提供了合理答案的選擇 (Choice of Plausible Answers, COP
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 回顧 AI說書 - 從0開始 - 129 中說,Bidirectional Encoder Representations from Transformers (BER
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明,有一個很重要的結論:最適合您的模型不一定是排行榜上最好的模型,您需要學習 NLP 評
Thumbnail
我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。 從 AI說書 - 從0開始 - 82 到 AI說書 - 從0開始 - 85 的說明,有一個很重要的結論:最適合您的模型不一定是排行榜上最好的模型,您需要學習 NLP 評
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News