【系統更新日誌】全球股市監控系統 v2.0:解決數據缺失,引入智慧快取機制

更新 發佈閱讀 4 分鐘
投資理財內容聲明

前言:12/23 的意外發現

在 12/23 的例行數據同步中,我發現了一個嚴重的問題:中國(CN)與日本(JP)股市的數據完整度大幅下降。經過分析,主因是 GitHub Actions 的出口 IP 請求過於頻繁,觸發了 Yahoo Finance 的流量防護(Rate Limit),導致大量數據抓取失敗。

為了確保「動能矩陣分析」的準確性,我針對數據管線(Data Pipeline)進行了架構優化。
專案程式碼


vocus|新世代的創作平台


vocus|新世代的創作平台

1. 智慧時效檢查(TTL Cache)

原本的系統是「只要檔案存在就跳過」,這會導致數據無法即時更新。新版本引入了 1 小時過期機制

  • 自動過期判斷:系統會檢查本地 CSV 檔案的最後修改時間。若檔案超過 1 小時,則判定數據已過時,強迫重新下載。
  • 兼顧效率與安全:在一小時內重複執行,系統會秒速完成(約 1 分鐘);若超過一小時,則會抓取最新行情。這有效降低了被封鎖 IP 的風險。

2. 數據健康度儀表板(Health Dashboard)

我們不再盲目相信下載結果。現在每個市場下載結束後,都會回傳精確的統計數據:

  • 應收標的總數:完整追蹤該交易所的所有掛牌普通股。
  • 成功率百分比:直觀顯示今日數據的覆蓋率(例如 99.74%)。
  • 異常預警:若成功率低於閥值,系統會在報表中發出提示。

3. 專業級 Email 報表升級

通知模組 notifier.py 現在能產生更專業的 HTML 報表:

  • 視覺化面板:報表頂部新增數據統計欄位。
  • 圖表內嵌(Inline Graphics):利用 CID 技術將九張報酬分布矩陣圖直接顯示在郵件中,不需額外開啟附件。
  • 台北時區修正:所有報告時間均已統一轉換為 台北時間 (UTC+8)

4. 進階技巧:手動強制刷新(Manual Purge)

雖然系統有 1 小時的智慧檢查,但若在盤中遇到突發事件想要「立刻」看到最新分析,GitHub Actions 的 Caches 管理界面就是你的「手動按鈕」。

vocus|新世代的創作平台



操作邏輯:

  1. 刪除快取:點擊條目右側的「垃圾桶」圖示,清除特定市場的記憶。
  2. 重新執行:再次啟動 Workflow,系統會因為找不到舊檔案而無視 1 小時規則,直接從交易所抓取最即時的報價。

結語

從 12/23 的失效經驗中,我學會了在自動化系統中「數據品質監控」與「抓取邏輯」同樣重要。現在,這套系統不僅跑得快,而且跑得更有底氣。

這次的系統更新主要源於 12/23 在執行數據同步時的一個重大發現:當天中國股市(CN-SHARE)與日本股市(JP-SHARE)的數據完整度大幅下降,部分標的因為連線頻率過高被伺服器阻斷。

為了確保動能分析矩陣的準確性,我針對數據管線進行了 v2.0 的架構優化。


vocus|新世代的創作平台




留言
avatar-img
《炒股不看周月年K漲幅機率就是耍流氓》
16會員
290內容數
普通上班族,用 AI 與 Python 將炒股量化。我的數據宣言是:《炒股不做量化,都是在耍流氓》。
2025/12/23
如果你正在使用 GitHub Actions 或是 Python 腳本開發自己的台股監控系統(例如參考 taiwan-stock-monitor 專案),「如何把報表寄到電子信箱」通常是最後一哩路。 市面上有很多郵件發送服務(如 Gmail SMTP),但設定繁瑣且安全性限制多。今天推薦這款開發者
Thumbnail
2025/12/23
如果你正在使用 GitHub Actions 或是 Python 腳本開發自己的台股監控系統(例如參考 taiwan-stock-monitor 專案),「如何把報表寄到電子信箱」通常是最後一哩路。 市面上有很多郵件發送服務(如 Gmail SMTP),但設定繁瑣且安全性限制多。今天推薦這款開發者
Thumbnail
2025/12/21
一、為什麼需要 3x3 矩陣?避開單一指標的盲點 在海量的全球股市數據中,投資人最常犯的錯誤是「只看加權指數」或「只看單一均線」。然而,指數的漲跌往往被權值股(如美股的 Mag 7 或台股的台積電)所掩蓋。 為了看清市場整體的「健康程度」,我開發了這套 3x3 分佈矩陣分析引擎: 橫向維度(時
Thumbnail
2025/12/21
一、為什麼需要 3x3 矩陣?避開單一指標的盲點 在海量的全球股市數據中,投資人最常犯的錯誤是「只看加權指數」或「只看單一均線」。然而,指數的漲跌往往被權值股(如美股的 Mag 7 或台股的台積電)所掩蓋。 為了看清市場整體的「健康程度」,我開發了這套 3x3 分佈矩陣分析引擎: 橫向維度(時
Thumbnail
2025/12/21
一、全球數據對接的挑戰:不只是 API 而已 在開發這套監控系統時,最耗時的往往不是寫分析邏輯,而是如何穩定地獲取不同市場的數據。每個國家的證券代碼格式、上市清單獲取方式,甚至是字體編碼都大不相同。 在週末的 48 小時內,我針對各國特性選擇了最適合的「數據引擎」: 台股 (TW):直接對接證
Thumbnail
2025/12/21
一、全球數據對接的挑戰:不只是 API 而已 在開發這套監控系統時,最耗時的往往不是寫分析邏輯,而是如何穩定地獲取不同市場的數據。每個國家的證券代碼格式、上市清單獲取方式,甚至是字體編碼都大不相同。 在週末的 48 小時內,我針對各國特性選擇了最適合的「數據引擎」: 台股 (TW):直接對接證
Thumbnail
看更多
你可能也想看
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
isalnum() : 檢測字串是否由字母和數字組成 isalpha() : 檢測字串是否只由字母組成 isalnum() str1 = "abc123" print(str1.isalnum()) str2 = "pop.cat" print(str2.isalnum()) str3
Thumbnail
isalnum() : 檢測字串是否由字母和數字組成 isalpha() : 檢測字串是否只由字母組成 isalnum() str1 = "abc123" print(str1.isalnum()) str2 = "pop.cat" print(str2.isalnum()) str3
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
在 Python 自動化領域中,pyautogui 是非常常用的工具,可以幫你模擬滑鼠與鍵盤操作。 這篇帶你快速掌握: ✔ 滑鼠移動 ✔ 點擊操作 ✔ 拖曳 ✔ 滾動
Thumbnail
在 Python 自動化領域中,pyautogui 是非常常用的工具,可以幫你模擬滑鼠與鍵盤操作。 這篇帶你快速掌握: ✔ 滑鼠移動 ✔ 點擊操作 ✔ 拖曳 ✔ 滾動
Thumbnail
在做自動化工具或測試腳本時,常常會需要操作視窗,例如: 👉 找到特定程式 👉 切換視窗 👉 自動化點擊操作 這時候,pyautogui 是一個很好上手的工具。
Thumbnail
在做自動化工具或測試腳本時,常常會需要操作視窗,例如: 👉 找到特定程式 👉 切換視窗 👉 自動化點擊操作 這時候,pyautogui 是一個很好上手的工具。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
從 JavaScript 到 Python
Thumbnail
從 JavaScript 到 Python
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News