Elasticsearch Index 生命週期管理:自動化索引管理、提升效能與降低成本

更新 發佈閱讀 6 分鐘

Elasticsearch 的 index 會隨著時間變大,導致查詢變慢、儲存成本升高。ILM (Index Lifecycle Management) 可以自動化:

  • Index 的 rollover(建立新 index)
  • Index 的 刪除(清理舊資料)
  • Index 的 轉冷 / 凍結(降低儲存成本)

1. ILM 基本概念

ILM(Index Lifecycle Management)用來自動化索引的生命週期管理,確保資料依照時間或大小條件自動 rollover、壓縮、甚至刪除。常見的階段(phase)有:

  • hot:資料正在寫入與查詢,效能需求最高。
  • warm:資料仍需查詢,但寫入頻率下降,可以壓縮或移到較慢的節點。
  • cold:資料幾乎不查詢,僅保存,通常移到低成本儲存。
  • frozen:極少存取的資料,僅保留以供查詢,會依賴快取與搜尋快照。
  • delete:資料不再需要,直接刪除。

每個 Phase 是有順序的,可按照 Hot → Warm → Cold → Frozen → Delete 進行

2. 設定 ILM Policy

我們要建立一個 metricbeat 的 ILM 規則:

  • 每天 rollover(index 活超過 1 天就換新 index)
  • 30 天後自動刪除
PUT _ilm/policy/metricbeat
{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": {
"max_age": "1d", // 存活超過 1 天就 rollover
"max_primary_shard_size": "50gb" // 單 shard 達 50GB 就 rollover
}
}
},
"delete": {
"min_age": "30d", // index 存活超過 30 天就刪除
"actions": {
"delete": {}
}
}
}
}
}

3. 套用 ILM Policy 到 Index Template

建立好的 policy 需要跟 index template 綁定,這樣新建立的 index 才會自動套用。

以下範例:

  • index 名稱符合 metricbeat-8.17.7* 的,會使用 metricbeat policy
PUT _index_template/metricbeat-8.17.7
{
"index_patterns": ["metricbeat-8.17.7"],
"template": {
"settings": {
"index": {
"lifecycle": {
"name": "metricbeat" // 指定要套用的 ILM policy
},
"refresh_interval": "5s"
}
}
}
}

4. 檢查 ILM 狀態

查詢某個 index 的 ILM 狀態:

GET .ds-metricbeat-8.17.7-*/_ilm/explain

範例輸出:

{
"indices": {
".ds-metricbeat-8.17.7-2025.09.09-000012": {
"index": ".ds-metricbeat-8.17.7-2025.09.09-000012",
"managed": true,
"policy": "metricbeat",
"age": "18.25h",
"phase": "hot",
"action": "rollover",
"step": "check-rollover-ready"
}
}
}

解讀:

  • phase: hot → 現在在 Hot 階段
  • action: rollover → 正在檢查 rollover 條件
  • age: 18.25h → Index 已經活了 18 小時
  • step: check-rollover-ready → 等待超過 1d 或滿足大小條件才 rollover

5. 總結

  • ILM 幫助自動化索引管理,不用手動清理舊資料
  • index template 必須綁定 ILM policy,否則不會生效
  • 可用 _ilm/explain 查狀態,理解 index 現在在哪個階段


留言
avatar-img
小猴工程師
2會員
31內容數
以工程師視角拆解技術與生活的連結。專長 DevOps、AI 與區塊鏈,把艱深的技術轉化為易懂的故事。 文章主題橫跨技術筆記、實作教學與個人經驗分享。 寫作理念:讓每個想靠技術改變生活的人,都能在這裡找到啟發。
小猴工程師的其他內容
2025/06/05
有沒有遇過這種情況: 股票(或其他投資)帳面已經賺錢了,明明只要按個賣出就能落袋為安,結果卻想說「再等一下好了,搞不好還能漲」,結果從賺錢變成賠錢。 不是不會看圖,也不是沒掌握消息,只是不想賣。這不是技術問題,是心態問題。 為什麼明明賺錢,卻捨不得賣? 最常見的理由就是:「感覺還可以再賺多一
2025/06/05
有沒有遇過這種情況: 股票(或其他投資)帳面已經賺錢了,明明只要按個賣出就能落袋為安,結果卻想說「再等一下好了,搞不好還能漲」,結果從賺錢變成賠錢。 不是不會看圖,也不是沒掌握消息,只是不想賣。這不是技術問題,是心態問題。 為什麼明明賺錢,卻捨不得賣? 最常見的理由就是:「感覺還可以再賺多一
2025/04/15
這篇文章提供教學,如何使用 Python 和 Pandas 函式庫將 Elasticsearch 的 JSON 資料(透過 Elasticdump 匯出)轉換成 Excel 可讀取且支援繁體中文的 CSV 檔案,並解決常見的中文編碼問題。
2025/04/15
這篇文章提供教學,如何使用 Python 和 Pandas 函式庫將 Elasticsearch 的 JSON 資料(透過 Elasticdump 匯出)轉換成 Excel 可讀取且支援繁體中文的 CSV 檔案,並解決常見的中文編碼問題。
2025/03/25
演算法是解決問題的系統性流程,廣泛應用於各領域,如廚師的食譜、音樂家的樂譜和程式設計師的程式碼。河內塔問題是經典的遞迴演算法示例,透過觀察、數學建模與遞推關係,揭示演算法設計的核心思維。掌握這些技巧有助於拆解複雜問題並找到最佳解法。如果你對演算法有興趣,歡迎留言交流!
Thumbnail
2025/03/25
演算法是解決問題的系統性流程,廣泛應用於各領域,如廚師的食譜、音樂家的樂譜和程式設計師的程式碼。河內塔問題是經典的遞迴演算法示例,透過觀察、數學建模與遞推關係,揭示演算法設計的核心思維。掌握這些技巧有助於拆解複雜問題並找到最佳解法。如果你對演算法有興趣,歡迎留言交流!
Thumbnail
看更多
你可能也想看
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
這篇文章主要是介紹了SQL查詢效能調校的方法,針對索引最佳化做了整理和分享,並提供了一些注意事項和建議。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
本文章介紹了搜尋引擎優化 (SEO) 策略,包括關鍵字策略、內容品質、行動相容性、頁面載入速度等。此外,也談及內容行銷、社群媒體互動、電子郵件行銷、付費廣告、影響者合作 (Influencer Partnership) 及使用者體驗 (UX) 優化。提供了優化網站流量的建議。
Thumbnail
本文章介紹了搜尋引擎優化 (SEO) 策略,包括關鍵字策略、內容品質、行動相容性、頁面載入速度等。此外,也談及內容行銷、社群媒體互動、電子郵件行銷、付費廣告、影響者合作 (Influencer Partnership) 及使用者體驗 (UX) 優化。提供了優化網站流量的建議。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
這邊統整了所有過去發表過關於 QUERY 函式的教學分享,希望可以方便你按照順序閱讀和練習。 QUERY 可以用來查詢、篩選、聚集、排序資料,還可以做張簡易的資料透視表,是我在 Google 試算表上做數據分析、製作報告、製作儀表板時最常用的函式之一,既方便又好用,誠心推薦!
Thumbnail
這邊統整了所有過去發表過關於 QUERY 函式的教學分享,希望可以方便你按照順序閱讀和練習。 QUERY 可以用來查詢、篩選、聚集、排序資料,還可以做張簡易的資料透視表,是我在 Google 試算表上做數據分析、製作報告、製作儀表板時最常用的函式之一,既方便又好用,誠心推薦!
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
免費SEO優化電子書, 省下5000元, 一萬七千多字完全免費送! SEO優化電子書目錄 【SEO基礎知識】 什麼是SEO? SEO搜尋引擎的運作原理 【關鍵字研究】 SEO關鍵字研究的方法有哪些? SEO關鍵字分析工具 在進行關鍵字研究時,使用一些專門的關鍵字分析工具可以幫
Thumbnail
免費SEO優化電子書, 省下5000元, 一萬七千多字完全免費送! SEO優化電子書目錄 【SEO基礎知識】 什麼是SEO? SEO搜尋引擎的運作原理 【關鍵字研究】 SEO關鍵字研究的方法有哪些? SEO關鍵字分析工具 在進行關鍵字研究時,使用一些專門的關鍵字分析工具可以幫
Thumbnail
SEO與關鍵字搜尋在Google搜尋引擎當道的現在是門顯學。聽著SEO專家講述著如何靠著關鍵字,順利寫好文案內容,甚至只需要掌握關鍵字的骨幹,再逆向生出肉(內容),即便在該領域知識著墨不多,也能不費工夫,就精準命中目標客群與增加被搜尋機會以提高能見度。
Thumbnail
SEO與關鍵字搜尋在Google搜尋引擎當道的現在是門顯學。聽著SEO專家講述著如何靠著關鍵字,順利寫好文案內容,甚至只需要掌握關鍵字的骨幹,再逆向生出肉(內容),即便在該領域知識著墨不多,也能不費工夫,就精準命中目標客群與增加被搜尋機會以提高能見度。
Thumbnail
在網路速度有限的情況下,依序記錄不斷產生的資訊,能統計使用者在頁面上操作了哪些功能。
Thumbnail
在網路速度有限的情況下,依序記錄不斷產生的資訊,能統計使用者在頁面上操作了哪些功能。
Thumbnail
抓取對象檔案,自動進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可節省硬碟使用空間
Thumbnail
抓取對象檔案,自動進行壓縮處理,壓縮後產出一個壓縮檔案,如此便可節省硬碟使用空間
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News