【MLOps - Airflow 疑難雜症】如何使用minio docker container執行作業?

更新 發佈閱讀 3 分鐘
vocus|新世代的創作平台


建議閱讀

在開始之前, 建議您先閱讀以下篇章, 相信當您開始大量使用Airflow作業時, 難免會需要儲存空間的方案, 像是今天的主角minio就是其中之一, 而我們會建議您先閱讀相關篇章也是有道理的, 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業, 避免干擾到主機的運作。


幾個關鍵重點

這裡我們歸納出幾個關鍵重點, 幫助您在使用minio容器時更加順利。

詳讀文檔非常重要, 但除了詳讀文檔之外, 我們也要能夠融會貫通, 最好的方法就是善用工具, 像是LLM這類的AI工具, 幫助我們快速聯想與知識轉換, 以下是我們透過這類工具來處理疑難雜症的經驗談, 歡迎閱讀:


這邊是我們的DAG

主要我們會使用 minio/mc 這個Docker Image來進行我們今日的任務, 而關鍵的幾個重點是我們會設法讓entrypoint不進行作業, 而是透過 command 來執行一連串的minio client command。


結語

個人經驗是一開始卡在entrypoint及command這兩個地方, 這是我們未來使用DockerOperator會常常遇到的問題, 因此我們需要去稍微了解一下各個組件的Docker是如何封裝的, 或者文檔中都會指出應該怎麼使用它, 所以這點要非常注意。

留言
avatar-img
阿Han的沙龍
160會員
332內容數
哈囉,我是阿Han,是一位 👩‍💻 軟體研發工程師,喜歡閱讀、學習、撰寫文章及教學,擅長以圖代文,化繁為簡,除了幫助自己釐清思路之外,也希望藉由圖解的方式幫助大家共同學習,甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2025/04/30
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」有分享如何使用Docker來架設GPT-SoVITS的TTS API服務, 但過程中我們卻遇到了一些困難, 相信有深入使用這套TTS服務的朋友應該難免也會遇到這類的問題, 期望透過我們的分享幫助到正在遇到困難的你! 首先我
Thumbnail
2025/04/30
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」有分享如何使用Docker來架設GPT-SoVITS的TTS API服務, 但過程中我們卻遇到了一些困難, 相信有深入使用這套TTS服務的朋友應該難免也會遇到這類的問題, 期望透過我們的分享幫助到正在遇到困難的你! 首先我
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
看更多
你可能也想看
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
本文介紹了容器的基本概念、組成部分以及其在應用開發中的重要性,特別是對初階和高階工程師的影響。透過深入探討容器的優點,以及Docker、Kubernetes和ArgoCD等相關技術,幫助讀者理解容器化的應用與管理,進而簡化開發過程並提高效率。適合對容器技術感興趣的開發者從零開始學習與掌握。
Thumbnail
本文介紹了容器的基本概念、組成部分以及其在應用開發中的重要性,特別是對初階和高階工程師的影響。透過深入探討容器的優點,以及Docker、Kubernetes和ArgoCD等相關技術,幫助讀者理解容器化的應用與管理,進而簡化開發過程並提高效率。適合對容器技術感興趣的開發者從零開始學習與掌握。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
建議閱讀 在開始之前, 建議您先閱讀以下篇章, 相信當您開始大量使用Airflow作業時, 難免會需要儲存空間的方案, 像是今天的主角minio就是其中之一, 而我們會建議您先閱讀相關篇章也是有道理的, 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業, 避免干擾到主機的
Thumbnail
建議閱讀 在開始之前, 建議您先閱讀以下篇章, 相信當您開始大量使用Airflow作業時, 難免會需要儲存空間的方案, 像是今天的主角minio就是其中之一, 而我們會建議您先閱讀相關篇章也是有道理的, 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業, 避免干擾到主機的
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
當我們架設好Docker環境, 並撰寫一個DAG為Docker Operator的關卡時, 執行後竟然出現以下錯誤: raise AirflowException("Failed to establish connection to any given Docker hosts.") air
Thumbnail
當我們架設好Docker環境, 並撰寫一個DAG為Docker Operator的關卡時, 執行後竟然出現以下錯誤: raise AirflowException("Failed to establish connection to any given Docker hosts.") air
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
為什麼我們只推薦docker的環境? 因為透過容器化可以讓我們各個組件安裝的套件各自獨立, 不會發生早期常常衝突的狀況, 當然我們也可以用conda來隔開, 但它的層面僅限於python環境, 我們需要的是整個os環境, 因此docker會是我們優先考慮的選項之一。 👉 在我們開始之前…
Thumbnail
為什麼我們只推薦docker的環境? 因為透過容器化可以讓我們各個組件安裝的套件各自獨立, 不會發生早期常常衝突的狀況, 當然我們也可以用conda來隔開, 但它的層面僅限於python環境, 我們需要的是整個os環境, 因此docker會是我們優先考慮的選項之一。 👉 在我們開始之前…
Thumbnail
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台, 雖然可以幫助我們自動化記錄實驗參數、模型…等數據, 但我們也會希望模型的訓練可以更加的自動化, 而Airflow正好就具備流程設計與管理的功能, 我們可以彈性的設計在某個時間點從某個數據集自動訓練
Thumbnail
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台, 雖然可以幫助我們自動化記錄實驗參數、模型…等數據, 但我們也會希望模型的訓練可以更加的自動化, 而Airflow正好就具備流程設計與管理的功能, 我們可以彈性的設計在某個時間點從某個數據集自動訓練
Thumbnail
這一篇主要來談談公司的團隊在於開發一套系統時,對於程式語言開發的初入者需要學些什麼樣的重要技能,對應到Python我們應該學哪些? 畢竟我們的時間、資源、精神都有限,不可能每一樣都學習到深入,所以我們需要的是正在業界的前輩所分享的經驗談,正好您也很幸運的看到這一篇,濃縮了軟體開發生涯中幾年的經驗,並
Thumbnail
這一篇主要來談談公司的團隊在於開發一套系統時,對於程式語言開發的初入者需要學些什麼樣的重要技能,對應到Python我們應該學哪些? 畢竟我們的時間、資源、精神都有限,不可能每一樣都學習到深入,所以我們需要的是正在業界的前輩所分享的經驗談,正好您也很幸運的看到這一篇,濃縮了軟體開發生涯中幾年的經驗,並
Thumbnail
本文指導如何驗收基於 Docker 的開發環境,檢查 Laravel 後端、Nuxt 前端、Nginx 反向代理和 MariaDB 資料庫是否正常運行。透過啟動容器、修改 hosts 檔案、測試各服務的運作,確保整個開發環境穩定。並且提供了常見問題的解決方案,幫助開發者順利驗收環境。
Thumbnail
本文指導如何驗收基於 Docker 的開發環境,檢查 Laravel 後端、Nuxt 前端、Nginx 反向代理和 MariaDB 資料庫是否正常運行。透過啟動容器、修改 hosts 檔案、測試各服務的運作,確保整個開發環境穩定。並且提供了常見問題的解決方案,幫助開發者順利驗收環境。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News