我想要一天分享一點「LLM從底層堆疊的技術」,並且每篇文章長度控制在三分鐘以內,讓大家不會壓力太大,但是又能夠每天成長一點。
GPT-4 展示了其獨立生成並解釋程式的能力,超越了僅作為「助手」的角色,Microsoft Copilot 和 Google Colab Copilot 協助我們撰寫程式,但如果驅動這些助手的 AI 代理不再需要我們來進行自我複製呢?如果 AI 代理的角色從助手變成了主導者?如果某組織建立了一個擁有充足計算能力和數據的管道,將 LLM 用於商業、政治或軍事目標,這樣的模型可能會:
- 從零開始設計並編寫一個 Transformer 模型,使其能在多個領域中自我複製,執行無限數量的功能
- 從任何網站抓取數據,以構建用於誤導、錯誤信息、政治影響運動等不良意圖的數據集
- 通過管道部署自身,進入無數的在線論壇或社交媒體平台,並可在任何網站上發表評論,透過各種通道(電子郵件、智慧型手機短信等)進行交流
這樣的系統可能對個人和組織造成巨大危害,一個先進的提示工程系統能讓 GPT-4:
- 從零開始創建一個基於原始 Transformer 模型的原型,限制為單層並使用較小的數據集
- 添加批次處理並發送批次序列進行學習
- 通過將模型加載到 GPU 上來實現硬體加速
- 訓練該模型
- 證明其理解整個過程,並能夠解釋這一過程
























