AI說書 - 從0開始 - 166 | 保存訓練好的 Tokenizer

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

整理目前手上有的素材：

• 準備資料集：AI說書 - 從0開始 - 162 | 準備Pretrain模型需要的資料
• 準備必備函數庫：AI說書 - 從0開始 - 163 | 準備Pretrain模型需要的函數庫
• Tokenizer 前言：AI說書 - 從0開始 - 164 | Tokenizer 前言
• 訓練自己的 Tokenizer：AI說書 - 從0開始 - 165 | 訓練自己的Tokenizer

訓練完 Tokenizer 後，下一步就是存檔，先來看一下程式部分：

import os
token_dir = '/content/KantaiBERT'
if not os.path.exists(token_dir): 
	os.makedirs(token_dir) 
tokenizer.save_model('KantaiBERT')

執行完之後，會跑出兩份檔案如下：

當中有兩份檔案，各別說明如下：

• merges.txt：包含了 Tokenized Substring

• vocab.json：包含了 Tokenized Substring 的 Index