AI說書 - 從0開始 - 497 | Vision Transformer 之輸出 Softmax 檢視

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們可以對輸出的 Logit 應用 Temperature、Softmax、Top-K 與 Top-P，以下為應用 Softmax：

probs = torch.nn.functional.softmax(logits, dim = -1)

再應用 Top-K，並檢視其輸出：

top_5_probs, top_5_labels = torch.topk(probs, 5)
top_5_probs = top_5_probs.detach().cpu().numpy()
top_5_labels = top_5_labels.detach().cpu().numpy()

id2label = model.config.id2label

pred_dict = {"Index": [], "Probability": [], "Label": []}
for i in range(5):
	pred_dict["Index"].append(top_5_labels[0][i])
	pred_dict["Probability"].append(top_5_probs[0][i])
	pred_dict["Label"].append(id2label[top_5_labels[0][i]])

pred_df = pd.DataFrame(pred_dict)
pred_df

結果為：