AI說書 - 從0開始 - 544 | VideotoText 之 Meta TimeSformer 實現 (執行推論)

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

接著開始載入模型，執行推論：

image_processor = AutoImageProcessor.from_pretrained("MCG-NJU/videomae-base-finetuned-kinetics")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-base-finetuned-k400")

inputs = image_processor(list(video), return_tensors = "pt")

with torch.no_grad():
	outputs = model(**inputs)
	logits = outputs.logits

predicted_label = logits.argmax(-1).item()
print(model.config.id2label[predicted_label])

image_processor() 函數將幀列表作為輸入，並傳回可用作 TimeSformer 模型輸入的張量 Dictionary，最後結果為：