AI說書 - 從0開始 - 449 | Auto-Big-Bench 資料集下載與環境變數配置

我想要一天分享一點「LLM從底層堆疊的技術」，並且每篇文章長度控制在三分鐘以內，讓大家不會壓力太大，但是又能夠每天成長一點。

我們先下載資料集：

!curl -L https://raw.githubusercontent.com/Denis2054/Transformers_3rd_Edition/master/Chapter15/tasks.txt --output "tasks.txt"

來看看下載下來的資料長得如何：

import pandas as pd
df = pd.read_csv('tasks.txt', header = None, on_bad_lines = 'skip')
df.columns = ['Tasks']
df

nbt = len(df) 
print("Number of tasks: ", nbt)

結果為：

再來配置 OpenAI 的金鑰與環境變數設置：

try: 
	import openai 
except: 
	!pip install openai 
	import openai
	
f = open("drive/MyDrive/files/api_key.txt", "r") 
API_KEY = f.readline() 
f.close()
import os
os.environ['OPENAI_API_KEY'] = API_KEY 
openai.api_key = os.getenv("OPENAI_API_KEY")