每次有新的 AI 模型 release 的時候,開發者都會跑一大堆測試,去看它的表現好不好、安不安全。但老實說,這些測試其實不夠。
因為這些 benchmark 都是人寫的,所以只能測「我們已經想得到的風險」。那種還沒被發現、還沒被定義的問題(就是那種 unknown unknowns),基本上是抓不到的。
每次有新的 AI 模型 release 的時候,開發者都會跑一大堆測試,去看它的表現好不好、安不安全。但老實說,這些測試其實不夠。
因為這些 benchmark 都是人寫的,所以只能測「我們已經想得到的風險」。那種還沒被發現、還沒被定義的問題(就是那種 unknown unknowns),基本上是抓不到的。















