完全讓AI生成文獻探討將是場悲劇(本圖為AI生成)
幾年前曾經演講了幾次「批改學位論文甘苦談」，後來發展成為「社會科學研究方法」課程裡的教材，其中提及文獻探討的幾個作用和注意事項：
- 站在前人的肩膀上做研究：瞭解過去研究、現況、研究缺口，做為發展研究問題的依據。
- 闡述本研究所採用的理論，甚至進一步思考建構理論或模式的可能性。
- 文獻探討盡量用學術性專業辭典、專書、期刊論文，支撐學位論文的主要理論萬勿引用學位論文的定義。
- 問卷題項、訪談大綱應植基於文獻探討。
附件是我一個研究的研究結果，請根據這份研究結果幫我產生約五千個中文字的文獻探討。我要投稿到臺灣的「教育資料與圖書館學」期刊，這是屬於Library and Information Science的期刊，文獻探討務必符合學術風格。注意：文獻探討務必附上參考資料，並以APA格式撰寫文內引用與文後參考資料列表。此外，因為先有文獻探討才有研究結果，所以在文獻探討中請勿與本研究結果對照。
ChatGPT和Gemini真的幫我產生了文獻探討，我把它們放在雲端硬碟，第一部分是ChatGPT的結果，第二部分則是Gemini。
之所以說是「本末倒置」自然是因為應該是要做文獻探討，才發展問卷題項，才去發問卷、收回應的，哪有像我今天這樣鬧的！
我的重點也不在於兩套GenAI的文獻探討寫得好不好，而是最近的這則新聞：「政大國發所博士論文被抓包「AI虛構文獻」 作者坦承疏失致歉」。
請各位看官去看看這兩套GenAI產生的參考文獻，至少，我就不知道我寫過這篇文章：柯皓仁（2022）。智慧圖書館的發展與省思。圖書資訊學刊，20（2），1-35。
我真的沒寫那篇文章
我最怕博碩士生直接拿著GenAI產生的文獻探討和參考文獻來用。這下子，身為指導教授的風險又提高了，恐怕得一一核對學生論文裡的參考文獻了。又沒有辦法用文責自負帶過去。
不管是與GenAI協作靈感發想，或者是輔助文獻探討，請務必檢核每一則文獻是否為虛構文獻，這是最起碼的！對我而言，即使是GenAI協作靈感發想，GenAI給了一堆文獻，我還是會去翻找出來，甚至利用工具與這些文獻對話(NotebooLM或SciSpace都行)。
你說，要怎麼檢測GenAI給的參考文獻是不是虛構文獻？建議利用CrossRef 的 SimpleTextQuery。我試著把GenAI給的參考文獻列表copy-paste到SimpleTextQuery：
按下Submit之後會產生以下的結果：
CrossRef SimpleTextQuery的結果
從上面的結果列表中，有幾筆參考文獻有找到相對應的DOI。雖然看似無誤，但我建議點選那個DOI的超連結，看看連過去的文章對不對。(其實就算連過去的文章對，還是有個風險：就是那篇文章的重點和GenAI文獻探討中描述的不同)
至於沒有DOI呢？也不表示一定是虛構文獻啦。像上面的第一篇，我知道「高等教育資訊素養框架」的確是ACRL在2016年提出來的，而且這一篇因為歸屬在一般網頁文件，不見得在CrossRef或Google Scholar有收錄。
不過以上面第二篇Asemi & Ko (2020)為例，因為SimpleTextQuery沒有給這篇的DOI，所以我就到Library Hi Tech的期刊官網去找看看，沒有就是沒有！！
文章頁碼903-919根本不在這一期裏頭
當然，你也可以試著用Google Scholar，或是Scopus、Web of Science確認看看，以下是另一篇虛構文章，我用GS尋找：
這一篇也是沒有
總之，這篇部落格文章用我自己的例子驗證了用GenAI產生文獻探討的風險，以及如何用簡單工具檢驗GenAI丟給你的論文是不是虛構論文。以前，在寫文章時偶爾會錯置參考文獻，編輯單位都很盡責地跟我Double Check。現在，可能會被懷疑是AI虛構文獻，事態可就嚴重了！
最後，幫好友做個廣告，前面的提示語提到了「教育資料與圖書館學」期刊，那提示語只是為了要提供GenAI情境脈絡，我可沒有斗膽到用GenAI文獻探討去投稿。但是了「教育資料與圖書館學」期刊訂定了「生成式AI之自我揭露與誠信原則」，值得作者和其他中文期刊出版單位參考。
