像ChatGPT 這樣的大型語言模型是合理性的提供者。許多聊天機器人基於所謂的生成式人工智能，經過訓練可以通過在互聯網上搜索相關信息並收集連貫的答案來回答用戶的問題，從而生成令人信服的學生論文、權威的法律文件和可信的新聞報導。
但是，由於公開可用的數據包含錯誤信息和虛假信息，一些機器生成的文本可能不准確或不真實。這引發了人們爭相開發工具來識別文本是由人還是機器起草的。科學也在努力適應這個新時代，現場討論是否應該允許聊天機器人撰寫科學論文，甚至產生新的假說。
區分人工智能和人類智能的重要性與日俱增。本月，瑞銀分析師透露，ChatGPT 是歷史上增長最快的網絡應用程序，1 月份每月活躍用戶達到1 億。一些部門已經決定沒有必要鎖住穩定的大門：週一，國際文憑組織表示，學生將被允許使用ChatGPT 撰寫論文，前提是他們註明引用了它。
平心而論，這項技術的創造者坦率地指出了它的局限性。OpenAI 首席執行官薩姆奧特曼(Sam Altman) 去年12 月警告說，ChatGPT「在某些方面足夠出色，足以給人一種偉大的誤導印象。 我們在穩健性和真實性方面還有很多工作要做。」該公司正在為其內容輸出開發加密水印，這是一種機器可讀的秘密標點符號、拼寫和詞序序列； 並且正在磨練一個「分類器」來區分合成文本和人工生成的文本，使用兩者的例子來訓練它。
斯坦福大學的研究生Eric Mitchell 認為分類器需要大量的訓練數據。他與同事一起提出了DetectGPT，這是一種發現差異的「零樣本」方法，這意味著該方法不需要事先學習。相反，該方法會自行啟動聊天機器人，以嗅探出自己的輸出。
它是這樣工作的：DetectGPT 詢問聊天機器人它對示例文本的「喜歡」程度，「喜歡」是示例與其自己的創作有多相似的簡寫。DetectGPT 然後更進一步——它「擾亂」了文本，稍微改變了措辭。假設是聊天機器人在「喜歡」更改後的人工生成文本方面比更改後的機器文本更具可變性。研究人員聲稱，在早期測試中，該方法在95% 的時間內正確地區分了人類和機器作者。
需要注意的是：這些結果尚未經過同行評審； 該方法雖然優於隨機猜測，但在所有生成式AI 模型中的工作可靠性並不相同。對合成文本進行人為調整可能會愚弄DetectGPT。
這一切對科學意味著什麼？科學出版是研究的命脈，將想法、假設、論據和證據注入全球科學經典。一些人很快就將ChatGPT 作為研究助理，一些有爭議的論文將AI 列為合著者。
Meta 甚至推出了一款名為Galactica 的科學專用文本生成器。三天后它被撤回了。在它被使用的這段時間，構建了一段熊在太空旅行的虛構歷史。
Tübingen 的馬克斯普朗克智能係統研究所的邁克爾·布萊克教授當時在推特上表示，他對Galactica 對有關他自己研究領域的多項詢問的回答感到「困擾」，包括將虛假論文歸咎於真正的研究人員。「在所有情況下，[Galactica] 都是錯誤的或有偏見的，但聽起來是正確和權威的。 我認為這很危險。」
危險來自於看似合理的文本滑入真正的科學提交，用虛假引用充斥文獻並永遠歪曲經典。《科學》雜誌現在完全禁止生成文本； 《自然》雜誌則允許使用它，前提是必須對使用進行了聲明，但禁止將其列為共同作者。
話又說回來，大多數人不會查閱高端期刊來指導他們的科學思維。如果狡猾的人如此傾向，這些聊天機器人可以按需噴出大量引用偽科學，解釋為什麼疫苗不起作用，或者為什麼全球變暖是個騙局。在線發布的誤導性材料可能會被未來的生成人工智能吞噬，產生新的謊言迭代，進一步污染公共話語。
販賣懷疑的商人肯定已經摩拳擦掌，迫不及待了。
