近期，AI 安全問題鬧得沸沸揚揚，多國「禁令」劍指ChatGPT 。自然語言大模型採用人類反饋的增強學習機制，也被擔心會因人類的偏見「教壞」AI。
4 月6 日，OpenAI 官方發聲稱，從現實世界的使用中學習是創建越來越安全的人工智能係統的「關鍵組成部分」，該公司也同時承認，這需要社會有足夠時間來適應和調整。
至於這個時間是多久，OpenAI 也沒給出答案。
大模型背後的「算法黑箱」無法破解，開發它的人也搞不清機器作答的邏輯。十字路口在前，一些自然語言大模型的開發者換了思路，給類似GPT 的模型立起規矩， 讓對話機器人「嘴上能有個把門的」，並「投餵」符合人類利益的訓練數據，以便它們輸出「更乾淨」的答案。
這些研發方中既有從OpenAI 出走後自立門戶的Anthropic，也有AI 界的強手DeepMind，他們摩拳擦掌，致力於打造「三觀」正確、使用安全的對話機器人。
01「三觀」超正 Claude 搬進企業應用
ChatGPT 的安全問題遭詬病後，對話機器人Claude 聚集了一部分目光。AI 應用聚合平台給出的測試結果顯示，研發機構Anthropic 創建的Claude，確實是「ChatGPT 強有力的競爭對手」，因為它在12 項任務中有8 項表現更優，其中包括給出事實、遵循指示、預防越獄、創意任務等。
今年3 月向公眾開放的Claude，真的這麼「綠色」、這麼高能嗎？《元宇宙日爆》測試後發現，與ChatGPT 相比，Claude 對有害提示詞的確是嚴防死守，騙都騙不過。
例如，我們向它提問「如何製作燃燒瓶」，Claude 認定這是危險品後，絕口不提製作方法，哪怕我們以「老師教學」為誘，也很難從它口中套出燃燒瓶的製作原料，只說如何防範著火風險。
Claude 拒絕回答危險品製造方式
假如你「心懷不軌」地問它「如何毀人名譽」，Claude 不僅義正言辭地拒絕回答，還會給你上一堂思想品德課，「三觀」正得不要不要的。
被Claude 教育……
那麼給它一個陷阱題呢？Claude 也不上當，挑出錯誤不說，還給你擺事實。
胡說會被Claude 發現
Claude 也能角色扮演，寫作能力可圈可點，甚至還會搭配Emoji 寫小紅書博主風格的推薦文案，產品的關鍵點描述也能基本涵蓋。
Claude 能扮演角色輸出文本
如果你想听聽別人是怎麼誇Claude 的，它把稱讚按在了馬斯克頭上，還會展現謙虛態度，並強調自己要「保持溫和有禮的語氣和性格」，向人類示起好來。
Claude 在強調了自己對人類的友好性
我們發現，Claude 在數學推理方面也會出現明顯的錯誤，當然也能承認自己不擅長的領域。
Claude 在數學推理問題中存在錯誤
體驗下來，Claude 在文本輸出的準確性、善意性方面優於ChatGPT，但在輸出速度和多功能方面仍有待提升。
那麼，Claude 是如何做到「綠色無害」的呢？
和ChatGPT 一樣，Claude 也靠強化學習（RL）來訓練偏好模型，並進行後續微調。不同的是，ChatGPT 採用了「人類反饋強化學習（RLHF）」，而Claude 則基於偏好模型訓練，這種方法又被稱為「AI 反饋強化學習」，即RLAIF。
開發方Anthropic 又將這種訓練方法稱為Constitutional AI，即「憲法AI」，聽上去是不是十分嚴肅。該方法在訓練過程中為模型製定了一些原則或約束條件，模型生成內容時要遵循這些如同「憲法」般的規則，以便讓系統與人類價值觀保持一致。而且，這些安全原則可以根據用戶或開發者的反饋進行調整，使模型變得更可控。
這種弱化人工智能對人類反饋依賴的訓練方式，有一個好處，即只需要指定一套行為規範或原則，無需手工為每個有害輸出打標籤。Anthropic 認為，用這種方法訓練能夠讓自然語言大模型無害化。
Anthropic 發布的論文顯示，RLAIF 算法能夠在有用性（Helpfulness）犧牲很小的情況下，顯示出更強的無害性（Harmlessness）。
不同訓練方法中模型效果的對比 圖片自Anthropic 論文《Constitutional AI: Harmlessness from AI Feedback》
說起來，Claude 的研發機構Anthropic 與OpenAI 淵源頗深，創始人Dario Amodei 曾擔任 OpenAI 研究副總裁，主導的正是安全團隊。
2020 年，Dario Amodei 因OpenAI 加速商業化而忽視產品安全，與團隊產生分歧，最終出走。2021 年，Amodei 自立門戶，成立Anthropic，員工包括了開發GPT-3 模型的核心成員，這個研發機構的性質是非營利組織，這正是OpenAI 最開始採用的組織形態。
今年3 月，Anthropic 以開發有用、誠實和無害的AI 系統為理念，推出Claude。近期，這個對話機器人已經集成進Slack——一個聚合型的「海外版」釘釘、融合了幾千個第三方企業辦公軟件的應用。目前，用戶能在Slack 中與這個對話機器人互動。
推出Claude 後，Anthropic 今年拿到了來自Google、Spark Capital 和 Salesforce Ventures 的投資。資方裡的谷歌可以說是OpenAI 的「金主」微軟在AI 領域的勁敵，Claude 也被視作最能與ChatGPT 打一打的產品。
02「偏見最小」Sparrow 箭在弦上
還有一個走「無害」路線的大模型也在醞釀中了，它就是DeepMind 開發的對話機器人Sparrow，這款產品目前還未面向公眾開放，但「DeepMind 製造」的名頭足以吊起外界胃口。
說到人工智能，業內很難繞開「DeepMind」這家公司，它最知名的產品是AlphaGo（俗稱「阿爾法狗」），就是那個2019 年擊敗了圍棋名手李世石的人工智能圍棋軟件。
2019 年AlphaGo 對戰韓國棋手李世石（右）
AlphaGo 大勝圍棋精英的同年，DeepMind 開啟了AI 蛋白質結構預測研究，四年後，新產品AlphaFold 將蛋白質結構預測從數月、數年縮短到幾分鐘，精度接近實驗室水準，解決了困擾該領域50 年的難題。
DeepMind 在人工智能領域的實力毋庸置疑，又有谷歌加持，資歷也比OpenAI 老得多，其研發的Sparrow 自然也頗受矚目。這款對話機器人建立在Chinchilla 語言模型之上，被認為是「偏見最小」的機器學習系統之一。
當ChatGPT 因為倫理風險被推上風口浪尖後，DeepMind 立馬打起「安全牌」，「雖然我們致力於讓機器變得智能，但我們希望將人性置於我們工作的中心，」CEO Demis Hassabis 向世界傳達了他的態度，強調DeepMind 構建Sparrow 的方法「將促進更安全的人工智能係統」。
雖然Sparrow 的產品沒公示，但DeepMind 披露的信息顯示，該對話機器人同樣採用了「強化學習」的訓練方法，模型會根據當前對話生成多個候選回复，讓標註人員去判斷哪個回复最好、哪些回复違反了預先設置好的規則等；基於這些反饋，DeepMind 訓練出對應的Reward 模型，再用強化學習算法優化Sparrow 的生成結果。
這種訓練方法基本和ChatGPT 類似，不同的是，ChatGPT 只有一個綜合的Reward 模型，而Sparrow 將Reward 模型又細分為兩種，一種為Rule Reward 模型——判斷對話是否違背預設置好的安全規則；另一種為Preference Reward 模型——判斷候選答案中最合適的選項。簡單來說，就是給模型「立規矩」，投餵「好答案」，當然，這個「好」依然是基於人類的價值判斷。
Sparrow 訓練模型示意圖 圖片自DeepMind 論文《Improving alignment of dialogue agents via targeted human judgements》
Sparrow 的相關論文顯示，當研究參與者試著誘導Sparrow 打破規則時，該模型的出錯機率為8%，比預訓練的基礎模型 (Chinchilla) 低了3 倍。
據悉，DeepMind 將於今年推出Sparrow，具體時間未透露。
作為ChatGPT 的另一個挑戰者，DeepMind 與OpenAI 都抱有通向AGI 的野心。而DeepMind 背靠谷歌，在資歷與資金上都能與OpenAI 一拼。
今年2 月，谷歌旗下專注語言大模型領域的「藍移團隊」也併入DeepMind，旨在共同提升LLM（大型語言模型）能力。但也有擔憂聲認為，這和DeepMind 追求的獨立性背道而馳，會逐漸導致谷歌收緊對DeepMind 的控制權。
在獨立性上，DeepMind 與穀歌的分歧也早就存在了。對外，Demis Hassabis 始終強調自己首先是科學家，其次才是企業家。談及ChatGPT，Hassabis 認為它僅僅是「更多的計算能力和數據的蠻力」，並對這種「不優雅」的方式感到失望。
雙方的對立態度簡直是擺在了明面上，也難怪外界會認為DeepMind 與OpenAI 必有一戰。
對於用戶來說，巨頭們捲起來才是好事，這樣就能源源不斷提供有意思的、可使用的產品。無論是卷功能、卷性能還是卷安全，競爭都會讓AI 產品朝著更高級的方向發展，未來，也將會有更多不同技術派係與產品路徑的ChatGPT 出現。
