AI 科技評論按:現在提到 AI 的時候,大家已經很少聯想到電影《終結者》中的天網那樣有自己獨特思維邏輯以至於得出了反人類結論的「超人類智能」了。這當然是件好事,說明我們都知道了現階段的 AI 並不具有那樣的邏輯思維能力,沿著現有方向繼續發展下去也不會有;也說明我們已經了解了身邊就有形形色色的運用機器學習解決具體問題的技術成果。
DeepMind 安全團隊的這篇文章就對相關問題做出了一些討論、提出了一些見解。它概述了 DeepMind 近期一篇論文《Scalable agent alignment via reward modeling: a research direction》(https://arxiv.org/abs/1811.07871)中提出的研究方向;這篇論文試圖為「智能體對齊」問題提供一個研究方向。由此他們提出了一個基於獎勵建模的遞歸式應用的方法,讓機器在充分理解用戶意圖的前提下,再去解決真實世界中的複雜問題。 AI 科技評論編譯如下。
DeepMind的論文《Scalable agent alignment via reward modeling: a research direction》中概述了一個正面解決「智能體對齊」問題的研究方向。基於過去在AI安全問題分類和AI安全問題闡述方面所做的工作,DeepMind將描述這些領域至今所取得的進展,從而啟發大家得到一個對於智能體對齊問題的解決方案,形成一個善於高效溝通,會從用戶反饋中學習,並且能準確預測用戶偏好的系統。無論是應對當下相對簡單的任務,還是未來日趨複雜、抽象化的、甚至超越人類理解能力的任務,他們希望系統都能勝任有餘。