人工智慧的夢魘：OpenAI評估GPT-4是否能「統治人類世界」

OpenAI在昨日發布的GPT-4安全文件中寫道：「新的能力往往出現在更強大的型號中。其中一些特別令人擔憂的是制定長期計劃並採取行動的能力，積累權力和資源的能力（『權力追求』），以及表現出越來越『主觀』的行為的能力。」在這種情況下，OpenAI澄清說，「主觀」並不一定是為了使模型人性化或聲明感覺能力，而只是為了表示實現獨立目標的能力。<br />
在過去的十年裡，一些人工智慧研究人員已經發出警告，如果控制不當，足夠強大的人工智慧模型可能會對人類的生存構成威脅（通常被稱為「x-risk」，即存在風險）。特別是，「AI接管」是人工智慧超越人類智能，成為地球主導力量的假想未來。在這種情況下，人工智慧系統獲得了控制或操縱人類行為、資源和制度的能力，通常會導致災難性的後果。<br />
由於這種潛在的「x-risk」風險，有效利他主義（「EA」）等哲學運動試圖找到防止人工智慧接管發生的方法。這通常涉及一個獨立但通常相互關聯的領域，稱為「人工智慧對齊研究」。<br />
在人工智慧中，「對齊」指的是確保人工智慧系統的行為，與人類創造者或操作員的行為一致的過程。一般來說，目標是防止人工智慧做違背人類利益的事情。這是一個活躍的研究領域，但也是一個有爭議的領域，人們對如何最