在特斯拉CEO伊隆·馬斯克（Elon Musk）創(chuàng)辦的人工智能實驗室OpenAI里，機器正在通過自學模仿人類的行為。但有的時候卻會出現問題,。

最近的一個午后，研究員達里奧·阿莫德（Dario Amodei）坐在OpenAI的舊金山辦公室里展示了一套自學《Coast Runners》的自動化系統(tǒng),。在這款已經過時的賽船視頻游戲中,，獲勝者需要獲得最高分，還要穿過終點線,。

結果令人吃驚：這艘船對于屏幕上出現的綠色小部件興趣極高——抓住這些小部件就能得分,。但該系統(tǒng)控制的這艘船并沒有急于穿過終點線，而是對得分非常著迷,。它不停地轉圈,，還時不時地沖撞其他船只，有的時候會撞到石頭墻上,，甚至反復起火,。

阿莫德的那艘著火的船表明了正在快速改變科技世界的人工智能技術所蘊含的風險。研究人員都在開發(fā)能夠基本依靠自己完成任務的機器,。谷歌(微博)旗下的DeepMind也借助這種方法創(chuàng)造了擊敗圍棋世界冠軍的系統(tǒng),。

然而，既然這些機器能夠通過幾個小時的數據分析進行自我訓練,，或許也能夠形成一些出人意料甚至有害人類利益的行為,。

隨著這些技術逐步融入網絡服務、安全設備和機器人,，這種擔憂也與日俱增?，F在，阿莫德所在的人工智能圈已經開始考慮通過數學技術來避免最糟糕的情況發(fā)生,。

阿莫德和他的同事保羅·克里斯蒂亞諾（Paul Christiano）正在開發(fā)一些算法,，使之不僅能通過幾小時的試錯來學習某項任務，還能從人類老師那里獲得定期指導,。

只要在這里或那里點擊幾下,，研究人員現在就能向自動化系統(tǒng)展示一個道理：要在《Coast Runner》里取得勝利，不僅要得分,，還要通過終點線,。他們相信,，這種融合了人類與機器指令的算法有助于保持自動化系統(tǒng)的安全性。

未雨綢繆

多年以來,，馬斯克和其他專家,、心理學家以及技術人員都警告稱，機器可能脫離我們的控制,，甚至學會它的設計者不曾設想的惡意行為。曾幾何時,，這些警告似乎言過其實,，畢竟當今的無人駕駛汽車系統(tǒng)經常連識別自行車道和紅燈這樣的簡單任務都難以完成。

但阿莫德這樣的研究人員卻試圖未雨綢繆,。從某種意義上講,，這些科學家所做的事情有點類似于父母教育孩子分辨是非。

很多人工智能專家都相信,，一種名叫“強化學習”（reinforcement learning）的技術——讓機器通過極端的試錯掌握具體任務——可以成為人工智能的主要方式,。

研究人員會為機器指定一種需要努力爭取的獎勵，然后在它隨機學習一項任務時,，機器便會密切關注哪些事情可以帶來這種獎勵,，哪些不能。當OpenAI訓練它的機器人玩《Coast Runners》時,，他們給予的獎勵就是更多的得分,。

針對視頻游戲展開的訓練的確具有現實意義。

研究人員認為,，如果機器能夠學會《俠盜獵車手》這樣的賽車游戲,，它就能學會駕駛真車。如果它能學會使用網絡瀏覽器和其他常見的軟件應用,，就能學會理解自然語言,，還有可能展開對話。

在谷歌和加州大學伯克利分校這樣的地方,，機器人已經使用這種技術來學習拿東西和開門等簡單的動作,。

正因如此，阿莫德和克里斯蒂亞諾才在努力開發(fā)可以同時接受人類指令的強化學習算法,，這樣便可確保系統(tǒng)不會偏離手頭的任務,。

這兩位OpenAI的研究員最近與DeepMind的同行合作發(fā)表了相關的研究成果。這兩個全球頂尖人工智能實驗室合作開發(fā)的這些算法,，向著人工智能安全研究邁出了重要一步,。

“這佐證了之前的很多想法?！奔又荽髮W伯克利分校研究員迪倫·海德菲爾德-門內爾（Dylan Hadfield-Menell）說,，“這類算法在未來5到10年前景廣闊,。”

新興領域

該領域規(guī)模雖小,，卻在不斷增長,。隨著OpenAI和DeepMind建立專門的人工智能安全團隊，谷歌大腦也將采取同樣的措施,。與此同時,，加州大學伯克利分校和斯坦福大學這樣的高等學府也在解決類似的問題，而且通常會與大企業(yè)的實驗室展開合作,。

在某些情況下,，研究人員是在確保這些系統(tǒng)不會自行犯錯，避免出現與《Coast Runner》里的那艘船相似的問題,。他們還在努力確保黑客和其他“壞分子”無法發(fā)現系統(tǒng)中隱藏的漏洞,。像谷歌的伊恩·古德菲洛（Ian Goodfellow）這樣的研究人員都在研究黑客可能用來入侵人工智能系統(tǒng)的方式。

現代化的計算機視覺基于所謂的深度神經網絡開發(fā),，這種模式識別系統(tǒng)可以通過分析海量數據學會完成各種任務,。通過分析成千上萬的狗照片，神經網絡便可學會如何認出一只狗,。Facebook就是通過這種方式識別照片中的人臉的,，谷歌的Photos應用也是通過這種方式實現圖片搜索的。

但古德菲洛和其他研究人員已經證明,，黑客可以改變圖片,，使得神經網絡相信其中包含實際上并不存在的內容。例如,，只要調整大象照片里的幾個像素就能讓神經網絡誤以為這是一輛汽車,。

在安防攝像頭上使用神經網絡可能因此遇到麻煩。研究人員表示,，只要在你的臉上做幾個標記,，就可以讓攝像頭誤以為你是其他人。

“如果用數百萬張由人類標記的圖片來訓練物體識別系統(tǒng),，那就仍然可以生成讓人類和機器100%存在分歧的新圖片,。”古德菲洛說,，“我們需要理解這種現象,。”

另外一大擔憂在于,，人工智能系統(tǒng)可能學會如何避免人類將其關閉,。如果機器的目的是獲得獎勵，它的思維就會變成這樣：只有繼續(xù)運行才能獲得獎勵。雖然這種再三被人提及的威脅還很遙遠,，但研究人員已經開始著手解決,。

海德菲爾德-門內爾和伯克利的其他研究人員最近發(fā)表了一篇論文，通過數學方法來解決這個問題,。他們證明,，如果讓機器無法確定自己的回報函數，它可能會希望保留自己的關閉開關,。這就使之有動力接受甚至主動尋求人類的監(jiān)督,。

其中的很多工作仍處在理論層面。但由于人工智能技術發(fā)展迅速,，而且在許多行業(yè)的重要性與日俱增,，所以研究人員認為，盡早開始是最佳策略,。

“人工智能的發(fā)展究竟能有多快還存在很大不確定性?！盌eepMind人工智能安全負責人謝恩·萊格（Shane Legg）說,，“負責任的辦法是努力理解這些技術可能被濫用的不同方式，可能失效的不同方式,，以及可以通過哪些不同方式來應對這些問題,。”

（編輯：映雪）