在特斯拉CEO伊隆·馬斯克（Elon Musk）創(chuàng)辦的人工智能實驗室OpenAI里,，機器正在通過自學(xué)模仿人類的行為。但有的時候卻會出現(xiàn)問題,。

最近的一個午后,，研究員達里奧·阿莫德（Dario Amodei）坐在OpenAI的舊金山辦公室里展示了一套自學(xué)《Coast Runners》的自動化系統(tǒng)。在這款已經(jīng)過時的賽船視頻游戲中,，獲勝者需要獲得最高分,，還要穿過終點線。

結(jié)果令人吃驚：這艘船對于屏幕上出現(xiàn)的綠色小部件興趣極高——抓住這些小部件就能得分,。但該系統(tǒng)控制的這艘船并沒有急于穿過終點線,，而是對得分非常著迷。它不停地轉(zhuǎn)圈,，還時不時地沖撞其他船只,，有的時候會撞到石頭墻上，甚至反復(fù)起火,。

阿莫德的那艘著火的船表明了正在快速改變科技世界的人工智能技術(shù)所蘊含的風(fēng)險,。研究人員都在開發(fā)能夠基本依靠自己完成任務(wù)的機器。谷歌(微博)旗下的DeepMind也借助這種方法創(chuàng)造了擊敗圍棋世界冠軍的系統(tǒng),。

然而,，既然這些機器能夠通過幾個小時的數(shù)據(jù)分析進行自我訓(xùn)練，或許也能夠形成一些出人意料甚至有害人類利益的行為,。

隨著這些技術(shù)逐步融入網(wǎng)絡(luò)服務(wù),、安全設(shè)備和機器人，這種擔(dān)憂也與日俱增?，F(xiàn)在,，阿莫德所在的人工智能圈已經(jīng)開始考慮通過數(shù)學(xué)技術(shù)來避免最糟糕的情況發(fā)生。

阿莫德和他的同事保羅·克里斯蒂亞諾（Paul Christiano）正在開發(fā)一些算法,，使之不僅能通過幾小時的試錯來學(xué)習(xí)某項任務(wù),，還能從人類老師那里獲得定期指導(dǎo)。

只要在這里或那里點擊幾下,，研究人員現(xiàn)在就能向自動化系統(tǒng)展示一個道理：要在《Coast Runner》里取得勝利,，不僅要得分，還要通過終點線,。他們相信,，這種融合了人類與機器指令的算法有助于保持自動化系統(tǒng)的安全性,。

未雨綢繆

多年以來，馬斯克和其他專家,、心理學(xué)家以及技術(shù)人員都警告稱,，機器可能脫離我們的控制，甚至學(xué)會它的設(shè)計者不曾設(shè)想的惡意行為,。曾幾何時,，這些警告似乎言過其實，畢竟當今的無人駕駛汽車系統(tǒng)經(jīng)常連識別自行車道和紅燈這樣的簡單任務(wù)都難以完成,。

但阿莫德這樣的研究人員卻試圖未雨綢繆。從某種意義上講,，這些科學(xué)家所做的事情有點類似于父母教育孩子分辨是非,。

很多人工智能專家都相信，一種名叫“強化學(xué)習(xí)”（reinforcement learning）的技術(shù)——讓機器通過極端的試錯掌握具體任務(wù)——可以成為人工智能的主要方式,。

研究人員會為機器指定一種需要努力爭取的獎勵,，然后在它隨機學(xué)習(xí)一項任務(wù)時，機器便會密切關(guān)注哪些事情可以帶來這種獎勵,，哪些不能,。當OpenAI訓(xùn)練它的機器人玩《Coast Runners》時，他們給予的獎勵就是更多的得分,。

針對視頻游戲展開的訓(xùn)練的確具有現(xiàn)實意義,。

研究人員認為，如果機器能夠?qū)W會《俠盜獵車手》這樣的賽車游戲,，它就能學(xué)會駕駛真車,。如果它能學(xué)會使用網(wǎng)絡(luò)瀏覽器和其他常見的軟件應(yīng)用，就能學(xué)會理解自然語言,，還有可能展開對話,。

在谷歌和加州大學(xué)伯克利分校這樣的地方，機器人已經(jīng)使用這種技術(shù)來學(xué)習(xí)拿東西和開門等簡單的動作,。

正因如此,，阿莫德和克里斯蒂亞諾才在努力開發(fā)可以同時接受人類指令的強化學(xué)習(xí)算法，這樣便可確保系統(tǒng)不會偏離手頭的任務(wù),。

這兩位OpenAI的研究員最近與DeepMind的同行合作發(fā)表了相關(guān)的研究成果,。這兩個全球頂尖人工智能實驗室合作開發(fā)的這些算法，向著人工智能安全研究邁出了重要一步,。

“這佐證了之前的很多想法,。”加州大學(xué)伯克利分校研究員迪倫·海德菲爾德-門內(nèi)爾（Dylan Hadfield-Menell）說,，“這類算法在未來5到10年前景廣闊,?！?

新興領(lǐng)域

該領(lǐng)域規(guī)模雖小，卻在不斷增長,。隨著OpenAI和DeepMind建立專門的人工智能安全團隊,，谷歌大腦也將采取同樣的措施。與此同時,，加州大學(xué)伯克利分校和斯坦福大學(xué)這樣的高等學(xué)府也在解決類似的問題,，而且通常會與大企業(yè)的實驗室展開合作。

在某些情況下,，研究人員是在確保這些系統(tǒng)不會自行犯錯,，避免出現(xiàn)與《Coast Runner》里的那艘船相似的問題。他們還在努力確保黑客和其他“壞分子”無法發(fā)現(xiàn)系統(tǒng)中隱藏的漏洞,。像谷歌的伊恩·古德菲洛（Ian Goodfellow）這樣的研究人員都在研究黑客可能用來入侵人工智能系統(tǒng)的方式,。

現(xiàn)代化的計算機視覺基于所謂的深度神經(jīng)網(wǎng)絡(luò)開發(fā)，這種模式識別系統(tǒng)可以通過分析海量數(shù)據(jù)學(xué)會完成各種任務(wù),。通過分析成千上萬的狗照片,，神經(jīng)網(wǎng)絡(luò)便可學(xué)會如何認出一只狗。Facebook就是通過這種方式識別照片中的人臉的,，谷歌的Photos應(yīng)用也是通過這種方式實現(xiàn)圖片搜索的,。

但古德菲洛和其他研究人員已經(jīng)證明，黑客可以改變圖片,，使得神經(jīng)網(wǎng)絡(luò)相信其中包含實際上并不存在的內(nèi)容,。例如，只要調(diào)整大象照片里的幾個像素就能讓神經(jīng)網(wǎng)絡(luò)誤以為這是一輛汽車,。

在安防攝像頭上使用神經(jīng)網(wǎng)絡(luò)可能因此遇到麻煩,。研究人員表示，只要在你的臉上做幾個標記,，就可以讓攝像頭誤以為你是其他人,。

“如果用數(shù)百萬張由人類標記的圖片來訓(xùn)練物體識別系統(tǒng)，那就仍然可以生成讓人類和機器100%存在分歧的新圖片,?！惫诺路坡逭f，“我們需要理解這種現(xiàn)象,?！?

另外一大擔(dān)憂在于，人工智能系統(tǒng)可能學(xué)會如何避免人類將其關(guān)閉,。如果機器的目的是獲得獎勵,，它的思維就會變成這樣：只有繼續(xù)運行才能獲得獎勵。雖然這種再三被人提及的威脅還很遙遠,，但研究人員已經(jīng)開始著手解決,。

海德菲爾德-門內(nèi)爾和伯克利的其他研究人員最近發(fā)表了一篇論文,，通過數(shù)學(xué)方法來解決這個問題。他們證明,，如果讓機器無法確定自己的回報函數(shù),，它可能會希望保留自己的關(guān)閉開關(guān)。這就使之有動力接受甚至主動尋求人類的監(jiān)督,。

其中的很多工作仍處在理論層面,。但由于人工智能技術(shù)發(fā)展迅速，而且在許多行業(yè)的重要性與日俱增,，所以研究人員認為,，盡早開始是最佳策略。

“人工智能的發(fā)展究竟能有多快還存在很大不確定性,?！盌eepMind人工智能安全負責(zé)人謝恩·萊格（Shane Legg）說，“負責(zé)任的辦法是努力理解這些技術(shù)可能被濫用的不同方式,，可能失效的不同方式，以及可以通過哪些不同方式來應(yīng)對這些問題,?！?

（編輯：映雪）