1.?標(biāo)準(zhǔn)模型

1.1.?我們能控制一個(gè)從外太空來(lái)的超級(jí)智能實(shí)體的概率幾乎為零

1.2.?隨著根據(jù)標(biāo)準(zhǔn)模型設(shè)計(jì)的機(jī)器變得更加智能，以及它們的行動(dòng)范圍遍及全球，關(guān)閉機(jī)器這種方法越來(lái)越不可行

1.2.1.?機(jī)器將會(huì)追求它們自己的目標(biāo)，無(wú)論目標(biāo)錯(cuò)得多么離譜

1.2.2.?它們將會(huì)抵制關(guān)閉它們的企圖

1.2.3.?它們將會(huì)獲得有助于實(shí)現(xiàn)目標(biāo)的一切和全部資源

1.2.4.?機(jī)器的最佳行為可能包括欺騙人類，讓人類自以為給了機(jī)器一個(gè)合理的目標(biāo)，這樣機(jī)器就能獲得足夠的時(shí)間來(lái)實(shí)現(xiàn)其實(shí)際目標(biāo)

2.?有益機(jī)器的原則

2.1.?那些行動(dòng)有望實(shí)現(xiàn)我們的目標(biāo)，而不是它們的目標(biāo)的人工智能

2.2.?主要用于指導(dǎo)人工智能研究人員和開(kāi)發(fā)人員如何創(chuàng)建有益的人工智能系統(tǒng)

2.2.1.?機(jī)器的唯一目標(biāo)是最大限度地實(shí)現(xiàn)人類的偏好

2.2.1.1.?這里的偏好是包羅萬(wàn)象的，它們涵蓋了在任意遙遠(yuǎn)的未來(lái)你可能關(guān)心的一切

2.2.1.2.?而且它們是你的偏好：機(jī)器并不是要識(shí)別出或采用一套理想的偏好，而是要理解并盡可能滿足每個(gè)人的偏好

2.2.2.?機(jī)器最初不確定這些偏好是什么

2.2.3.?關(guān)于人類偏好的最終信息來(lái)源是人類行為

2.3.?不確定性一直是人工智能的核心問(wèn)題

2.3.1.?人工智能系統(tǒng)目標(biāo)中的不確定性被簡(jiǎn)單地忽略了

2.4.?第一原則：純粹的利他主義機(jī)器

2.4.1.?即機(jī)器的唯一目標(biāo)是最大限度地實(shí)現(xiàn)人類的偏好

2.4.2.?將會(huì)有益于人類，而不是蟑螂

2.4.3.?我們無(wú)法回避這種受益人特有的益處

2.4.4.?機(jī)器秉承純粹的利他主義，也就是說(shuō)，它絕對(duì)不為自己的幸福甚至自己的存在賦予內(nèi)在價(jià)值

2.4.5.?在機(jī)器人中加入任何自我保護(hù)的偏好，都會(huì)在機(jī)器人內(nèi)部建立一個(gè)與人類幸福不完全一致的額外的激勵(lì)機(jī)制

2.4.6.?問(wèn)題

2.4.6.1.?人類是否真的擁有有意義的或穩(wěn)定的偏好

2.4.6.1.1.?“偏好”是一種理想化的概念，在許多方面都與現(xiàn)實(shí)不符

2.4.6.2.?鑒于通常不可能確保每個(gè)人都得到他們最喜歡的結(jié)果，因?yàn)槲覀儾豢赡苋汲蔀橛钪嬷?#xff0c;那么機(jī)器應(yīng)該如何權(quán)衡多個(gè)人的偏好？

2.4.6.2.1.?人類偏好可以而且確實(shí)包括動(dòng)物福祉，以及人類可以直接從動(dòng)物生存中受益的方面

2.4.6.2.2.?機(jī)器應(yīng)該關(guān)注動(dòng)物的喜好，除此之外，人類還應(yīng)該建造比人類更關(guān)心動(dòng)物的機(jī)器，這是一個(gè)很難維持的立場(chǎng)

2.4.6.2.3.?一個(gè)更站得住腳的立場(chǎng)是，人類傾向于做出與我們自身利益相悖的短視決策，這往往會(huì)給環(huán)境及動(dòng)物帶來(lái)負(fù)面影響

2.4.6.2.3.1.?更少做出短視決策的機(jī)器將有助于人類采取更環(huán)保的政策

2.4.6.2.3.2.?在未來(lái)，如果我們對(duì)動(dòng)物的福祉給予比現(xiàn)在更大的權(quán)重，可能意味著犧牲一些我們自己固有的福祉，那么機(jī)器也會(huì)適應(yīng)

2.5.?第二原則：謙卑的機(jī)器

2.5.1.?機(jī)器最初并不確定人類的偏好是什么

2.5.1.1.?這是創(chuàng)造有益機(jī)器的關(guān)鍵

2.5.2.?一臺(tái)自以為完全理解真正目標(biāo)的機(jī)器會(huì)一門心思地追求這個(gè)目標(biāo)

2.5.3.?假設(shè)機(jī)器對(duì)目標(biāo)的完美理解將其與人類分離開(kāi)來(lái)，那么人類的所作所為將不再重要，因?yàn)闄C(jī)器理解目標(biāo)并追求目標(biāo)

2.5.4.?一臺(tái)對(duì)真實(shí)目標(biāo)感到不確定的機(jī)器會(huì)表現(xiàn)出一種謙卑

2.5.4.1.?它會(huì)順從人類，允許自己被關(guān)閉

2.5.4.1.1.?它的理由是，只有當(dāng)它做錯(cuò)了什么，即做了違背人類偏好的事情的時(shí)候，人類才會(huì)關(guān)掉它

2.5.4.1.2.?如果人類真的關(guān)掉了機(jī)器，那么機(jī)器就能避免做錯(cuò)事情，這便是它的意圖

2.5.4.1.2.1.?機(jī)器有積極的動(dòng)機(jī)讓自己被關(guān)閉

2.5.4.1.3.?它仍然與人類聯(lián)系在一起，人類是一個(gè)潛在的信息來(lái)源，可以讓它避免錯(cuò)誤，做得更好

2.6.?第三原則：學(xué)習(xí)預(yù)測(cè)人類偏好

2.6.1.?關(guān)于人類偏好的最終信息來(lái)源是人類行為

2.6.1.1.?第一個(gè)目的是為“人類偏好”這個(gè)詞提供一個(gè)明確的基礎(chǔ)

2.6.1.1.1.?根據(jù)假設(shè)，人類偏好并不存在于機(jī)器中，機(jī)器也無(wú)法直接觀察到它們，但是在機(jī)器和人類偏好之間一定存在著某種明確的聯(lián)系

2.6.1.1.2.?如果人類的某種偏好對(duì)人類可能做出的任何實(shí)際或假設(shè)的選擇都沒(méi)有任何影響，那么可能就不必說(shuō)這種偏好存在了

2.6.1.2.?第二個(gè)目的是讓機(jī)器變得更有用，因?yàn)樗芨嗟亓私馕覀兿胍臇|西

2.6.1.2.1.?如果它對(duì)人類偏好一無(wú)所知，它對(duì)我們就毫無(wú)用處

2.6.1.2.2.?人類不是完全理性的

2.6.1.2.2.1.?人類的偏好和人類的選擇之間存在著不完美的差異，如果機(jī)器要將人類的選擇解釋為人類偏好的證據(jù)，那么它就必須考慮到這些不完美

3.?樂(lè)觀的理由

3.1.?需要擺脫20世紀(jì)技術(shù)的驅(qū)動(dòng)思想之一：優(yōu)化給定目標(biāo)的機(jī)器

3.1.1.?第一個(gè)原因是，我們有強(qiáng)大的經(jīng)濟(jì)動(dòng)機(jī)來(lái)開(kāi)發(fā)遵從人類的意愿，并逐漸與用戶的偏好和意圖保持一致的人工智能系統(tǒng)

3.1.1.1.?人工智能系統(tǒng)的愚蠢和有限的行為范圍使我們免受這些后果的影響，但這種情況將會(huì)改變

3.1.1.2.?一個(gè)行業(yè)參與者可能會(huì)因?yàn)榇中牡脑O(shè)計(jì)摧毀整個(gè)行業(yè)，這為形成以安全為導(dǎo)向的行業(yè)聯(lián)盟和執(zhí)行安全標(biāo)準(zhǔn)提供了強(qiáng)大的經(jīng)濟(jì)動(dòng)機(jī)

3.1.1.3.?所有的主要參與者都在公開(kāi)文獻(xiàn)中發(fā)表了它們以安全為導(dǎo)向的研究

3.1.2.?第二個(gè)原因是，用于學(xué)習(xí)人類偏好的原始數(shù)據(jù)，即人類行為的例子非常豐富

3.1.2.1.?這些數(shù)據(jù)不僅通過(guò)彼此共享著大約數(shù)十億人的數(shù)據(jù)的億萬(wàn)臺(tái)機(jī)器的相機(jī)、鍵盤(pán)和觸摸屏以直接觀察的形式出現(xiàn)，而且還以間接的形式出現(xiàn)

3.1.2.2.?人類對(duì)書(shū)籍、電影、電視和廣播的大量記錄，這些記錄幾乎完全與人們的行為有關(guān)

3.1.2.2.1.?即使蘇美爾人和埃及人最早的和最乏味的用銅錠交換大麥的記錄，也讓我們對(duì)人類對(duì)于不同商品的偏好有了一些了解

3.1.2.2.2.?在解釋這種原始資料時(shí)會(huì)遇到困難，這些原始資料包括政治宣傳、謊言、瘋子的胡言亂語(yǔ)，甚至政治家和總統(tǒng)的聲明，但是機(jī)器當(dāng)然沒(méi)有理由把這些都當(dāng)真

3.1.2.2.3.?機(jī)器可以（也應(yīng)該）將來(lái)自其他智能實(shí)體的所有交流解釋為游戲中的動(dòng)作，而不是事實(shí)陳述

3.1.2.2.3.1.?無(wú)論誠(chéng)實(shí)與否，人類都可能被自己的信念所欺騙

3.1.2.3.?第二類間接證據(jù)擺在我們面前，這就是我們創(chuàng)造世界的方式

3.1.2.3.1.?地板上鋪著地毯，是因?yàn)槲覀兿矚g在柔軟溫暖的表面上行走，我們不喜歡響亮的腳步聲

3.1.2.3.2.?花瓶放在桌子中間而不是邊緣，是因?yàn)槲覀儾幌胱屗鼈兊粝聛?lái)摔碎等

3.1.2.3.3.?一切非自然安排的事物都為了解居住在這個(gè)星球上的奇怪的兩足動(dòng)物的好惡提供了線索

4.?謹(jǐn)慎的理由

4.1.?一家發(fā)布全自動(dòng)駕駛汽車的汽車制造商將獲得巨大的市場(chǎng)優(yōu)勢(shì)

4.1.1.?這一優(yōu)勢(shì)將會(huì)自我強(qiáng)化，因?yàn)橹圃焐棠軌蚋斓厮鸭鄶?shù)據(jù)，以改善系統(tǒng)的性能

4.1.2.?如果另一家公司趕在優(yōu)步之前推出全自動(dòng)出租車，優(yōu)步等打車公司將會(huì)很快破產(chǎn)

4.2.?謹(jǐn)慎和仔細(xì)的工程設(shè)計(jì)似乎遠(yuǎn)不如時(shí)髦的演示、人才的爭(zhēng)奪和倉(cāng)促的推廣更重要

4.3.?讓來(lái)自公共資助機(jī)構(gòu)的科學(xué)家和廣大民眾共同尋找最佳的監(jiān)管方式，越早越好

4.3.1.?一旦公司的科學(xué)家開(kāi)始主導(dǎo)研究事業(yè)，那就太晚了

4.4.?經(jīng)濟(jì)競(jìng)爭(zhēng)不僅發(fā)生在公司之間，還發(fā)生在國(guó)家之間

4.4.1.?美國(guó)、中國(guó)、法國(guó)、英國(guó)和歐盟紛紛宣布對(duì)人工智能進(jìn)行數(shù)十億美元的國(guó)家投資

4.4.2.?高級(jí)人工智能將會(huì)大大提高幾乎所有領(lǐng)域的生產(chǎn)率和創(chuàng)新率

4.4.2.1.?它的擁有者如果不將其分享出去，就能擊敗一切競(jìng)爭(zhēng)國(guó)家或集團(tuán)

4.5.?人類級(jí)別的人工智能不是零和博弈，分享它不會(huì)產(chǎn)生任何損失

4.5.1.?在沒(méi)有首先解決控制問(wèn)題的情況下，關(guān)于誰(shuí)能成為第一個(gè)實(shí)現(xiàn)人工智能的人的競(jìng)爭(zhēng)，是一個(gè)負(fù)和游戲

4.5.1.1.?每個(gè)人的回報(bào)都是負(fù)無(wú)窮

4.6.?人工智能研究人員影響人工智能全球政策演變的能力有限

4.6.1.?我們可以指出可能帶來(lái)經(jīng)濟(jì)和社會(huì)利益的應(yīng)用

4.6.2.?我們可以對(duì)可能的監(jiān)視濫用和武器濫用等發(fā)出警告

4.6.3.?我們可以為未來(lái)發(fā)展的可能路徑及其影響提供路線圖

4.6.4.?能做的最重要的事情就是設(shè)計(jì)盡可能安全且對(duì)人類有益的人工智能系統(tǒng)