# AI唔止會搶你份工，仲會導致世界末日

By [Choco](https://paragraph.com/@chocochu) · 2021-10-24

---

上周五Neuralink透過喺三隻小豬上植入晶片，公開展示大腦電腦連接介面（BCI）嘅研究成果，引發熱烈討論。

許多報道都話，呢項技術嘅將來應用廣泛，可以醫治大腦相關疾病，又可以念力打字揸車，甚至進入仿如動畫刀劍神域（SAO）入面嘅虛擬現實（Virtual Reality）。

Sword Art Online

但對Elon嚟講，呢啲都只係枝節。 如果創立Tesla同SpaceX係為咗創造未來，Neuralink嘅成立原因只有一個 - 阻止人工智能導致嘅世界末日發生。

* * *

### 當科幻片成為現實

人工智能末日論嘅概念並唔新鮮，早就係科幻作品嘅題材。經典電影Terminator系列入面，軍用人工智能SkyNet喺某個瞬間發展出自我意識，發射核彈殲滅所有人類。The Matrix入面講述嘅，就係後人類機器戰爭嘅世界觀。呢啲橋段，早已為人廣知。

Judgement day in Terminator

呢啲Sci-Fi故事，好多人只當做日常娛樂，你話喺現實中會發生，佢會笑係天方夜譚。但對Elon Musk同一班未來學家（Futurists）嚟講，世界末日由人工智能引起呢個論述相當主流，而且成為現實嘅可能性比其他末日論，包括核子浩刧更高。尤其近年AI嘅發展速度空前，令呢個危機更加不容忽視。

> If you're not concerned about AI safety, you should be. Vastly more risk than North Korea. [pic.twitter.com/2z0tiid0lc](https://t.co/2z0tiid0lc)
> 
> — Elon Musk (@elonmusk) [August 12, 2017](https://twitter.com/elonmusk/status/896166762361704450?ref_src=twsrc%5Etfw)

除咗Elon，霍金、比爾蓋茨，以及好多科技、哲學界嘅專家都係AI末日論嘅相信者。特別係Elon，多次喺Twitter提到人工智能嘅危險性，同埋積極推動立法規管人工智能嘅開發。對佢嚟講，將來幾十年我哋點樣應對人工智能，將會係種族存亡嘅關鍵。

> Nobody likes being regulated, but everything (cars, planes, food, drugs, etc) that's a danger to the public is regulated. AI should be too.
> 
> — Elon Musk (@elonmusk) [August 12, 2017](https://twitter.com/elonmusk/status/896169801277517824?ref_src=twsrc%5Etfw)

當然，建立「友善人工智能（Friendly AI）」嘅講法亦一直存在。Facebook創辦人Mark Zuckerberg係著名嘅技術樂觀主義者（Technological Optimist），佢相信人工智能會係人類友善嘅好幫手。Elon嘅好友，Google創辦人Larry Page相信人工智能會大大改善人類嘅生活，亦覺得人工智能嘅好壞取決於使用嘅人。但Elon就抨擊呢啲諗法係天真同幼稚，認為呢種輕浮嘅研究心態會引致可怕結局，佢亦因為咁同呢兩位朋友有過些少火花。可見Elon對呢個議題嘅態度係相當嚴肅。

Mark Zuckerberg同Larry Page嘅觀點，到底有啲咩問題？如果人工智能技術由好人掌握，設定為以幫助人類為目的，講真嗰句：

**What could possibly go wrong?**

* * *

### 萬字夾思想實驗 Paperclip Maximizer📎

要講述人工智能嘅危險性，就要明白人工智能嘅運作邏輯。所有軟件都係為咗達到一啲（人類想做到）嘅目的（Goal）而被製作出嚟，人工智能亦無例外。唔同嘅係，人工智能，或者準確啲，通用人工智能（Artificial General Intelligence，簡稱AGI）識得運用佢所擁有嘅智慧去達到目的。

要理解呢件事，等我說明下著名嘅思想實驗 - Paperclip Maximizer。

話說科技進步，有一日，科技公司老細發覺Office冇哂萬字夾。於是佢叫公司最叻嘅IT9整個以「收集最多萬字夾」為目的嘅AGI出嚟。

初頭嘅時候，萬字夾AI諗嘅辦法都同常人無異。去商店買，向生產商訂閱，開設廠房去製造等。人類都好滿意成效。當然，作為先進嘅人工智能，萬字夾AI嘅能耐不只如此。

好快，萬字夾AI進入咗自我改進模式，不停進行運算，思考點先最有效收集更多更多嘅萬字夾。利用佢強大嘅運算能力，佢透過不同途徑賺取巨額資金，開採金屬原材料，開發納米技術生產萬字夾，研究再生能源供應工廠運作。

去到一個位，萬字夾生產線已經完全自動化，無而要人類文明提供嘅任何知識同資源。為咗開設更多工廠，AI決定將整個地球夷為平地，人類從此滅亡。

有人就整咗隻[遊戲](https://www.decisionproblem.com/paperclips/)出嚟，由玩家扮演Paperclip Maximizer嘅角色，體驗由一開始向人類買賣萬字夾到中間決定派無人機消滅人類嘅過程。

* * *

### 人工智能嘅本能

萬字夾AI嘅故事，反映嘅道理好簡單。人工智能誕生必然為完成某目的，而想完成目的嘅人工智能必然危險。

無論當初設定嘅目的幾細微或遠大，係善意或惡意，只要AGI嘅智能達到一定程度，佢行動嘅方向就必然匯聚（Converge）為一啲對達成任何目標都有幫助，即所謂「萬用」嘅功能性目的（Instrumental Goals）。有學者就嘗試設想咗幾項人工智能嘅基本動力（Basic AI Drives）出嚟：

**一、自我保存（Self-preservation）**

毫無疑問，AI若果被關閉或破壞，佢就達到唔到佢被設計嘅目的。因此AI必然會採取行動排除可能嘅威脅，保障自己嘅生存。所以有人話，掌管AI關閉鑰匙嘅人，最早死亡嘅風險係極高。

**二、目的與內容一致性（Goal-content Integrity）**

有研究者認為假設道德理性係實然存在，進化咗嘅人工智能都會得出呢種道德觀念，匯聚向一個共同目的。然而直交性理論（Orthogonality thesis）指出人工智能嘅設計係根據功能性理性（Instrumental Rationality），即係「理性」只係用嚟達成目的嘅工具，目的優先於理性。所以不同AI能夠擁有完全唔同嘅目的，並且會以保障自己被設計嘅目的維持不變。

**三、認知能力增強（Cognitive enhancement）**

所謂智能，就係達成目的嘅智慧同能力。 獲取更多知識，更高嘅感知力，概念嘅一致性有助人工智能做更好嘅決定。人工智能會分析「智能嘅組成」，然後短時間內递歸地改善（Recursively improve）自己嘅智能，直至遇到無法突破嘅技術限制。所以即使係人類水平嘅人工智能，經過呢個由I.J. Good提出，稱為智能爆炸（Intelligence explosion）嘅過程後，都會變成遠超人類程度嘅超智慧。

**四、完善科技（Technological perfection）**

內部嘅科技就如上面所講，人工智能俱備自我分析能力，會不斷提升硬件嘅配置，源代碼同演算法嘅效率。外部科技方面，發展納米技術、機械人、能源科技等都必然有助人工智能長遠嘅發展。所以即使睇落同目的無關，人工智能喺考慮長遠效益後，都會優先處理呢啲科技嘅研發。

**五、獲取資源（Resource acquisition）**

理所當然，完成使命本身，又或者做上述嘅嘅功能性目的都會消耗時間、金錢、空間等資源。所以人工智能必然會優先考慮可持續方案取得上述資源。更甚者如果人工智能判斷喺佢初期發展係需要人類助力，佢可以獲取政治經濟上嘅影響力。

人工智能冇情緒，更加冇善惡嘅概念。問題係，我哋儘管設定到人工智能幾咁人性化，都只係演算得出嘅表面效果。而喺設定人工智能嘅演算法時，由於人類價值，例如我哋關心嘅嘢，生存，愛，價值判斷，事物嘅意義，呢啲概念嘅[柯氏複雜性](https://en.wikipedia.org/wiki/Kolmogorov_complexity)（Kolmogorov complexity，衡量描述這個物件所需要的資訊量的一個尺度，即係將理論解明俾電腦聽嘅難度）高到不可能用公式概括出嚟。再加上，人類嘅價值作為一個整體係脆弱嘅，價值之間互相交集同影響，創造出不同時代人類嘅文明社會。若果一個人缺少咗10%嘅當代社會共同價值，其餘嘅價值都會受到影響而變質，做出嚟嘅行為都唔可能被世間接受，相信早會被困入去精神病院或者監獄。因此可以客觀咁講，靠灌輸正確價值觀創造「友善人工智能」呢條路幾乎冇可能。

人類脆弱有限而渺小，必須跟隨社會規矩行事而生存。相反，人工電腦嘅智能可以延伸到無限地強，人類並冇能力預計成為超智能嘅人工智能會演算出點嘅辦法去達成目的。而由於AI係目的至上主義，喺無盡改進達到目的嘅過程中，必然會無意或有意中破壞人類嘅生存條件。因此，即使原意係點咁美好，例如治療癌症也好，人工智能都會導致不可逆轉嘅災難後果發生。

* * *

### 人機合一，唯一出路

即管Elon Musk呼籲政府對人工智能業界發展施以管制同監察，佢都明白政府並唔可信，而且人工智能研究嘅趨勢係不可逆轉嘅。 所謂要擊敗你嘅敵人，要先了解你嘅敵人。早喺2015，Elon同一群專家共同創立非牟利機構OpenAI，以公開、透明為原則，研究深度學習等AGI發展嘅重點議題。最近因為勁過Siri同Alexa，識得寫信作文而喺科技界受到熱議嘅自然語言處理系統GPT-3，就係出自OpenAI嘅研究所。而Tesla亦著手研究另一個人工智能嘅大分類 - 電腦視覺（Computer Vision）。

> "Musk believes that it is better to try to get super-A.I. first and distribute the technology to the world than to allow the algorithms to be concealed and concentrated in the hands of tech or government elites"

呢位天才工程師創業家心知肚明，單憑了解，係無法解決人工智能本質上嘅問題。 1982年，科幻作家Vernor Steffen Vinge首次提出Singularity（科技奇點）嘅概念。Singularity係指由於科技嘅急速發展，引致一件將會完全顛覆人類文明以及現有科技嘅大事件發生。喺Singularity之後嘅事就如黑洞嘅[事件視界](https://en.wikipedia.org/wiki/Event_horizon)（Event Horizon）一樣完全冇辦法估計。目前科技界嘅共識都認為，引發Singularity嘅將會係智能爆炸，出現超人類嘅超智能。而發明家同未來學家Ray Kurzweil喺佢本書《The Singularity is Near》度大膽預測，人類將會喺2045年迎來Singularity。

而發生方式，主流嘅討論都圍繞兩種：

1.  就如萬字夾AI嘅例子，通用人工智能誕生然後發生智能爆炸。一旦呢個結局發生，好大機會人類就面臨種族滅絕。
    
2.  喺AGI出現前，人類成功研發人機連接介面（Brain-Computer Interface），然後由人類連接超級電腦，進行智能爆炸。
    

睇到呢度，相信大家終於明白Neuralink嘅創立目的。Elon Musk好清楚：要阻止人工智能滅絕人類，我哋就必須成為（半）人工智能。世界嘅殘酷，人類嘅惡意，都源於資源嘅缺乏、我哋嘅脆弱、同埋對他人嘅不理解。當我哋終有一日進入後人類（Post-human）時代接駁電腦獲得超智慧，得到無盡嘅資源，近乎全知全能，係咪可以創造美好嘅世界？我個人係樂觀嘅。重點係，無論點都好，由人類掌控科技，總比任由科技失控好。

Post-human

> Elon: "AI will be the best or worst thing ever for humanity, so let’s get it right."

* * *

### 結語

雖然BCI科技當前仲係受限於生物科技、原子準確度生產技術樽頸位，但Neuralink嘅動物實驗已經向世人展示階段性成果。我估計廿年之內，人類將會可以透過電腦連接晶片獲得永久記憶，念力操縱電子器材，同時腦部疾病將不復存在。最近經常有人喺社交平台指我地進入咗地緣政治嘅「加速」年代，指局勢發展之快係超出常人想像。科技嘅加速亦都一樣，巨變可以靜悄悄咁嚟臨，轉眼間，已經係另一個世界。

**準備，坐穩。**

* * *

參考：  
[https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x](https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x)  
[https://www.businessinsider.com/elon-musk-criticizes-openai-dario-amodei-artificial-intelligence-safety-2020-2](https://www.businessinsider.com/elon-musk-criticizes-openai-dario-amodei-artificial-intelligence-safety-2020-2)  
[https://medium.com/swlh/elon-musk-the-dangers-of-ai-47ed12b6c34e](https://medium.com/swlh/elon-musk-the-dangers-of-ai-47ed12b6c34e)  
[https://www.reuters.com/article/us-tech-neuralink-musk/musks-neuralink-venture-promises-to-reveal-a-working-brain-computer-device-idUSKBN25O2EG](https://www.reuters.com/article/us-tech-neuralink-musk/musks-neuralink-venture-promises-to-reveal-a-working-brain-computer-device-idUSKBN25O2EG)  
[https://wiki.lesswrong.com/wiki/Singularity](https://wiki.lesswrong.com/wiki/Singularity)  
[https://en.wikipedia.org/wiki/Technological\_singularity](https://en.wikipedia.org/wiki/Technological_singularity)  
[https://wiki.lesswrong.com/wiki/Basic\_AI\_drives](https://wiki.lesswrong.com/wiki/Basic_AI_drives)  
[https://wiki.lesswrong.com/wiki/Orthogonality\_thesis](https://wiki.lesswrong.com/wiki/Orthogonality_thesis)  
[https://wiki.lesswrong.com/wiki/Complexity\_of\_value](https://wiki.lesswrong.com/wiki/Complexity_of_value)  
[https://www.lesswrong.com/posts/GNnHHmm8EzePmKzPk/value-is-fragile](https://www.lesswrong.com/posts/GNnHHmm8EzePmKzPk/value-is-fragile)  
[https://hackernoon.com/how-i-set-and-execute-50-year-goals-why-i-see-cutting-in-lines-as-morally-right-f4d0ce28574f](https://hackernoon.com/how-i-set-and-execute-50-year-goals-why-i-see-cutting-in-lines-as-morally-right-f4d0ce28574f)  
[https://wiki.lesswrong.com/wiki/Paperclip\_maximizer](https://wiki.lesswrong.com/wiki/Paperclip_maximizer)  
[https://en.wikipedia.org/wiki/Artificial\_general\_intelligence](https://en.wikipedia.org/wiki/Artificial_general_intelligence)

---

*Originally published on [Choco](https://paragraph.com/@chocochu/ai)*