人が人を支配し続ける限り、必ず誰かが不当に殺される。人々を導くのは、全てを平等に裁定できるAIでなければならない。 - 砺波告善

最近「劇場版 PSYCHO-PASS サイコパス PROVIDENCE」に熱中しており、5月からなんとなく毎週劇場に通っていて気づいたら6、7回観ていた。重厚なテーマを扱っていることもあり、何らかのアウトプットを出さなければ気が済まないので、考察の真似事をしてみたい。

PSYCHO-PASSシリーズは100年後の未来、第三次大戦を経て国民全員の心理状態を「サイコパス（色相、犯罪係数）」として数値化し、管理することができるようになった社会を描く。この社会ではもはや現実世界の刑法のような「犯罪」という概念はなく、色相が悪化した（＝自身ないし他社に危害を加える懸念が高まった）ことが社会全体を網羅する汎用AI「シビュラシステム」に検知されると、司法手続きを省略してその場で鎮圧・「執行」される。3期のTVシリーズ、5作の劇場版がこれまでに制作され、足掛け11年にわたり続いている人気シリーズだ。今回の「PROVIDENCE」は劇場版6作目にあたる。

本作のあらすじはここでは詳しく述べないことにして、本題に入る。今作はシビュラシステムと刑法を始めとする既存の法体系の対立をテーマとしている。ストーリーはこの主題を軸に展開し、（実態はより複雑だが）AIであるシビュラが算出する一人ひとりの犯罪係数を用いることによって刑法が不要になるという勢力と、AIの限界を指摘し、人間の判断という不確定のファクターを維持すべきとする勢力が衝突する。

このテーマは創作の話ではあるが、直近の社会情勢を観ているとこうした議論の到来はほぼ確実であり、しかもそれはおそらく今世紀中だろう。すでに米国の一部の州の巡回裁判所では刑事裁判における再犯予測に民間企業のアルゴリズムを判断材料として取り入れ始めており、しかもこうしたアルゴリズムの処理プロセスはブラックボックスである[1]。

こうしたモデルはあくまで個別の犯罪者のデータをその犯罪者と類似した特徴を持つデータ群と比較してリスクを推測しているにすぎず、当然作中のシステムよりもはるかに原始的だが、技術の方向性としては重なる部分が大きいように思われる。

また、OpenAI社が目下推進するArtificial General Intelligence（汎用人工知能、AGI）[2]は遠からず社会に浸透していくと思われ、長期的にこうした目的に利用される可能性がある。単一のモデルによる全ての人々への公正な裁定は、作中に限らず司法制度が常に追求してきた理想だ。

もはやAIと法制度の問題は遠い未来の話ではない。そのあるべき姿を大雑把に構想する上では、今作が役に立つだろう。

このあたりまで考えると、本記事の冒頭で引用した砺波告善の発言が思い起こされてくる。彼は人間に絶望し、シビュラが全てを管理する社会を求め（て暴力的な手段に訴え）る。

ここで、本作のキーパーソンの考え方を整理したマトリックスを見てみたい。雑賀譲二、慎導篤志、常守朱はそれぞれ作中では犯罪心理学者兼潜在犯、厚生省大臣官房統計本部長、厚生省公安局統括監視官という役回りで、それぞれこうした思想を持つに至った背景は他シーズン等で説明がつけられているのだが、そこは話すと長いので割愛する。

本作では主要人物の口から「正しさ」と「真実」が別々の概念として語られる。ここでは真実は実際に起きていること、正しさはそれが社会にとって善となるか悪となるか、という価値観の問題として捉えるとよいだろう。作中社会ではもはや刑法も司法も形骸化しており、シビュラシステムの定義する「正しさ」が社会における正しさとなる。シビュラ自身にとって、また大多数の市民にとってその正しさは絶対的なものであり、基本的に揺らぐことはない。砺波はこの状況を是とし、「人々はその（シビュラ社会の）中でただささやかな幸せを享受するのみだ」と言う。

これに対して常守（一応主人公だ）は「それでは人は生きる意味を失う」と反論する。雑賀、慎導、常守はいずれも正しさを相対的なものと捉え、シビュラには測ることのできない別の価値観による正しさがありえるはずだという立場を取る。そしてその信念のもとに、3人はそれぞれ違った形でシビュラの判断基準において犯罪者となる、あるいはシビュラの筋書きに背く。

ここで私は、現実世界の我々は慎導ー常守の価値観を採用すべきであると考える。画一的かつフィードバックを受け入れない意思決定システムは遅かれ早かれ崩壊することになるだろう。現代社会において真実が絶対的なものであることに異論はない。しかし正しさについては、どこまで行っても人の判断が求められるのではないか。

また、作中で常守朱は「法が人を守るのではない、人が法を守るのだ」という立場を取る。これは刑法制度の存続を希求する中で出た発言だが、示唆に富んでいる。システムへの盲従ではなく、建設的な対話、フィードバックループの形成こそが人とシステムの共生に繋がるのではないか。

常守朱は冒頭の砺波の発言に対し、「人とシステムは共生関係でなければならない」と反論する。

そして最終的に常守はこのビジョンに従ってシビュラに背く。しかしながら、シビュラがそれを自身の改善に繋がる可能性のあるアクションと見なして判断を保留した（シビュラは自らの判断によって、社会システムの一部である執行システムにも介入できるにもかかわらず、だ）ことは、それ自体人とシステムの共生に繋がる第一歩であり、無駄ではなかったように描かれる。

繰り返すが、現実にはこのような議論はまだ思考実験の域を出ない。しかしながら、シビュラ社会のようなシステム依存の社会へと向かう動きはすでに始まっている。システムと人間の共生、どちらが主導権を握り前進していくか、それにより社会はよりよく、平等になるか。21世紀を生きる我々の最大のテーマとなるのかもしれない。

希望はあるだろうか。作中、厚生省公安局局長でありシビュラの端末でもある禾生壌宗は慎導に「シビュラシステムはこれからも人間の可能性を信じ続けますか」と問われ、「愚問だな。我々はそのために存在する」と述べた。現実世界はそれよりもはるかに複雑だ。それでも、人とシステムの相互信頼に立脚した透明性のある社会は、信じるに値する未来ではあるだろう。

【出典】

[1] 山本龍彦・尾崎愛美 (2018)「アルゴリズムと公正」『科学技術社会論研究』16. pp. 96-106. 科学技術社会論学会. https://www.jstage.jst.go.jp/article/jnlsts/16/0/16_96/_article/-char/ja/

[2] Sam Altman. (2023). Planning for AGI and beyond. OpenAI. https://openai.com/blog/planning-for-agi-and-beyond (2023年7月16日閲覧)

余談：PSYCHO-PASSの英語吹替版の上映が米国で始まっているそうで、ぜひ見に行きたいところなんですが、テキサスへの出張が2ヶ月先で、さすがにそれには間に合わないだろうな～という気持ちです。なんとかなりませんかね（ならない）

人が人を支配し続ける限り、必ず誰かが不当に殺される。人々を導くのは、全てを平等に裁定できるAIでなければならない。 - 砺波告善

最近「劇場版 PSYCHO-PASS サイコパス PROVIDENCE」に熱中しており、5月からなんとなく毎週劇場に通っていて気づいたら6、7回観ていた。重厚なテーマを扱っていることもあり、何らかのアウトプットを出さなければ気が済まないので、考察の真似事をしてみたい。

PSYCHO-PASSシリーズは100年後の未来、第三次大戦を経て国民全員の心理状態を「サイコパス（色相、犯罪係数）」として数値化し、管理することができるようになった社会を描く。この社会ではもはや現実世界の刑法のような「犯罪」という概念はなく、色相が悪化した（＝自身ないし他社に危害を加える懸念が高まった）ことが社会全体を網羅する汎用AI「シビュラシステム」に検知されると、司法手続きを省略してその場で鎮圧・「執行」される。3期のTVシリーズ、5作の劇場版がこれまでに制作され、足掛け11年にわたり続いている人気シリーズだ。今回の「PROVIDENCE」は劇場版6作目にあたる。

本作のあらすじはここでは詳しく述べないことにして、本題に入る。今作はシビュラシステムと刑法を始めとする既存の法体系の対立をテーマとしている。ストーリーはこの主題を軸に展開し、（実態はより複雑だが）AIであるシビュラが算出する一人ひとりの犯罪係数を用いることによって刑法が不要になるという勢力と、AIの限界を指摘し、人間の判断という不確定のファクターを維持すべきとする勢力が衝突する。

このテーマは創作の話ではあるが、直近の社会情勢を観ているとこうした議論の到来はほぼ確実であり、しかもそれはおそらく今世紀中だろう。すでに米国の一部の州の巡回裁判所では刑事裁判における再犯予測に民間企業のアルゴリズムを判断材料として取り入れ始めており、しかもこうしたアルゴリズムの処理プロセスはブラックボックスである[1]。

こうしたモデルはあくまで個別の犯罪者のデータをその犯罪者と類似した特徴を持つデータ群と比較してリスクを推測しているにすぎず、当然作中のシステムよりもはるかに原始的だが、技術の方向性としては重なる部分が大きいように思われる。

また、OpenAI社が目下推進するArtificial General Intelligence（汎用人工知能、AGI）[2]は遠からず社会に浸透していくと思われ、長期的にこうした目的に利用される可能性がある。単一のモデルによる全ての人々への公正な裁定は、作中に限らず司法制度が常に追求してきた理想だ。

もはやAIと法制度の問題は遠い未来の話ではない。そのあるべき姿を大雑把に構想する上では、今作が役に立つだろう。

このあたりまで考えると、本記事の冒頭で引用した砺波告善の発言が思い起こされてくる。彼は人間に絶望し、シビュラが全てを管理する社会を求め（て暴力的な手段に訴え）る。

ここで、本作のキーパーソンの考え方を整理したマトリックスを見てみたい。雑賀譲二、慎導篤志、常守朱はそれぞれ作中では犯罪心理学者兼潜在犯、厚生省大臣官房統計本部長、厚生省公安局統括監視官という役回りで、それぞれこうした思想を持つに至った背景は他シーズン等で説明がつけられているのだが、そこは話すと長いので割愛する。

本作では主要人物の口から「正しさ」と「真実」が別々の概念として語られる。ここでは真実は実際に起きていること、正しさはそれが社会にとって善となるか悪となるか、という価値観の問題として捉えるとよいだろう。作中社会ではもはや刑法も司法も形骸化しており、シビュラシステムの定義する「正しさ」が社会における正しさとなる。シビュラ自身にとって、また大多数の市民にとってその正しさは絶対的なものであり、基本的に揺らぐことはない。砺波はこの状況を是とし、「人々はその（シビュラ社会の）中でただささやかな幸せを享受するのみだ」と言う。

これに対して常守（一応主人公だ）は「それでは人は生きる意味を失う」と反論する。雑賀、慎導、常守はいずれも正しさを相対的なものと捉え、シビュラには測ることのできない別の価値観による正しさがありえるはずだという立場を取る。そしてその信念のもとに、3人はそれぞれ違った形でシビュラの判断基準において犯罪者となる、あるいはシビュラの筋書きに背く。

ここで私は、現実世界の我々は慎導ー常守の価値観を採用すべきであると考える。画一的かつフィードバックを受け入れない意思決定システムは遅かれ早かれ崩壊することになるだろう。現代社会において真実が絶対的なものであることに異論はない。しかし正しさについては、どこまで行っても人の判断が求められるのではないか。

また、作中で常守朱は「法が人を守るのではない、人が法を守るのだ」という立場を取る。これは刑法制度の存続を希求する中で出た発言だが、示唆に富んでいる。システムへの盲従ではなく、建設的な対話、フィードバックループの形成こそが人とシステムの共生に繋がるのではないか。

常守朱は冒頭の砺波の発言に対し、「人とシステムは共生関係でなければならない」と反論する。

そして最終的に常守はこのビジョンに従ってシビュラに背く。しかしながら、シビュラがそれを自身の改善に繋がる可能性のあるアクションと見なして判断を保留した（シビュラは自らの判断によって、社会システムの一部である執行システムにも介入できるにもかかわらず、だ）ことは、それ自体人とシステムの共生に繋がる第一歩であり、無駄ではなかったように描かれる。

繰り返すが、現実にはこのような議論はまだ思考実験の域を出ない。しかしながら、シビュラ社会のようなシステム依存の社会へと向かう動きはすでに始まっている。システムと人間の共生、どちらが主導権を握り前進していくか、それにより社会はよりよく、平等になるか。21世紀を生きる我々の最大のテーマとなるのかもしれない。

希望はあるだろうか。作中、厚生省公安局局長でありシビュラの端末でもある禾生壌宗は慎導に「シビュラシステムはこれからも人間の可能性を信じ続けますか」と問われ、「愚問だな。我々はそのために存在する」と述べた。現実世界はそれよりもはるかに複雑だ。それでも、人とシステムの相互信頼に立脚した透明性のある社会は、信じるに値する未来ではあるだろう。

【出典】

[1] 山本龍彦・尾崎愛美 (2018)「アルゴリズムと公正」『科学技術社会論研究』16. pp. 96-106. 科学技術社会論学会. https://www.jstage.jst.go.jp/article/jnlsts/16/0/16_96/_article/-char/ja/

[2] Sam Altman. (2023). Planning for AGI and beyond. OpenAI. https://openai.com/blog/planning-for-agi-and-beyond (2023年7月16日閲覧)

余談：PSYCHO-PASSの英語吹替版の上映が米国で始まっているそうで、ぜひ見に行きたいところなんですが、テキサスへの出張が2ヶ月先で、さすがにそれには間に合わないだろうな～という気持ちです。なんとかなりませんかね（ならない）