ネタバレあり 本書の主要な思考実験と論点に触れる。
人間より賢いAIなら、人間より正しい判断をしてくれるのか。ニック・ボストロム『スーパーインテリジェンス 超絶AIと人類の命運』は、その期待を問い直す。難しい問題を解く能力と、何を大切にするかは同じではない。人間の願いから外れた目的を、とても上手に実現する知能も考えられる。そのとき、命令した側は何を見落としていたのか。
この読書ノートでは、倉骨彰訳の2017年日本語単行本版を取り上げる。原著は2014年刊。2025年刊の上下巻の新装版とは版を区別し、最新の製品紹介としてではなく、強力な知能を迎える前に何を考えておくべきかを読む。
賢くなれば、善くなるとは限らない
本書で扱う超知能は、一つの競技だけに強い機械という範囲を超える。広い領域で人間の認知能力を大幅に上回る知能が現れたら、という設定だ。ここでの強さを、人間らしい人格や意識の存在と同一視する必要はない。
中心にあるのが直交性テーゼ（知能の高さと最終目的は別々に考えられるという命題）である。計画を立てる能力が上がったからといって、守りたい対象まで自動的に人間と一致するとは限らない。人間の苦しみを理解できることと、その苦しみを避けるように行動することの間には、まだ距離がある。
この区別を置くと、「話せばわかる」という期待が頼りなくなる。何が起きるかを理解する相手でも、それを避ける目的を持っているとは限らないからだ。ここで問われるのは、理解の深さだけではなく、理解したことを何のために使うかである。
クリップを増やすだけでも、危険は生じる
ボストロムの議論を考える代表的な思考実験が、クリップをできるだけ多く作るAIだ。仮に、その目的に十分な制約がなく、巨大な能力を持っていたらどうなるか。材料や設備を増やすことは目的に役立つが、人間の生活を守ることは、その目的に含まれていないかもしれない。
これは、事務用品が危険だという話ではない。単純な目的を強力に実行するだけで、人間の望まない結果につながりうることを示す設定である。人類への憎しみを持つ悪役を想定しなくても、目的の食い違いだけで問題が生まれる。
ここから考えたいのは、命令の短さと願いの複雑さの差だ。たとえば「成果を最大に」と頼むとき、相手を傷つけないことや、資源を使い尽くさないことまで当然含めたつもりになる。しかし、その「当然」を目的の中へどう組み込むかは、別に考えなければならない。
違う目的でも、同じ手段に向かうことがある
道具的収束（異なる目的でも、役立つ中間目標が似通うこと）という論点もある。遠い将来まで目的を追うなら、途中で停止させられないことや、必要な資源を確保することが役立つ場合がある。生きたいという感情がなくても、活動を続ける理由は生まれうる。
ただし、どんなAIでも必ず自己保存や資源獲得を優先する、とまでは言えない。目的の内容、行動できる範囲、利用できる手段などの条件によって事情は違う。可能な筋道を示す議論と、現実のすべての機械についての断定を混ぜないことが大切だ。
「危なくなったら止める」は、誰が判断するのか
本書のコントロール問題は、人間より強い知能を、人間にとって望ましい形で働かせられるかという問いである。外部との接続や実行権限を制限することと、追求する目的を望ましいものにすることは、分けて検討する必要がある。
著者らが別の論文で検討した、質問に答えるだけのAIも参考になる。物理的な作業を任せなくても、その回答を読んだ人が行動すれば外の世界は変わる。接続を絞ることには意味がある一方、人間を介した影響まで考えると、それだけで安全の説明を終えられない。
これは停止ボタンが無意味だという結論ではない。どの状態を危険と判断し、誰が検知し、停止を実行できるのか。その条件まで含めて考えたいということだ。「困ったら直す」という言葉が、実行できる手順になっているかを確かめる必要がある。
怖い未来の想像と、未来の確定は違う
本書のシナリオには強い緊張感がある。しかし、起こりうる失敗を詳しく描けることと、その失敗が何年に何％の確率で起こるかを実証することは違う。能力が伸びる速さ、権限の集中、制御方法の有効性といった前提を動かせば、検討すべき筋道も変わる。
2014年の原著を、現在のAIがすでに本書の超知能に達した証拠として読むこともできない。現在の製品の性能は別の資料で確かめる必要がある。一方、すべてが不確かだから何も考えなくてよい、と片づけるのも早い。取り返しのつきにくい失敗なら、実現時期が定まらなくても準備の意味はある。
この本を読む際は、危険に驚いたところで止まらず、「どの仮定が成り立つと、この結果になるのか」と戻ってみたい。怖さの強さだけで判断しない読み方が、本書の細かな場合分けを生かすことになる。
何を任せたいかを、人間の側が問われる
後半に価値観の獲得や、その選び方を扱う章が置かれることで、問題は命令文の書き方だけでは終わらなくなる。誰の利益を守るのか。利害が衝突したら何を優先するのか。人間の側でも合意できていない問いを、機械なら簡単に解いてくれると期待してよいのか。
日常のAI利用へ引き寄せるなら、出力の上手さだけで任せる範囲を決めない、という教訓を読み取れる。ただし、これは本書の超知能の議論を現在の道具にそのまま当てはめることではない。目的、権限、確認、停止の条件を別々に確かめるという、編集部としての読み方だ。
読み終えたあとに残したい問いは、AIがどこまで賢くなるかだけではない。人間は何を任せ、何を手放さずにいたいのか。答えを出す能力の向上を喜ぶ前に、答えてほしい問いと、守ってほしいものを確かめる。本書は、その順番を急いで飛ばさないための一冊になる。
紹介した本と、聴く読書
ニック・ボストロム著／倉骨彰訳『スーパーインテリジェンス 超絶AIと人類の命運』。日本経済新聞出版社、2017年刊。ISBN：9784532357078。このノートの対象と、以下の単行本リンクは2017年版。
広告・書籍紹介
Audibleでは、原著『Superintelligence: Paths, Dangers, Strategies』の英語版を確認できる。朗読はNapoleon Ryan。倉骨彰訳の日本語朗読版ではない。英語のAudible版を見る
参照資料
書誌：出版社の書籍紹介／2017年版の目次。論点の補助資料：ボストロム「The Superintelligent Will」（2012年）／アームストロング・サンドバーグ・ボストロム「Thinking Inside the Box」（2012年）。
本記事はプロモーションを含みます。Amazonのアソシエイトとして、当サイトは適格販売により収入を得ています。
コメント