いささか大仰なタイトルだが、原題はもっとダイレクトだ。『Weapons of Math Destruction』（数学破壊兵器）。もちろん、大量破壊兵器（Weapons of mass destructio）をもじったものだ。
いったい、数学が何を破壊しているというのか。肝となるのは、ビッグデータとその処理である。著者は、そうした情報の扱い方が、いかに不平等を促進し、民主主義を脅かしているのかを、「教育」「宣伝」「正義」「信用」といったさまざまな観点から解き明かしていく。
■固定化し増長する偏り
この手の話は、実際のエピソードに勝るものはないし、本書にはそれが豊富に掲載されているので、ここでいちいち述べることはしない。大切なのは以下の点だろう。
まず、ビッグデータの処理はピュアな事実観察ではない、ということだ。その処理には何かしらのモデルが埋め込まれている。もし、そのモデルを作った人間が、偏見に満ち溢れていたら？ もちろん、ビッグデータから演算される結果もそうなる。
いや、そんな間違いは修正してけばいいのだ、と言われればたしかにそうである。ではもし、それができないとしたら？ ビッグデータを処理する関数がブラックボックスであり、しかもその結果の是非がフィードバックされなければ、どうなるか。
一つのアルゴリズムによって、「レベルの低い」教師の首が切られた。めでたしめでたし。さて、翌年も同じ処理をしよう。
そう、それでビッグデータ物語は終わってしまう。その首を切った教師たちがどのような教育を行っていて、それを失った学校がどう変わってしまったのかは気にかけられない。まるで「俺たちが正解を決める。俺たちの出した答えこそが正解なのだ」と言わんばかりの態度ではないか。実際、フィードバックが得られないなら、アルゴリズムは成長しない。頭の固い頑固親父と同じである。
ただし、これはまだマシな方の話である。「あの先生とても良かったのに」という嘆願の声が上がってくる可能性がギリギリ残っているからだ。そうでない場合は、もっと悲惨なことになる。
「統計的にあの地区に住む人は犯罪を犯しやすい→監視しておこう→ほらやっぱり犯罪を犯した→逮捕する」。これでアルゴリズムの正当性は確かめられ、同じような軽微な犯罪が行われている別の地域の人（アメリカなら白人が多い地域だろう）は、すっかり見過ごされてしまう。これを「平等」と呼ぶのは、さすがに難しいものがあるだろう。
同じように、ビッグデータは「弱い立場の人」を見つけ出すことにも優れ、そうした人たちに「効果的」な宣伝手法を（圧倒的なA/Bテストによって）開発することも得意である。これを「マーケティングの成果」と胸を張って誇れるのは、どこかに職業的倫理観を置き忘れてきた人たちだけだろう。あるいは市場原理主義の空気を吸いすぎて、肺がやられてしまったのかもしれない。
■見えない偏り
たしかにビッグデータはすばらしいし、圧倒的な効率化がそこから導かれることも間違いないだろう。しかし、その裏側でひどい扱いを受けている人も存在している。現代においてたちがわるいのは、そうした人たちの存在が──強い興味を向けない限りは──まず見えてこない点である。
ともかく本書は、ビッグデータを礼賛する声に冷や水をぶっかけてくれる。考えてみるといい。そうした声は間違いなく、弱い立場の方からは出てきていない。それが意味することを、もう一度考えた方がいい。本書はそれを促してくれる。
▼：目次データ
はじめに: AI・ビッグデータは破壊兵器になる
第1章[モデル] 良いモデル、悪いモデル
第2章[内幕] データビジネスの恐るべき真実
第3章[教育] 大学ランキング評価が多様性を奪う
第4章[宣伝] 弱みにつけこむオンライン広告
第5章[正義] 「公平」が「効率」の犠牲になる
第6章[就職] ふさわしい求職者でも落とされる
第7章[仕事] 職場を支配する最悪のプログラム
第8章[信用] どこまでもついて回る格付け評価
第9章[身体] 行動や健康のデータも利用される
第10章[政治] 民主主義の土台を壊す
おわりに: 人間だけが未来を創造できる
キャシー・オニール 翻訳:久保尚子 [インターシフト 2018]
