キャシー・オニールのあなたを支配し、社会を破壊する、AI・ビッグデータの罠 (原題 Weapon of Math Destruction)を読んだ。
本書の著者キャシー・オニールは異色の経歴の持ち主だ。彼女は数学者であり、大学で数学を専攻して博士号を取得し、コロンビア大学バーナードカレッジの終身在職権付の教授であったが、教授職を辞し、2007年アメリカの大手ヘッジファンドのD・E・ショーでクオンツ(高度な数学的手法で分析・予測を行う金融工学の専門家)の職を得る。転職してわずか1年余りの時にリーマンショックを目の当たりにし、誤った数学の使われ方について、強い危機感を抱いた。その後2011年に、データサイエンティストとしてeコマースのスタートアップに転職する。そのポジションから、誤った数学の使われ方により、不平等を助長し、貧しいものを罰していることに気付いた。本書は著者が大量破壊兵器(weapon of mass destruction)になぞらえて数学破壊兵器(weapon of math destruction)と呼んでいる、人々を不幸にする誤った数学の使われ方に関してのレポートだ。
本書で紹介されている内容はアメリカでのことなので、直接そのようなことが日本に当てはめられるかどうかはわからないが、誤って数学の適応するということは日本で起きていてもおかしくないと思われる。まず、問題なのはモデルを構築するときに十分なデータが得られない、あるいは直接データを観測することができない場合に、しばしば用いられるのが代理データーであり、その妥当性が十分考慮されていない点にある。そして、往々にして、「事象Xと事象Yの間には統計学的な相関関係がある」と説明されることなのだ。またその際に、因果関係と相関関係を混同している場合もある。たとえばある人物の居住地や話せる言語の種類と、その人物のローン返済能力には統計的な相関があるというような説明だ。このような相関付けは差別的であり、根拠に欠ける。
また、有害なフィードバックの問題もある。本書で扱われている再犯リスクを予測するモデルにおいて、質問票の回答の結果、再犯の可能性が高リスクに分類される人物は、無職であったり、法に反する行為をしたことのある友人や家族に囲まれた生活を送らざるを得ない地域の出身者であったりする可能性が高い。高リスクに分類されると刑期は長くなり、刑務所で犯罪仲間に囲まれて過ごす期間も長くなる―そのこと自体が、刑務所に戻ってくる可能性を高める。保釈されても、帰る場所は以前と同じ貧しい地域であり、前科者であるので、就職は難しい。この状況で犯罪を犯せば、再犯モデルが正しいことになる。しかし、再犯モデル自体がこの悪循環の始まりに寄与しているのだ。
著者は数学破壊兵器の三大要素として、「不透明であること」、「規模拡大が可能であること」、「有害であること」を挙げている。企業秘密・知的財産として、どのようなアルゴリズムに基づいて結果を計算しているのか全く明らかではないシステムは多々ある。もっとも作った本人たちにも説明できないのかもしれない。また、過去の例からすると、ある分野で成功したアルゴリズムは、往々にして別な分野に適応されることがあるということだ。そして、本書で取り上げられているもののほとんどが、社会的弱者・マイノリティーを更に罰するように作用して、意図しているか否かに拘わらず、彼らを不幸にするようになっていることだ。
本書で取り上げられているテーマは教育(大学のランキング)、宣伝(弱みに付け込むターゲット広告)、正義(犯罪予測)、就職(歪んだ適性検査)、仕事(非人間的な勤務時間の効率化)、信用(eスコアによる信用格付け)、身体(健康の格付け)、政治(政治市場とカスタム広告)と多岐にわたる。そして各章で取り上げられている実態は、不公平であったり、不透明な数学破壊兵器の見本のようなものだ。
筆者は、「人々から利益を吸い取ることを目的にするのではなく、人々を助けることを目的とすれば、数学破壊兵器は非武装化される」と述べているが、実際にその通りだ。しかし、実態は企業活動においては利益追求が優先されていて、人々を助けることは優先順位が低く設定されているか、全く考慮されていないであろう。だから、残念ながら今後も数学破壊兵器が減ることはないであろう。
