AI採用で差別が起きる仕組み｜Amazonの事例と示唆

AI採用で差別が起きる、という話は繰り返し出ます。ただ、何がどう起きるのかは、あまり具体的に語られません。モデルが偏っている、学習データが悪い、という説明で止まりがちです。

実際に起きているのは、もう少し単純で、もう少し厄介なことです。仕組みは過去の選ばれ方を学び、そのうえで「誰と誰を比べるか」の指定に従って順位をつけます。この2つが揃うと、どこにも不具合がないまま、結果だけが偏ります。

この記事では、公開されているAmazonの事例を手がかりに仕組みを分解し、日本企業が導入前に決めておくことを整理します。数字はCapLeadのデモで使っているサンプルデータ（架空のグループ「サンライズHD」12社・従業員8,420名）です。実在の企業のデータではありません。

AI採用の差別は、モデルの不具合として現れない

先に結論を書きます。この種の問題は、精度検証では見つかりません。

スコアの付け方は正しく、順位のつけ方も正しく、上位何%かを取る処理も正しい。どの工程にもエラーが出ません。出力される順位表は、計算としては完全に整合しています。

見つからない理由は、問題が計算ではなく前提にあるからです。何を学習させたか、そして誰と誰を比べたか。この2つは設定であって、不具合ではありません。

だから「導入して様子を見る」という進め方が効きにくい領域になります。様子を見ても、エラーは出ないからです。気づくきっかけは、たいてい外からの指摘か、選から外れた人の問い合わせです。どちらも、その基準で何百人分かの判定が終わったあとに来ます。

Amazonの事例：何が起きたか

手がかりになる公開事例が、Amazonの採用ツールです。ロイターが2018年10月に報じたもので、同社は2014年から履歴書を5段階で格付けする仕組みを開発していましたが、女性を低く評価する傾向が判明し、運用を断念しています。

学習に使われたのは、過去10年間に同社へ提出された履歴書でした。技術職の応募者は男性が大半だったため、仕組みは「過去に採用された人に似ているか」を学びます。結果として "women's" という語や、女子大の名称を含む履歴書を減点するようになっていました。

重要なのはその後です。個別の語を中立化しても、他の箇所で同じことが起きていないと確信が持てず、プロジェクトそのものが止まりました。特定の語を消せば済む話ではなかった、ということです。

モデルが壊れていたわけではありません。与えられた集団の中で、過去の選ばれ方を忠実に再現しただけです。比較の対象が過去の採用者だったことが、結果を決めていました。

仕組みを3段階に分解する

同じ構造は、どの選抜の仕組みにも現れます。

対策の議論は、ほとんどが1段目に集中します。学習データを見直す、偏った事例を除く、といった話です。

ところが実務でいちばん効くのは3段目です。学習データをそのままにしても、比較集団の指定を変えるだけで結果は大きく動きます。そして3段目は、たいてい設定項目として存在すらしていません。既定値は「全体で上位何%」で、誰もそれを選んだ覚えがない、という状態になります。

2段目も見落とされがちです。応募者の情報をスコアに変換する時点で、在籍年数や職種のように、本人の能力とは別の理由で高く出る項目が混ざります。ここを確認せずに順位だけを見ると、構造の差を実力の差として読むことになります。

サンプルデータで見る：比較集団を変えるだけで顔ぶれが変わる

計算例で見ます。サンプルデータのグループで、候補者の上位10%を選ぶ場合です。

同じデータ、同じスコア、同じ「上位10%」です。変えたのは順位をつける集団だけで、女性の該当率は8.9%から12.1%へ動きます。

なぜ動くかというと、スコアが等級や在籍年数とともに上がるからです。評価の履歴、アセスメントの結果、上長の推薦。どれも積み上がるものなので、上位等級に多い集団が有利になります。男女で等級構成が違えば、全体順位はその構造差を反映します。

会社の単位でも同じことが起きます。サンプルデータの商事は上位等級が35%、物流は10%です。2社をまとめて全体順位で上位10%を取ると、商事が多く選ばれます。会社ごとに順位をつけると、その差は消えます。実力の差ではなく、等級構成の差です。実データでの確かめ方は「次世代リーダー候補の選抜で女性が少なくなる理由」で扱いました。

日本企業への示唆と、導入前に決める4つ

厚生労働省は「公正な採用選考」の考え方として、応募者の適性と能力に関係のない事項を採用の可否の判断に用いないことを求めています。AIを使うかどうかにかかわらず、この考え方は変わりません。

ここで問題になるのは、AIを使うと「何を判断に用いたか」が説明しにくくなることです。特定の項目を入力から外しても、他の項目がその代理になることがあります。Amazonの事例で、語を中立化しても確信が持てなかったのはこの点です。

実務上は、次の2つを分けて考えると整理できます。

• 入力から外すべき項目。 適性と能力に関係のない事項。これは従来どおりです。
• 代理になりうる項目。 単独では問題なくても、外した項目と強く相関するもの。所属していたサークル、卒業した学校、居住地域などが該当することがあります。

代理項目は、事前に洗い出しておかないと気づけません。導入後に「この項目が効いていた」と分かる頃には、その基準で何人も判定が終わっています。

洗い出しの方法は単純です。外したい属性を目的変数にして、残した項目からどれだけ当てられるかを見ます。高い精度で当てられる項目があれば、それが代理です。外すか、影響を抑える設計にするかを決めてください。

1. 比較する集団を明示する。 全体か、職種別か、新卒と中途を分けるか。既定値のまま使わず、なぜその集団かを書き残します。集団を変えたら結果がどう変わるかも、1度は出しておきます。
2. スコアと相関する属性を洗い出す。 在籍年数、学歴、職種、地域。スコアとの関係を先に見ておくと、順位が何を反映しているかが分かります。
3. 落ちた人に説明できる形にする。 「全体の順位で上位に入らなかった」は答えになりますが、「なぜ全体の順位なのか」には答えていません。判定の前提を記録に残してください。
4. 母集団そのものを数える。 上位10%を議論する前に、候補になりうる層に誰がどれだけいるかを見ます。厚みを増やす話と、その中から選ぶ話は別です。考え方は「女性管理職の候補者育成」で扱っています。

4つとも、外部のツールを使う場合も同じです。ベンダーの標準設定がどの集団で順位をつけているかは、契約前に確認できます。確認して答えが返ってこないなら、それ自体が判断材料になります。

そして4つとも、AIを入れるかどうかとは関係なく必要になるものです。逆に言えば、この4つがない状態でAIを入れると、説明できない結果が速く大量に出てくることになります。

よくある失敗

• 学習データの見直しだけで対策とする。 3段目の比較集団を放置すると、同じ偏りが別の形で出ます。
• 属性を入力から外して安心する。 代理になる項目が残っていれば、結果は変わりません。外した項目との相関を確認してください。
• 精度が高いことを公平性の根拠にする。 精度は「過去の選ばれ方をどれだけ再現できたか」です。過去が偏っていれば、精度が高いほど偏ります。
• 少人数の区分を出力する。 職種別・地域別に切ると該当者が数名の区分が出ます。一定人数に満たない区分は、画面にも書き出しにも出さないでください。
• 採用だけで完結させる。 入口の比率を直しても、その世代が管理職相当の年次に達するまで比率は動きません。時間軸の話は「女性活躍推進のKPI設計」にまとめました。

Floraの支援：判定の前提を、後から説明できる状態にする

Flora株式会社の「CapLead」は、グループ各社に散在する人事・人的資本のデータを一つの基盤で管理し、指標ごとの定義を版で固定して、元ファイルの行まで遡れる出典を残します。集計や生成の出力には、その定義と出典が紐づきます。人数の少ない区分は、画面にも書き出しにもメール本文にも出ません。

比較集団をどう取ったか、その数字がどこから来たかを、後から説明できる状態にする。AIに人を並べさせるなら、その前に必要になるのはこの部分です。まず30分、貴社の選抜の進め方をお聞かせください。

まとめ

AI採用で差別が起きるのは、モデルが壊れているからではありません。過去の選ばれ方を学習し、比較する集団の指定に従って順位をつける。この2つが揃うと、どの工程にも不具合がないまま結果が偏ります。

Amazonの事例が示したのは、特定の語を消しても確信が持てなかったという点です。サンプルデータでは、比較集団を変えるだけで女性の該当率が8.9%から12.1%へ動きました。導入前に決めるべきは、モデルの精度ではなく、誰と誰を比べるかのほうです。指標の定義の置き方は「離職率の計算方法」も参考になります。

--- CTA: 30分ヒアリング（無償）を申し込む → /ja/caplead