AI人事評価のデメリット｜同じデータで選ばれる人が入れ替わる理由

AI人事評価のデメリットとして語られるのは、たいていモデルの精度か、ブラックボックスであることです。ただ、実際に評価がおかしくなる原因は、その手前にあることが多いと考えています。何を学習したかではなく、誰と誰を比べたか。この記事では、その一点に絞ります。

比較する集団を変えるだけで、同じデータ、同じルール、同じ計算から、選ばれる人の顔ぶれが入れ替わります。モデルの不具合ではありません。算数の結果です。

以下の数字は、CapLeadのデモで使っているサンプルデータ（架空のグループ「サンライズHD」12社・従業員8,420名）から作った計算例です。実在の企業のデータではありません。だからこそ、読んだ方が同じ計算を自社の名簿で再現できます。

AI人事評価のデメリットは、精度ではなく比較する集団にある

候補者を選ぶ仕組みは、どれも同じ形をしています。何らかのスコアを付け、順位をつけ、上から何割かを取る。AIを使うかExcelを使うかは、スコアの作り方が変わるだけで、この形は変わりません。

ここで見落とされやすいのが、順位をつける集団の指定です。全社で1本の順位表を作るのか、会社ごとに作るのか、等級ごとに作るのか。この指定は設定項目として存在しないことが多く、たいていは「全社で上位10%」が既定値になります。

そして、その既定値が結果を決めます。

比較集団は、スコアの作り方ほど議論されません。どのデータを学習させるか、どの指標に重みを置くかは検討の対象になりますが、「誰と比べるか」は前提として通り過ぎます。ところが後で見るとおり、選ばれる人数を最も大きく動かすのはこちらです。

サンプルデータで確かめる：同じ人数でも取り分が変わる

グループから2社を取り出します。サンプルデータの設定は次のとおりです。

2社で2,820名。ここから「上位10%」＝282名を選びます。

ひとつだけ、意図的な仮定を置きます。等級の中で見れば、2社の実力分布は同じとします。商事のM2と物流のM2は、同じ割合で選抜基準を満たす。会社による差はないという前提です。

一方で、スコアは等級とともに上がります。評価の履歴、アセスメントの結果、上長の推薦。どれも在籍年数と職位に応じて積み上がるので、これは多くの会社で実際に起きていることです。この例では、上位等級の24%、一般等級の4.9%が基準を満たすとします。この率は2社で同じです。

計算すると、こうなります。

どの選び方でも、合計は282名です。選ばれる総数は変わりません。変わるのは誰が選ばれるかです。

物流の取り分は67名から98名へ、47%増えます。商事は215名から184名へ、14%減ります。前提として2社の実力分布は等級の中で同じだと置いたのに、です。

差を生んでいるのは実力ではなく、等級構成です。商事は上位等級が35%、物流は10%。全体で1本の順位表を作ると、スコアの高い上位等級を多く抱える会社が多く選ばれます。その会社に優秀な人が多いからではなく、スコアが上がりやすい人を多く抱えているからです。

会社ごと・等級ごとに分けた場合に同じ人数になるのは、偶然ではありません。等級の中の実力分布を同じだと置いたので、比較集団を等級でそろえれば会社差は消えます。消えるはずのものが、全体順位では差として出てくる。それが、この計算が示していることです。

これは検証で見つからない

モデルの精度検証では、この問題は出てきません。スコアの付け方は正しく、順位のつけ方も正しく、上位10%を取る処理も正しい。どこにも不具合がないからです。

公平性のチェックでも見つかりにくいところがあります。「上位等級ほどスコアが高い」という関係は、多くの会社で実態としても正しいからです。問題は関係そのものではなく、その関係を含んだままスコアを横並びにして順位をつけたことにあります。

説明の場面でも効いてきます。選から外れた人に理由を聞かれたとき、「全社の順位で上位10%に入らなかった」は答えになりますが、「なぜ全社の順位なのか」には答えていません。等級ごとに見れば入っていた人に対しては、なおさらです。比較集団の選択は、結果を決めているのに記録が残らない種類の判断で、後から再現できないことが多くあります。

同じ構造は、性別や年齢でも起こります。男女で在籍年数や等級構成が違う会社では、全体順位で上位を取ると男性が多くなります。同性の中で順位をつけると、その差はかなり縮みます。実データで同じことを確かめた例は「次世代リーダー候補の選抜で女性が少なくなる理由」にまとめました。

公開されている失敗例：Amazonの採用ツール

構造を知るのに手頃な事例が、Amazonの採用ツールです。ロイターが2018年10月に報じたもので、同社は2014年から履歴書を5段階で格付けする仕組みを開発していましたが、女性を低く評価する傾向が判明し、運用を断念しています。

学習に使われたのは、過去10年間に同社へ提出された履歴書でした。技術職の応募者は男性が大半だったため、仕組みは「過去に採用された人に似ているか」を学び、結果として "women's" という語や女子大の名称を含む履歴書を減点するようになっていました。個別の語を中立化してもなお、他の箇所で同じことが起きていないと確信が持てず、プロジェクトそのものが止まっています。

ここでも、モデルが壊れていたわけではありません。与えられた集団の中で、過去の選ばれ方を忠実に再現しただけです。比較の対象が過去の採用者だったことが、結果を決めていました。

AIに人を並べさせる前に決める4つのこと

順番があります。ツールを選ぶ前に決めることです。

1. 比較する集団を明示する。 全体か、会社別か、等級別か、職種別か。既定値のまま使わず、なぜその集団かを書き残します。集団を変えたら結果がどう変わるかも、1度は出しておきます。
2. スコアと相関する属性を洗い出す。 等級、在籍年数、部署の規模、評価者の甘辛。これらとスコアの関係を先に見ておくと、順位が何を反映しているかが分かります。
3. 選抜の母集団そのものを数える。 上位10%を議論する前に、候補になりうる層に誰がどれだけいるかを見ます。母集団の厚みを増やす話と、その中から選ぶ話は別です。考え方は「女性管理職の候補者育成」で扱っています。
4. 指標の定義を文書にする。 スコアの元になる指標が何を数えているか、分母は誰か、いつ時点か。これが書かれていないと、結果を説明するときに再現できません。作り方は「人的資本の指標定義レジストリのつくり方」にまとめました。

この4つは、外部のツールを使う場合も同じです。ベンダーの標準設定がどの集団で順位をつけているかは、契約前に確認できます。確認して答えが返ってこないなら、それ自体が判断材料になります。

4つとも、AIを入れるかどうかとは関係なく必要になります。逆に言えば、この4つがない状態でAIを入れると、説明できない結果が速く大量に出てくることになります。

少人数の区分は、そもそも出さない

比較集団を細かく切ると、もうひとつ別の問題が出ます。「研究所の部長級の女性」のような区分は、該当者が数名になります。そこに順位や比率を出せば、個人が特定されます。

対処は単純で、一定人数に満たない区分は画面にも出力にも出さないことです。該当者数そのものも出しません。「10名未満は非表示」のようなしきい値を決め、集計を作る側ではなく、表示する側に持たせます。集計のたびに判断していると、いつか漏れます。ダッシュボードを作るときの条件は「人的資本の可視化に何を載せるか」で整理しています。

AIが文章を生成する場合は、この制限を生成にも効かせる必要があります。画面では非表示でも、要約文が「研究所の女性管理職は1名」と書いてしまえば、同じことが起きます。

Floraの支援：出力の前に、根拠と範囲を固定する

Flora株式会社の「CapLead」は、グループ各社に散在する人事・人的資本のデータを一つの基盤で管理し、指標ごとの定義を版で固定して、元ファイルの行まで遡れる出典を残します。集計や生成の出力には、その定義と出典が紐づきます。人数の少ない区分は、画面にも書き出しにもメール本文にも出ません。

比較集団をどう取ったか、その数字がどこから来たかを、後から説明できる状態にする。AIに人を並べさせるなら、その前に必要になるのはこの部分です。まず30分、貴社グループのデータと使いみちをお聞かせください。

まとめ

AI人事評価のデメリットは、モデルの精度より前の段階にあります。比較する集団を変えるだけで、同じデータ・同じルールから違う顔ぶれが選ばれます。サンプルデータでは、等級の中の実力分布を同じだと置いても、全体順位と会社別順位で片方の会社の取り分が47%変わりました。

これは検証では見つかりません。どの処理も正しいからです。見つけるには、比較集団を明示し、スコアと相関する属性を洗い出し、母集団そのものを数え、指標の定義を書き残す。AIを入れる前に決めておくことです。

--- CTA: 30分ヒアリング（無償）を申し込む → /ja/caplead