SHLグローバルニュース

このコーナーは、イギリスのSHLグループがお客様に向けて発信している様々な情報を日本語に翻訳してご紹介するものです。主にグループの広報誌やユーザー向けネット配信、HPプレスリリースなどから記事をピックアップしています。海外の人事の現場でどんなことが話題になっているのか、人材マネジメントに関して海外企業はどんな取り組みをしているのかをお伝えすることで、皆さまのお役に立てればと願っております。

今回はSHLグループのブログ記事を一部抜粋してご紹介します。

第378回　SHLにおけるChatGPTとタレントアセスメント

ポール・デコーク著
2023年5月25日

ChatGPTは過去6か月間で爆発的に普及し、幅広い用途があることで注目を集めました。SHLとタレントアセスメント業界が生成AIと大規模言語モデル(LLM’s：Large Language Models)への対応に取り組む上で何ら特別なことをしているわけではありません。しかし、その影響を理解し、今後の道筋を描くよう努めることは不可欠です。

タレントアセスメントの分野の人々にとって主な関心事は、LLM’sの使用が候補者のスコアにどのような影響を与えるかということです。

神話、嘘、疑惑

生成AIやLLM’sチャットツールは現状、息を呑むような洗練された様子と驚くべき不器用さを併せ持っています。後者に関しては、ChatGPTの作成者であるOpenAIが免責事項として、誤った情報を生成する場合があり、有害なもしくは偏った情報やコンテンツを生成する場合があることを全ユーザーに提示しています。

これらの免責事項には、現状のツールの弱点（つまり、事実や論理の正しさについて人の監視が依然として必要であること）が表れています。ChatGPTが提供する説得力のある回答は常に信頼できるわけではありません。SHLのVerify能力テストにおいても、一部の低難易度の問題に正解することができませんでした。

SHLのアセスメントのユーザーにとって最大の懸念は、次のように表現できるでしょう。「ChatGPTのようなLLM’sによって、候補者は、基礎となる知識、スキル、能力、または特性を正当に改善することなく、SHLのアセスメントのスコアを向上させることができますか？」「では、候補者の本当のスキルと能力を評価するために、SHLのアセスメントは効果的ですか？」2つ目の質問に対する答えが「いいえ」の場合、雇用主は候補者について知ることが減り、使用したAIについての知識が増えるでしょう。

知っていることは何でしょうか？

  1. 生成AIとLLM’sを使用して有用な応答を生成するには、独自のスキルが必要です。ChatGPTなどのLLM’sのユーザーは、適切な質問を作成したり、フォローアップの質問をしたりするのにある程度の時間を要します。必ずしもコピー・アンド・ペーストのように簡単ではありません。
  2. 上述のように、ChatGPTは、その自信に満ちた応答が示唆するほど一貫して正しいわけではありません。
  3. SHLの研究者は、ChatGPTがSHLのポートフォリオの中でも代表的なアセスメントに対し、どのような応答を生成するかをレビューしました。調査結果は、様々でしたが概ね低〜中程度の影響を示しています。

全体として、ほとんどのタイプのアセスメントが受ける影響は、ChatGPTから低〜中程度です。パーソナリティとコンピテンシー・ベースのアセスメントは、ChatGPTによるスコアの水増しの影響を受けず、また、シミュレーション演習、アセスメントセンターの多くの演習、事務スキルのアセスメントも同様でした。

知的能力テストは予測力の高さから選抜場面で頻繁に使用されますが、テキストベースの推論テストと比較して、インタラクティブで画像ベースの形式の場合には影響を受けにくいことがわかりました。興味深いことに、ChatGPTは一部の知的能力の問題に対して一貫性のない不正確な応答を生成することが判明しました。

ChatGPTは、ごく一部のタイプのアセスメント（つまり、構造化された回答形式で、テキストベースの能力およびスキルのテスト）において、より高いスコアとなることに影響を与えているようです。ただし、ご注意いただきたいのは、少なくともAutomataの場合、SHLのAI採点のコーディングアセスメントにはかなりの数があり、基本的な質問以外についてChatGPTのみに頼って良いスコアをとることは一般に困難であるという点です。

SHLアセスメントのユーザーと受検者にとっての結論は以下の通りです。
ChatGPTを使用して質問に答えると、場合によっては役立つかもしれませんが、簡単にスコアが悪くなる可能性があります。そのため、一か八かの状況、つまり選抜プロセスの一部としてアセスメントを実施する場合、候補者が積極的にとる選択肢ではないかもしれません。

次に何をするのでしょうか？

SHLは、AIとLLM’sテクノロジーの応用は非常に素晴らしいものであると信じています。一方で、アセスメントプロセスにおいて、新たな刺激に対する反応を生成する能力に（少なくとも部分的に）基づいて人を評価する企業や組織にとっては、課題も突きつけています。

SHLは時間の経過とともにアセスメントプロセスをこの新しいテクノロジーに適応させます。一方で、SHLのアセスメントの現ユーザーに対しては、LLM’sがアセスメントプロセスにもたらすリスクを理解してもらうことが重要です。使用された場合に候補者のスコアに影響をどの程度与えるかと、候補者がツールをいつ使用したかを把握するという2つの側面があります。

SHLアセスメントには、ChatGPTまたはその他のAIツールの潜在的な使用に関して、追加の知見を提供する（既存および間もなく実装される）多くの機能があります。以下に例を挙げます。

  1. プロクタリング（監督）フラグ：SHLのTalentCentralプラットフォームは、さまざまなプロクタリング信号を利用して、候補者のアセスメント受検を監視できます。決定論的/システム生成信号(スクリーンショット、コピー・アンド・ペースト、ブラウザ切り替え)と確率論的/AI生成信号(顔検出、顔切り替え)の両方が利用可能です。前者は、受検者がChatGPTまたはその他のAIツールを使用して回答を生成したかどうか、およびいつ使用したかを検出するのに役立ちます。データ保護の観点から、一部の地域ではプロクタリングの使用が制限される場合があることにご注意ください。
  2. 高度な盗作チェック：構造化された回答形式の全アセスメントについて、SHLのTalentCentralプラットフォームは自動盗作検出を利用できます。パターンマッチングによってLLM’sの使用を検出し、ある候補者の回答が他の候補者の回答またはインターネットから一般的に入手可能な内容と一致する場合、その候補者のリポートにフラグが追加されます。
  3. AIによって生成された回答の自動検出：まだ開発中ですが、SHLは候補者の回答を人間によって書かれたものとAIモデルによって書かれたものとに自動的に分類する追加の検出戦略を準備しています。SHLは100万件以上の回答を対象に大規模な調査を実施し、高精度の検出アルゴリズムを開発しました。さらに改良し、既存の盗作チェック機能と組み合わせることで、ChatGPTや類似のAIツールの潜在的な使用についてより良い知見を得ることが期待できます。

終わりに

私たちの調査結果では、強制選択、シミュレーション、画像、およびインタラクティブな質問項目といった設計要素を特徴とするアセスメントは、全体的にChatGPTの使用によるスコア水増しの影響を受けにくいことが分かりました。これらの設計要素は、すでにSHLのアセスメントの多くで使用されています。

構造化された回答形式など、一部のアセスメント形式はAIチャットツールの使用に対してより脆弱ですが、その場合でも、SHLにはアセスメントのユーザーを支援する（既存の、および間もなく実装される）検出および緩和戦略があります。生成AIやLLM’sのテクノロジーが候補者によって使用されたかどうか、またいつ使用されたかをよりよく理解できます。

タレントアセスメントの分野では、職業関連の知識、スキル、能力を評価することが長年のゴールであり、評価される個人が人間であれAIであれ、他人の知識や能力ではなく、自分自身の知識や能力に基づいて反応しているという前提がありました。これまでもコンテンツのセキュリティ対策や、検出および軽減戦略は日常的に使用されてきましたが、ChatGPTなどのAIおよびLLM’sチャットツールなどの新しいテクノロジーにも適応していくことになります。

（© SHL. Translated by the kind permission of SHL Group Ltd. All rights reserved）

訳者コメント

原文はこちらです。
https://www.shl.com/resources/by-type/blog/2023/chatgpt-and-talent-assessment-at-shl/

著者のポール・デコーク博士は、SHLの戦略的アプリケーションのサイエンスディレクターです。現状は、限られたアセスメントのみスコアが高くなる可能性があるという調査結果でしたが、テクノロジーは日々進化していますので、今後も継続した調査と対応する機能のリリースをスピーディに行うことが期待されます。

（文責：廣島晶子）

タレントマネジメ ントコラム 日本エス・エイチ・エルの人事コンサルタントの視点

バックナンバー

2024年
2023年
2022年
2021年
2020年
2019年
2018年
2017年
2016年
2015年
2014年
2013年
2012年
2011年
2010年
2009年
2008年

学会発表論文