SHLグローバルニュース

このコーナーは、イギリスのSHLグループがお客様に向けて発信している様々な情報を日本語に翻訳してご紹介するものです。主にグループの広報誌やユーザー向けネット配信、HPプレスリリースなどから記事をピックアップしています。海外の人事の現場でどんなことが話題になっているのか、人材マネジメントに関して海外企業はどんな取り組みをしているのかをお伝えすることで、皆さまのお役に立てればと願っております。

今回はSHLグループHPのブログから、アセスメントの妥当性に関する記事を一部抜粋してご紹介します。

第368回　タレントアセスメントの妥当性は誇張されている？

新しい研究結果をもとに、タレントアセスメントについて、ベンダーが主張している妥当性をより適切に評価するためのガイダンスを提供します。

ジェフ・ジョンソン
2022年12月8日

Journal of Applied Psychologyに最近掲載された記事は、タレントアセスメントと従業員の選抜の世界に大きな混乱をもたらすと予想されています。この記事では、一般的なメタ分析の進め方をレビューし、アセスメント得点と職務パフォーマンスの関連性は、過大評価されていることが多いと結論付けました。

働く個人や実務担当、そして顧客がこの調査結果を理解することを支援するために、SHLは、白書「Guidance for the Interpretation of Validity Coefficients（妥当性係数の解釈に関するガイダンス）」を作成しました。このブログでは、タレントアセスメントの妥当性を評価する上でのSHLのアプローチと、広く受け入れられている既存の研究結果を見直すことが必要な理由について説明します。まず、タレントアセスメントの分野で使用される用語を理解しましょう。

タレントアセスメントと従業員の選抜における用語

従業員を選抜するためのタレントアセスメントの世界では、「妥当性」という用語は、アセスメント得点から導き出される解釈の正確さを指します（たとえば、アセスメント得点が職務パフォーマンスを予測するなど）。「妥当性検証」とは、これらの解釈を裏付ける証拠を確立するプロセスです。

タレントアセスメントでは、最も強力な証拠は、一般に基準関連の妥当性検証から得られると考えられています。これは、アセスメント得点（つまり、予測変数） が、関心のある基準尺度得点（ほとんどの場合、職務パフォーマンス）に関連していることを示すものです。基準関連妥当性の証拠は、通常「妥当性係数」または相関（r）の形式で表されます。この係数は、0から1の範囲で、アセスメントと基準得点の間の関係の大きさを示します。

「予測的妥当性」の検証研究では、採用前に求職者から予測データ（アセスメント得点など）を収集し、一定期間仕事に従事した後に採用された求職者から基準データ （マネージャーの評価など）を収集します。「一致的妥当性」の検証研究では、現職者から予測データと基準データの両方を短い期間で収集します。

「メタ分析」とは、複数の妥当性検証研究の結果をまとめ、サンプリングエラーの影響を減らし、単一の研究よりも変数間の相関関係をより正確に推定する方法です。選抜プロセスの妥当性のメタ分析は、学術文献やアセスメントベンダーの間で非常に一般的であり、さまざまな種類のアセスメントの妥当性について期待される平均的なレベルを確立するために使用されています。選抜プロセスのメタ分析では、妥当性の推定値を押し下げる制限（たとえば、アセスメント得点に基づいて選抜を行うことによる範囲の制限）を考慮に入れるために、妥当性係数に統計的な修正を適用することがよくあります。妥当性研究のタイプによって異なる修正が必要なため、ここが最も間違いが起こりやすいところです。

SHLのアプローチと視点

SHLは歴史的に妥当性係数の修正において保守的なアプローチをとってきました。範囲制限の修正は通常行っていません。ほとんどの基準関連妥当性の検証研究が「一致的妥当性」についてであり、修正公式に入力する変数について、現実的な推定値を置くことが難しいためです。したがって、このブログの冒頭で言及した最近の記事によって得られた結論が、私たち自身の妥当性検証研究の結果やメタ分析に影響を与える可能性は低いです。当社のテクニカルマニュアルには、妥当性の計算と統計的な修正を評価するために必要なすべての情報が含まれています。他のタレントアセスメントベンダーが主張する妥当性も同様かというと、必ずしもそうではありません。

冒頭で紹介した記事が科学と実践の両方に与えるだろう影響、他のタレントアセスメントベンダーがメタ分析で同様の間違いをする可能性、そしてテーマそのものが妥当性分析に詳しくない人にとって複雑であることから、SHL は「Guidance for the Interpretation of Validity Coefficients」という白書を作成しました。この文書の目的は以下の通りです。

  1. 一次研究およびメタ分析における妥当性係数の推定に関連する問題を説明する
  2. さまざまな種類の選抜手法について、妥当性のレベルがどのように変化したかを要約する
  3. タレントアセスメントの購買者とユーザーに、ベンダーが主張する妥当性をより適切に評価するためのガイダンスを提供する

この文書は、タレントアセスメントベンダーが提供する技術文書を評価する際に十分な情報をもっていたいと考えている既存ユーザーだけでなく、使用を検討している方も対象としています。

（© SHL. Translated by the kind permission of SHL Group Ltd. All rights reserved）

訳者コメント

原文はこちらです。
https://www.shl.com/resources/by-type/blog/2022/talent-assessment-validity-claims-may-be-exaggerated/

冒頭で紹介されている記事では、メタ分析において範囲の制限に関する統計的な修正によって、妥当性が高く見積もられていると指摘しています。SHLグループの作成した妥当性計数の解釈に関する白書「Guidance for the Interpretation of Validity Coefficients」はこちらからダウンロード可能です。
https://www.shl.com/resources/by-type/whitepapers-and-reports/guidance-for-the-interpretation-of-validity-coefficients/

（文責：廣島晶子）

タレントマネジメ ントコラム 日本エス・エイチ・エルの人事コンサルタントの視点

バックナンバー

2024年
2023年
2022年
2021年
2020年
2019年
2018年
2017年
2016年
2015年
2014年
2013年
2012年
2011年
2010年
2009年
2008年

学会発表論文