SHLグローバルニュース

このコーナーは、イギリスのSHLグループがお客様に向けて発信している様々な情報を日本語に翻訳してご紹介するものです。主にグループの広報誌やユーザー向けネット配信、HPプレスリリースなどから記事をピックアップしています。海外の人事の現場でどんなことが話題になっているのか、人材マネジメントに関して海外企業はどんな取り組みをしているのかをお伝えすることで、皆さまのお役に立てればと願っております。

SHLグループのブログより、CAT（Computer Adaptive Testing：コンピューター適応型テスト）に関する記事をご紹介します。Verifyテストシリーズの一部はCATです。

第354回　コンピューター適応型テスト（CAT）は常に優れているのか？

コンピューター適応型テスト（CAT）は、現代の心理測定テストにおいて高く評価されていますが、どのような場面においても優れているのでしょうか？

イン・リン（SHL研究開発チーム主任研究員）

コンピューター適応型テストとは何か？

コンピューター適応型テストはCATと略され、アセスメントの世界でホットなトピックです。面接では、受検者が自分について話したことにあわせて質問を変えます。同様に、といっても判断を下すのは人間ではなく数学的なアルゴリズムですが、コンピューター適応型テスト（CAT）は各受検者に合わせて次に出す問題を自動的に調整します。たとえば、受検者が中程度の難易度の問題に正解した場合、アルゴリズムはより難しい問題を出して、受検者の能力の上限をテストします。一方、受検者が中程度の難易度の問題に不正解だった場合、アルゴリズムはより簡単な問題を出し、受検者の能力の下限を測定します。このように、CATは、各受検者に合わせて出す問題を調整し、限られたテスト時間の中で収集できる情報を最大化します。

コンピューター適応型テスト（CAT）は優れているか？

CATは知的能力テストで驚異的な効果を発揮し、測定の精度を損なうことなく、テスト時間を半分に短縮します。そのため、CATが優れた最新の心理測定テストの特徴として歓迎されていることは驚くべきことではありません。あるテストがCATのテクノロジーを利用していれば、それだけで問題項目が固定されているテストよりも高品質であると見なされるほどです。

知的能力テストにおいてはCATが優れていることは明らかです。しかし、パーソナリティやその他の非認知的な要素のアセスメントにおいてはそれほど明白ではありません。知的能力テストにおいて、受検者が問題の答えが分からない場合に回答できる「ふり」をすることはありません。しかし、パーソナリティに関する質問は、受検者が自分自身について言っていることに依存します。たとえば、受検者に「私はオープンマインドです」という文章にどの程度同意するかを尋ねる場合があります。このような質問は、特に利害が大きい場合に、自分をよく見せようとする可能性があります。この問題に対処するために、強制選択の質問形式があります。たとえば、受検者に「私はオープンマインドです」と「私は几帳面です」という2つの文章のうち1つを選択するように求めます。よく見せようとすることへの対抗策として強制選択形式を使用する場合、鍵となる重要な点は、一度に提示される選択肢を同じように望ましいものにすることです。

強制選択形式により複雑さが増し、パーソナリティの多次元的な性質と相まって、CATテクノロジーの適用はより微妙なものになります。一方では、CATが測定精度を向上させようとします。他方では、強制選択形式によって社会的望ましさのバランスをとる必要性があり、出題プロセスに大きな制約を課します。先行研究では、この2つの力のせめぎ合いについて、それでもCATが勝っていることを示しています。受検者の回答に合わせて質問が調整されるテストは、質問がランダムに選択される同様のテストよりも測定の正確性がはるかに高いという結果でした。

人事アセスメントにおけるコンピューター適応型テスト（CAT）

先行研究は有望な結果ではありましたが、比較対象となっているランダムに質問が選ばれるテストは、実務上は現実的ではありません。より現実的な比較として、Lin、Brown、Williams（2022）が最近発表した研究で、CATをOST（Optimal Static Test: そのテストに最適な質問項目が固定されているテスト）と比較しました。2つの状況で比較しました。まず、テストの冒頭で、ほとんど受検者の情報を収集できておらず、CATが受検者に合わせて出題するための情報が不足している状況です。次に、テストの終盤で、限れたアイテムバンク(質問群)がさらに少なくなり、CATの出題プロセスに厳しい制限がかかっている状況です。結局、OSTと比較したCATの利点は、残念ながら最小限でした。CATはOSTよりコストがかかるので、投資効果を考えるとやる価値がないという結果でした。

では、CATは知的能力以外の複雑なテストでは見込みがないのでしょうか？必ずしもそうではありません。必要な「エサ」が十分に与えられれば、OSTを上回る、有意義な結果を出します。

  • 受検者の情報を十分に与えてください。受検者の情報を集めるためには、ある程度の時間が必要です。
  • より多くの質問を追加してください。そうすることで、特に制約がある場合に、CATを実行するための幅広い選択肢を用意できます。

CATに「エサ」を与えることを忘れないでください。さもないと、CATをケージから出す価値がないかもしれません。

（© SHL. Translated by the kind permission of SHL Group Ltd. All rights reserved）

訳者コメント

原文はこちら。
https://www.shl.com/resources/by-type/blog/2022/feeding-the-cat-is-computerized-adaptive-testing-always-superior/

CATといえば知的能力テストですが、パーソナリティ検査への応用について研究した結果のご紹介でした。先日SHLはSHLラボを立ち上げ、研究開発に一層投資するとプレスリリースを出しました。今後のさらなる研究活動に期待しています。

（文責：廣島晶子）

タレントマネジメ ントコラム 日本エス・エイチ・エルの人事コンサルタントの視点

バックナンバー

2024年
2023年
2022年
2021年
2020年
2019年
2018年
2017年
2016年
2015年
2014年
2013年
2012年
2011年
2010年
2009年
2008年

学会発表論文