実施したテストの性質を把握したり、受験者の能力を正しく理解するために、各種資格試験運営団体、教育機関、教育サービス会社様などあらゆるテスト事業者の方に向けて、テストの分析業務を行っております。
- 問題の難易度は適度な範囲になっているか。問題数は適当か。
- 選択肢がうまく機能しているか。
ひとつひとつの問題が、能力の高い者と低い者を見分けているか。 - 合格ラインの設定やレベル分けの方法は適切か。
- 前回のテストスコアとの比較、継続的なテストスコアの変化を把握できているか。
- 受験者の属性・グループ分けとテストスコアの関係はどうなっているか。
項目分析 古典的テスト理論を用いた分析
| 出力指標名 | 指標の説明 |
|---|---|
| 正答率 | 受験した集団内での問題の難易度 |
| 点双列相関 | その問題が低い能力と高い能力をどれだけ識別するか |
| 双列相関 | 問題とテスト得点が二変量正規分布に従うと仮定したときの相関 |
| 選択肢選択率 | 選択肢の選択状況、機能状況 |
| 実質選択肢率 | テスト結果から見た実質的な選択肢数 |
| 基本統計量 | 基本的なテストの統計情報 |
| 信頼性係数 | テスト得点がどの程度信頼できるかの指標 |
| 標準誤差 | ある受験者のテストの繰り返し受験を仮定した場合の得点の標準偏差 |
| GP分析表 | レベルごとに選択肢がどのように機能しているかの表とグラフ |
IRTを用いた分析
| 出力指標名 | 指標の説明 |
|---|---|
| aパラメータ | b値付近の能力集団をどれほど敏感に識別するかの指標 |
| bパラメータ | その問題の難易度 |
| cパラメータ | 当て推量で正答する可能性がどれほどあるかの指標 |
| a標準誤差 | データ収集と計算の繰り返しを仮定した場合のa値の標準誤差 |
| b標準誤差 | データ収集と計算の繰り返しを仮定した場合のb値の標準誤差 |
| c標準誤差 | データ収集と計算の繰り返しを仮定した場合のc値の標準誤差 |
| chi-square | モデルから得られる正答率とデータから得られる正答率との乖離度 |
| df | 自由度（χ二乗値を計算する際に用いる能力値の分割カテゴリ数） |
| p | モデルとデータが等しいと仮定した場合の当該データの出現率 |
| 基本統計量 | 平均、中央値、標準偏差、分散、範囲、最小、最大、標本数 |
| テスト特性曲線 | 能力値とテスト得点の対応グラフ |
| テスト情報曲線 | 各能力値地点がどれほど信頼できるかを図示 |
IRTを用いた分析 －等化－
| 出力指標名 | 指標の説明 |
|---|---|
| 等化後パラメータ | 同一尺度に変換したa,b,cパラメータ |
| テスト特性曲線 | 等化後の各能力値におけるテスト得点の期待正答数の図示 |
| テスト情報曲線 | 等化後の各能力値におけるテスト情報量の図示 |
- ※必要なデータ‥等化の際にはアンカーアイテムが最低2割程度必要です
（アンカーアイテム：別々に実施したテストセットに共通に含まれる問題）
新しい資格試験の構築や、既存テストのコンピュータ化など、テスト構築に関わるコンサルティングを行います。
新しい資格試験を構築したい。
- サンプルテスト設計
- アイテムプール設計・運用
- テスト設計・構築
- テスト実施に関するコンサルティング
既存の資格試験の質を向上させたい。
- 既存の試験のテスト問題の質の分析
- 既存の試験の難易度やカットラインの等化
- 試験問題の作成方法（錯乱肢等）に関するコンサルティング
- 試験終了後のフィードバックの出し方に関するコンサルティング
既存のテストを
コンピュータテスト（CBT）化したい。
- CBTにおけるテスト設計・構築
- CBT開発におけるサンプルテスト設計
- CBT構築におけるアイテムプール設計・運用
