Title

ユーザー・アイテムの応答から構成された確率構造を持つ不完全マトリクスからのユーザーとアイテムの評価法

Authors

作村建紀

Source

九州工業大学大学院情報工学研究院情報科学博士論文（情報工学情工博甲第２８６号）, pp. 1-100 (2014.1.14)

Abstract

　テストによる評価法として現在でも主に用いられている古典的な方法は問題毎にあらかじめ与えられた素点の得点を合計して受験者全体の中の相対的な位置を決めるという方法である。この方法では素点の与え方により評価結果が変わるため、より公平で公正な評価法として項目反応理論（IRT）が考案され、公的なテスト（例えばTOEFL）に活用されている。IRTは、受験者i（ユーザー）が問題j（アイテム）を解く確率P(θi、φj)がロジスティック分布関数に従うと仮定して、(i、j)要素に2値反応パターンを持つ完全マトリクスからパラメータθi（受験者の能力）とφj（問題の特性）を推定することによって受験者iの能力θiを求める方法である。このモデルではθiとφjを同時に推定することによる困難さを伴うため、ベイズ、EM（expectation-maximization）、MCMC（マルコフチェーンモンテカルロ）といった手法を援用しなければ推定値が得られない。
　通常のIRTでは全受験者に同じ問題が課されているため、受験者によっては適切でない問題も与えられることがある。情報量の観点からは、受験者の能力を最も精度良く推定するには受験者の能力に合致させた問題を集中的に与えることが好ましい。こうすることで、速く正確に受験者の能力を測定することが可能になる。そこで、IRTにこのような仕組みを持たせるadaptiveなテスト法が開発されてきた。これはコンピュータ支援テスト法によく馴染むためオンラインテストに用いられる。ただし、受験者に適切な問題が選択されて与えられるため、2値反応パターンマトリクスは不完全になり、従来のIRTでの推定法は使えない。あらかじめ問題の特性φjが与えられていればθiの推定は可能になる。このため、一定程度（4-500人とも言われている）の受験者集団に予備テストを受けてもらって特性φjを準備する必要がある。しかし、受験者が増えてくると予備テストでの受験者特性と本テストでの受験者特性の間に開きが出る恐れがあった。
　本研究では、adaptiveなオンラインテストの中で、受験者が増えても問題の特性φjが受験者特性と開きが出ないように、受験者の評価を行うと同時に問題の特性φjも受験者が増える毎に更新していく方法を提示している。具体的には、不完全マトリクスにおける空き要素（ある受験者には出題されていない問題）での反応を適当に与え、不完全マトリクスを一旦完全マトリクス（ただし2値ではなく[0,1]の有理数に拡張）に変え、通常のIRTを（反応に有理数を許すように）拡張した枠組みでパラメータを推定し、推定された反応パターンを観測値と比較してその差（尤度と距離の2つの規準から）が最小になるように更新しながら繰り返しパラメータを推定していく方法である。提案法によってθiとφjを同時に効率よく推定できているかを実際に問題数30問程度、受験者数200人程度によって試みた結果、初期に空き要素に与える反応パターンをどのように変えても推定値は同じ収束値に向かい推定がうまくいっていることが経験的に示されている。
　提案の問題解決内容は、ユーザーとアイテムから構成される評価パターンの不完全マトリクスからユーザーの嗜好を予測して商品を推薦する推薦システムとよく似ている。ただし、推薦システムではユーザーとアイテムの間の確率的構造は仮定していないため、ノンパラメトリックな枠組みとなる。そこで、実際のテスト結果をもとに提案法による推定結果と推薦システムによる結果の比較を行った。実際のテストではロジスティックモデルが適切なのかノンパラメトリックが適切なのかは不明であるが、比較の結果、最小2乗誤差からは提案法がわずかではあるが良い結果を与えた。実際問題への適用の可能性を示しており、実用的な新しい教育支援システムとして有用であることが期待できる。

Key Words

Citation

Times Cited in Web of Science:

Times Cited in Google Scholar:

Cited in Books:

Inspec:

WoS: