Der Nutzen von Reaktionszeiten bei psychologischen Tests im Rahmen von Item Response Modellen

Abstract

Psychologische Diagnostik basiert oft auf den Antwortmustern von Personen bei standardisierten Testaufgaben. Ignoriert werden die Reaktionszeiten, die eine Person für die Abgabe der Antworten benötigt. Es finden sich jedoch Hinweise, dass auch die Reaktionszeiten in Beziehung zur Eigenschaftsausprägung einer Person stehen. In dieser Arbeit wird untersucht, wie die Reaktionszeiten neben den Antworten einer Person zur Messung der Eigenschaftsausprägung genutzt werden können und welche Vorteile sich daraus ergeben.Im ersten Teil der Arbeit werden verschiedene Messmodelle aufgestellt, welche die gemeinsame Verteilung der Antworten und Reaktionszeiten einer Person bei Aufgaben eines Tests auf zwei Persönlichkeitseigenschaften, Fähigkeit und Reaktionszeitdeterminante, zurückführen. Während die Fähigkeit dabei allgemein als Vermögen aufgefasst wird, auf ein Item mit einer positiven Antwort zu reagieren, besitzt die Reaktionszeitdeterminante den Status eines Residualfaktors, der nicht im Interesse der Betrachtungen steht. Die vorgeschlagenen Messmodelle basieren auf zwei Annahmen: (1) Bei Bedingung auf die Persönlichkeitseigenschaften sind Reaktionszeiten und Antworten einer Person voneinander unabhängig. (2) Die Antworten hängen nur von der Fähigkeit ab. Aufgrund der bedingten Unabhängigkeit lässt sich die gemeinsame Verteilung von Reaktionszeiten und Antworten in zwei Komponenten faktorisieren, in ein Modell für Antworten und ein Modell für Reaktionszeiten. Als Modell für die Antworten findet das bewährte zweiparametrische Logit-Modell Verwendung. Da ein vergleichbares Standardmodell für Reaktionszeiten bei Tests nicht existiert, werden mehrere Alternativen vorgeschlagen. Dabei werden drei Ziele verfolgt: (1) In der Arbeit sollen die beiden konkurrierenden Modellierungansätze aus der Survival Analyse, nämlich Accelerated Failure Time Modelle und Proportional Hazard Modelle, abgedeckt werden. (2) Neben Modellen mit Verteilungsannahmen werden auch Modelle ohne detaillierte Annahme über die Reaktionszeitverteilung aufgestellt. (3) Da bei Persönlichkeitstests und Leistungstests unterschiedliche Abhängigkeitsformen zwischen Reaktionszeit und Fähigkeit anzunehmen sind, erfordern beide Anwendungsbereiche verschiedene Modelle.Vier verschiedene Reaktionszeitmodelle werden in zwei Varianten vorgeschlagen, von denen eine für Leistungstests und die andere für Persönlichkeitstests gedacht ist: Zwei Proportional Hazard Modelle für exponentialverteilte Reaktionszeiten, zwei Proportional Hazard Modelle für diskrete Reaktionszeiten, zwei Accelerated Failure Time Modelle für log-normalverteilte Reaktionszeiten und zwei Accelerated Failure Time Modelle ohne Verteilungsannahmen.Durch die Kombination von zweiparametrischem Logit-Modell und Reaktionszeitmodell kann die gemeinsame Verteilung von Reaktionszeiten und Antworten als Funktion der Persönlichkeitseigenschaften beschrieben werden. Allerdings hängt diese Verteilung zusätzlich von Itemparametern ab, die vor Verwendung des Messmodells geschätzt werden müssen. Für vier der vorgeschlagenen Modellierungsansätze, für die beiden Proportional Hazard Modelle für diskrete Reaktionszeiten und für die beiden Accelerated Failure Time Modelle für log-normalverteilte Reaktionszeiten, werden Schätzverfahren entwickelt, mit denen simultan alle Itemparameter des Messmodells bestimmt werden können. Die vorgeschlagenen Schätzverfahren basieren auf dem Marginal-Maximum-Likelihood-Ansatz. In Simulationen wird die Eignung der Schätzansätze bei Stichproben unterschiedlichen Umfangs untersucht. Die Schätzung der restlichen Modelle wird nicht separat behandelt, da sich diese gleichfalls über die bereits beschriebenen Verfahren an Daten anpassen lassen.Im zweiten Teil der Arbeit wird gezeigt, wie mit Hilfe des Messmodells die Eigenschaftsausprägung einer Person anhand ihren Antworten und Reaktionszeiten bestimmt werden kann. Ein Verfahren hierfür ist die Maximum Likelihood Schätzung. Da diagnostische Entscheidungen oft auf der Fähigkeit einer Person basieren, wird der Frage nachgegangen, welchen Nutzen die Reaktionszeiten für die Schätzung der Fähigkeit besitzen. Der Schwerpunkt der Betrachtung liegt dabei auf dem Ausmaß, in dem die Varianz der Fähigkeitsschätzung durch den Einbezug der Reaktionszeit im Vergleich zu einer alleinigen Verwendung der Antworten abnimmt. Es kann gezeigt werden, dass durch Berücksichtigung der Reaktionszeiten die Varianz des Fähigkeitsschätzers zwangsläufig reduziert wird. Diese Aussage lässt sich weiter präzisieren: Generell führen Reaktionszeitmodelle mit Verteilungsannahmen zu einer größeren Varianzreduktion als die voraussetzungsärmeren Alternativen. Besonders ausgeprägt fällt die Varianzreduktion bei extremen Fähigkeitsniveaus aus, welche anhand der Antworten alleine nur mit großer Varianz geschätzt werden können. Dies legt den Schluss nahe, dass Reaktionszeiten besonders bei Personen von Bedeutung sind, für die ein Test zu leicht oder zu schwer ist. Psychological assessment is often based on the responses of individuals to standardized test items. It is standard practice to ignore the response times needed by an individual to give the answers. There is however evidence that response times in tests are equally related to the trait to be measured. This thesis explores how response times in tests can be used to estimate the trait level of individuals and what can be gained by doing so.In the first part of the thesis several measurement models are presented, which model the joint distribution of responses and response times of an individual in a test as a function of two traits, ability and response speed. Ability is regarded as the general capability to give a positive answer while response speed is considered as a residual factor that is not of further interest. The proposed models are based on two assumptions: (1) Responses and response times are independent when conditioning on the two traits. (2) Responses depend only on ability. Due to the assumption of conditional independence the joint distribution of responses and response times can be factored into two separate models, one for the responses and one for the response times. For the responses the standard two-parameter logistic model is employed. As no comparable standard model can be found for response times several alternatives are proposed. The motivation behind the proposed models is as follows: (1) The models should belong to one of the two rivalling approaches for survival times, namely accelerated failure time models and proportional hazard models. (2) Detailed assumptions about the response time distribution should be avoided, at least in some of the response models. (3) As the relationship between response times and ability is different for achievement tests and personality scales, different models are suggested for these two areas of application. Four different response time models are proposed, all of them in two versions, one for achievement tests and one for personality scales. This resulted in the following suggestions: Two versions of a proportional hazard model based on exponential distributed response times, two versions of a proportional hazard model for discrete response times, two versions of an accelerated failure time model based on log-normal distributed response times and two versions of an accelerated failure time model without distributional assumptions.When combining response model and response time model, the joint distribution of responses and response times can be traced back on a function of ability and response speed. However the distribution also depends on item parameters, which have to be estimated before employing the measurement model. For four of the proposed response time models - the two proportional hazard models for discrete response times and the two accelerated failure time models based on log-normal distributed response times - estimation of the item parameters is described. The suggested methods are based on marginal maximum likelihood estimation and allow the simultaneous estimation of all item parameters of the measurement model. The applicability of the estimation methods is demonstrated by a small-scale simulation study. Estimation of the remaining models is not described in detail as the estimation of these models can be accomplished with the same procedures.In the second part of the thesis it is shown how the measurement model can be employed to estimate the trait levels of individuals after observing their response and response time pattern. One approach for ascribing ability and response speed levels consists in maximum likelihood estimation. As diagnostic decisions are often based solely on ability, it is investigated whether its estimation can be improved by considering response times. Central focus is the question, whether the variance of the ability estimator can be reduced by jointly considering responses and response times instead of considering responses only. It can be shown that the inclusion of response times necessarily decreases the variance of the ability estimator. This statement can be specified: Response time models with detailed distributional assumptions yield a higher reduction compared to response time models without distributional assumptions. The reduction is more pronounced for extreme ability levels, which can not be estimated precisely by responses alone. This finding suggests that response times are most useful for individuals for whom a test is too easy or too difficult.