Welcome to CaTS

Image 34462403 Projekt3 Partner5 Publikationen6 Material2

Home

Welcome to the project CaTS!

In line with the funding line “research for digital academic education” the project CaTS - computerized adaptive testing in academic studies – is supported by the ministry for education and research (BMBF) since March 2017.

The cooperation project is led by Prof. Dr. Holger Horz (psychology) and Prof. Dr. Detlef Krömker (informatics) from Goethe University as well as by Prof. Dr. Frank Goldhammer from the DIPF - Leibniz Institute for Research and Information in Education. For a multi-university approach in development and testing the CaTS project cooperates with these further universities: University of Fulda, University Rhein Main, University of Bielefeld and University of Hamburg.

You can find further information about the project at the BMBF-website:
http://www.wihoforschung.de/de/forschung-zur-digitalen-hochschulbildung-619.php

Project dates:




Period:                     
Funding code:     
Funding line: 




01.03.2017-30.11.2019                                           
16DHL1008; 16DHL1009                                          
Forschung zur digitalen Hochschulbildung

                    

         
       
 
           

The project

Project description

Assessments for measuring the level of knowledge during a semester are already successfully being applied at German universities. As a joint project of Goethe University and the DIPF financed by the ministery for education and research, CaTS wants to develop the traditional assessment methods in Higher Education context towards computer-based adaptive testing. Therefore, a concept for building an exercise pool is being created, which works independently from place and field and can be used individually for the conception of E-Assessments. Furthermore, the adaptive design of these E-Assessments will be developed. The project is being worked on by two subject areas (informatics and educational sciences), on which the developed adaptive testing method will be tested and evaluated in quasi experimental studies.

Measures

CaTS working program includes 7 working packages, which are processed with various responsibilities within the joint project and in cooperation with further universities. A1 determines an ontology for describing and structuring examination questions. A2 further develops the ontology framework and the item data base concept for the collection of examination questions as well as their technical implementation. A3 integrates existing exercises into the item data base as well as it newly-develops and IRT-scales them. A4 develops a feedback concept for the formative application of the adaptive procedure that is to be developed. This adaptive testing procedure is drafted and provisionally finalized in A5, before it is tested and revised comprehensively. A7 simulates a summative scenario and makes conditions for examination rules subject of discussion.

Partner

Goethe-Universität Frankfurt am Main

Prof. Dr. Holger Horz, horz@psych.uni-frankfurt.de
Dr. Sabine Fabriz, fabriz@psych.uni-frankfurt.de (in Elternzeit)
Claudia Krille, krille@econ.uni-frankfurt.de
S. Franziska C. Wenzel, wenzel@psych.uni-frankfurt.de

Prof Dr. Detlef Krömker, kroemker@gdv.cs.uni-frankfurt.de
Florian Horn, horn@sd.uni-frankfurt.de
Jana Niemeyer, niemeyer@sd.uni-frankfurt.de
Dr. Daniel Schiffner, schiffner@studiumdigitale.uni-frankfurt.de
Dr. Alexander Tillmann, tillmann@studiumdigitale.uni-frankfurt.de

DIPF

Prof. Dr. Frank Goldhammer, goldhammer@dipf.de (Leitung Teilprojekt DIPF)
Daniel Bengs, bengs@dipf.de
Dr. Ulf Kröhne, kroehne@dipf.de
Dr. Paul Libbrecht, Paul.Libbrecht@dipf.de

In CaTS we cooperate with various universities:

Hochschule Fulda, Prof. Dr. Paul Grimm, Prof. Dr. Alexander Gepperth
Hochschule Rhein Main Wiesbaden, Prof. Dr. Ralf Dörner
Universität Bielefeld, Prof. Dr. Stefan Fries
Universität Hamburg, Dr. Daniel Moldt

Publications

2017

Horz, H., Krömker, D., Goldhammer, F., Bengs, D., Fabriz, S., Horn, F., Kröhne, U., Libbrecht, P., Niemeyer, J., Schiffner, D., Tillmann, A., Wenzel, S. F. C. (2017). Computerbasiertes adaptives Testen im Studium – CaTS. Poster präsentiert auf der Fachtagung „Hochschulen im digitalen Zeitalter“ vom 3.-4. Juli 2017 in Berlin. Poster

Horz, H., Krömker, D., Goldhammer, F., Bengs, D., Fabriz, S., Horn, F., Kröhne, U., Libbrecht, P., Niemeyer, J., Schiffner, D., Tillmann, A., Wenzel, S. F. C (2017). Computerbasiertes adaptives Testen im Studium – CaTS. Poster präsentiert beim ePS – ePrüfungs-Symposium „Neue Prüfungsformen im Zeitalter der Digitalisierung“ vom 19.-20. September 2017 in Bremen (Präsentation: Jana Niemeyer).

 

2018

Bengs, D., Wenzel, S. F. C., Fabriz, S., Horn, F., Kröhne, U., Libbrecht, P., Niemeyer, J., Schiffner, D., Tillmann, A., Krömker, D., Goldhammer, F. & Horz, H. (2018, September). Computerbasiertes adaptives Testen an der Hochschule – erste Ergebnisse aus der Testentwicklung. Vortrag auf dem 51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Frankfurt am Main.

Bengs, D., Wenzel, S. F. C., Krille, C., Fabriz, S., Brefeld, U., Kröhne, U., Libbrecht, P., Goldhammer, F. & Horz, H. (2019, Februar).Optimierung der Aufgabenauswahl in adaptiven Tests für formatives Assessment auf Gruppenebene am Beispiel eines Aufgabenpools zu pädagogisch-psychologischem Wissen im Grundstudium. Vortrag auf der 7. Tagung der Gesellschaft für Empirische Bildungforschung (GEBF), Köln.

Fabriz, S., Tillmann, A., Bengs, D., Goldhammer, F., Horn, F., Horz, H., Kröhne, U., Krömker, D., Libbrecht, P., Niemeyer, J., Schiffner, D. & Wenzel, S. F. C. (2018). Computerbasiertes adaptives Testen als Assessment for Learning im Hochschulkontext. Poster präsentiert auf der Tagung „Digitalisierung als Herausforderung für die Hochschuldidaktik“ vom 21.-22. März 2018 in Mainz.

Horn, F., Schiffner, D., Krömker, D., Bengs, D., Fabriz, S., Goldhammer, F., Horz, H., Kröhne, P., Libbrecht, P., Niemeyer, J., Tillmann, A. & Wenzel, S. F. C. (2018). Visualisation of Complex Question Pools, in DeLFI Workshops, 2018.

Schiffner, D., Horn, F. & Dörner, R. (2018). Twinning - Ein Ansatz zum veranstaltungsübergreifende Sharing von Testitems, in DeLFI Workshops, 2018.

Spoden, C. & Fabriz, S. (2018, März). Aktuelle Entwicklungen bei E-Assessments in der Hochschulbildung. Symposium auf dem 26. Kongress der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE), Duisburg-Essen.

Spoden, C. & Wenzel, S. F. C. (2019, Februar). Methodische Entwicklungen, Akzeptanzbefunde und Implementationsstrategien zu computerbasierten, formativen und summativen Assessments in der Hochschul- und Erwachsenenbildung. Symposium auf der 7. Tagung der Gesellschaft für Empirische Bildungforschung (GEBF), Köln.

Wenzel, S. F. C., Fabriz, S. & Horz, H. (2018). Die Einführung eines IRT-basierten Tests in eine bildungswissenschaftliche Vorlesung – erste Ergebnisse zu Skalierung und Effekten des Darbietungsmediums. Vortrag auf der 6. Jahrestagung der Gesellschaft für Empirische Bildungsforschung (GEBF) vom 15.-17. Februar 2018 in Basel.

Wenzel, S. F. C, Fabriz, S., Horz, H., Bengs, D., Goldhammer, F., Horn, F., Kröhne, U., Krömker, D., Libbrecht, P., Niemeyer, J., Schiffner, D. & Tillmann, A. (2018). Formative adaptive E-Assessments im Hochschulkontext. Vortrag im Rahmen des Symposiums „Aktuelle Entwicklungen bei E-Assessments in der Hochschulbildung“ auf dem 26. Kongress der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE) vom 18.-21. März 2018 in Duisburg-Essen.

Wenzel, S. F. C., Fabriz, S. & Horz, H. (2018). Implementing exams based on item response theory in higher education. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), New York City, April 13-17, 2018.

Wenzel, S. F. C., Krille, C., Fabriz, S., Kröhne, U., Goldhammer, F., Bengs, D., Libbrecht, P. & Horz, H. (2019, April). Implementing Formative Adaptive Assessments Based on Item Response Theory in Higher Education. Paper at the 2019 Meeting of the American Educational Research Association (AERA), Toronto, Canada.

Material

Will be complemented within the course of the project