Welcome to the project CaTS!

The CaTS project – computerized adaptive testing in academic studies – was supported by the ministry for education and research (BMBF) in the funding line “research for digital academic education”.
The cooperation project was led by Prof. Dr. Holger Horz (psychology) and Prof. Dr. Detlef Krömker (computer science) from Goethe University as well as by Prof. Dr. Frank Goldhammer from DIPF - Leibniz Institute for Research and Information in Education. For a multi-university approach in development and testing, CaTS cooperated with these further universities: Fulda University of Applied Sciences, RheinMain University of Applied Sciences Wiesbaden, Bielefeld University, and University Hamburg.

You can find further information about the project at the BMBF.

Project dates:

Project description

Assessments for measuring the level of knowledge during a semester are already successfully being applied at German universities. As a joint project of Goethe University and the DIPF financed by the ministery for education and research, CaTS wants to develop the traditional assessment methods in Higher Education context towards computer-based adaptive testing. Therefore, a concept for building an exercise pool is being created, which works independently from place and field and can be used individually for the conception of E-Assessments. Furthermore, the adaptive design of these E-Assessments will be developed. The project is being worked on by two subject areas (informatics and educational sciences), on which the developed adaptive testing method will be tested and evaluated in quasi experimental studies.

Measures

CaTS working program includes 7 working packages, which are processed with various responsibilities within the joint project and in cooperation with further universities. A1 determines an ontology for describing and structuring examination questions. A2 further develops the ontology framework and the item data base concept for the collection of examination questions as well as their technical implementation. A3 integrates existing exercises into the item data base as well as it newly-develops and IRT-scales them. A4 develops a feedback concept for the formative application of the adaptive procedure that is to be developed. This adaptive testing procedure is drafted and provisionally finalized in A5, before it is tested and revised comprehensively. A7 simulates a summative scenario and makes conditions for examination rules subject of discussion.

Goethe-Universität Frankfurt am Main

Psychology
Prof. Dr. Holger Horz
Dr. Sabine Fabriz
Claudia Krille
S. Franziska C. Wenzel

Computer Science
Prof Dr. Detlef Krömker
Florian Horn
Jana Niemeyer
Dr. Daniel Schiffner
Prof. Dr. Alexander Tillmann

DIPF

Prof. Dr. Frank Goldhammer
Daniel Bengs
Dr. Ulf Kröhne
Dr. Paul Libbrecht

CaTS – Cooperations

Fulda University of Applied Sciences, Prof. Dr. Paul Grimm, Prof. Dr. Alexander Gepperth
RheinMain University of Applied Sciences, Wiesbaden, Prof. Dr. Ralf Dörner
Bielefeld University, Prof. Dr. Stefan Fries
University Hamburg, Dr. Daniel Moldt

2020
Wenzel, F., Krille, C., Fabriz, S., & Horz, H. (2020). Adaptive formative E-Assessments in der Lehrer*innenbildung. In K. Kaspar, M. Becker-Mrotzek & S. Hofhues (Hg.), Bildung, Schule, Digitalisierung (S. 190–196). Waxmann.

2019
Bengs, D., Wenzel, S. F. C., Krille, C., Fabriz, S., Brefeld, U., Kröhne, U., Libbrecht, P., Goldhammer, F. & Horz, H. (2019, Februar). Optimierung der Aufgabenauswahl in adaptiven Tests für formatives Assessment auf Gruppenebene am Beispiel eines Aufgabenpools zu pädagogisch-psychologischem Wissen im Grundstudium. Vortrag auf der 7. Tagung der Gesellschaft für Empirische Bildungforschung (GEBF), Köln.

Krille, C., Wenzel, S. F. C., Bengs, D., Kroehne, U., Fabriz, S., Libbrecht, P., Goldhammer, F., & Horz, H. (2019, August). Development of a formative adaptive assessment and implications for its use in teacher education. Paper presented at the 18th Biennial Conference of the European Association for Research on Learning and Instruction (EARLI), Aachen, Germany.

Spoden, C. & Wenzel, S. F. C. (2019, Februar). Methodische Entwicklungen, Akzeptanzbefunde und Implementationsstrategien zu computerbasierten, formativen und summativen Assessments in der Hochschul- und Erwachsenenbildung. Symposium auf der 7. Tagung der Gesellschaft für Empirische Bildungforschung (GEBF), Köln.

Wenzel, S. F. C., Krille, C., Fabriz, S., Kröhne, U., Goldhammer, F., Bengs, D., Libbrecht, P. & Horz, H. (2019, April). Implementing Formative Adaptive Assessments Based on Item Response Theory in Higher Education. Paper at the 2019 Meeting of the American Educational Research Association (AERA), Toronto, Canada.

Wenzel, S. F. C. & Spoden, C. (2019, August). 21st century technology-based formative and summative assessments in higher education. Organized Symposium at the 18th Biennial Conference of the European Association for Research on Learning and Instruction (EARLI), Aachen, Germany.

2018

Bengs, D., Wenzel, S. F. C., Fabriz, S., Horn, F., Kröhne, U., Libbrecht, P., Niemeyer, J., Schiffner, D., Tillmann, A., Krömker, D., Goldhammer, F. & Horz, H. (2018, September). Computerbasiertes adaptives Testen an der Hochschule – erste Ergebnisse aus der Testentwicklung. Vortrag auf dem 51. Kongress der Deutschen Gesellschaft für Psychologie (DGPs), Frankfurt am Main.

Bengs, D., Wenzel, S. F. C., Krille, C., Fabriz, S., Brefeld, U., Kröhne, U., Libbrecht, P., Goldhammer, F. & Horz, H. (2019, Februar).Optimierung der Aufgabenauswahl in adaptiven Tests für formatives Assessment auf Gruppenebene am Beispiel eines Aufgabenpools zu pädagogisch-psychologischem Wissen im Grundstudium. Vortrag auf der 7. Tagung der Gesellschaft für Empirische Bildungforschung (GEBF), Köln.

Fabriz, S., Tillmann, A., Bengs, D., Goldhammer, F., Horn, F., Horz, H., Kröhne, U., Krömker, D., Libbrecht, P., Niemeyer, J., Schiffner, D. & Wenzel, S. F. C. (2018). Computerbasiertes adaptives Testen als Assessment for Learning im Hochschulkontext. Poster präsentiert auf der Tagung „Digitalisierung als Herausforderung für die Hochschuldidaktik“ vom 21.-22. März 2018 in Mainz.

Horn, F., Schiffner, D., Krömker, D., Bengs, D., Fabriz, S., Goldhammer, F., Horz, H., Kröhne, P., Libbrecht, P., Niemeyer, J., Tillmann, A. & Wenzel, S. F. C. (2018). Visualisation of Complex Question Pools, in DeLFI Workshops, 2018.

Schiffner, D., Horn, F. & Dörner, R. (2018). Twinning - Ein Ansatz zum veranstaltungsübergreifende Sharing von Testitems, in DeLFI Workshops, 2018.

Spoden, C. & Fabriz, S. (2018, März). Aktuelle Entwicklungen bei E-Assessments in der Hochschulbildung. Symposium auf dem 26. Kongress der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE), Duisburg-Essen.

Spoden, C. & Wenzel, S. F. C. (2019, Februar). Methodische Entwicklungen, Akzeptanzbefunde und Implementationsstrategien zu computerbasierten, formativen und summativen Assessments in der Hochschul- und Erwachsenenbildung. Symposium auf der 7. Tagung der Gesellschaft für Empirische Bildungforschung (GEBF), Köln.

Wenzel, S. F. C., Fabriz, S. & Horz, H. (2018). Die Einführung eines IRT-basierten Tests in eine bildungswissenschaftliche Vorlesung – erste Ergebnisse zu Skalierung und Effekten des Darbietungsmediums. Vortrag auf der 6. Jahrestagung der Gesellschaft für Empirische Bildungsforschung (GEBF) vom 15.-17. Februar 2018 in Basel.

Wenzel, S. F. C, Fabriz, S., Horz, H., Bengs, D., Goldhammer, F., Horn, F., Kröhne, U., Krömker, D., Libbrecht, P., Niemeyer, J., Schiffner, D. & Tillmann, A. (2018). Formative adaptive E-Assessments im Hochschulkontext. Vortrag im Rahmen des Symposiums „Aktuelle Entwicklungen bei E-Assessments in der Hochschulbildung“ auf dem 26. Kongress der Deutschen Gesellschaft für Erziehungswissenschaft (DGfE) vom 18.-21. März 2018 in Duisburg-Essen.

Wenzel, S. F. C., Fabriz, S. & Horz, H. (2018). Implementing exams based on item response theory in higher education. Paper presented at the Annual Meeting of the American Educational Research Association (AERA), New York City, April 13-17, 2018.

Wenzel, S. F. C., Krille, C., Fabriz, S., Kröhne, U., Goldhammer, F., Bengs, D., Libbrecht, P. & Horz, H. (2019, April). Implementing Formative Adaptive Assessments Based on Item Response Theory in Higher Education. Paper at the 2019 Meeting of the American Educational Research Association (AERA), Toronto, Canada.

2017

Horz, H., Krömker, D., Goldhammer, F., Bengs, D., Fabriz, S., Horn, F., Kröhne, U., Libbrecht, P., Niemeyer, J., Schiffner, D., Tillmann, A., Wenzel, S. F. C. (2017). Computerbasiertes adaptives Testen im Studium – CaTS. Poster präsentiert auf der Fachtagung „Hochschulen im digitalen Zeitalter“ vom 3.-4. Juli 2017 in Berlin. Poster

Horz, H., Krömker, D., Goldhammer, F., Bengs, D., Fabriz, S., Horn, F., Kröhne, U., Libbrecht, P., Niemeyer, J., Schiffner, D., Tillmann, A., Wenzel, S. F. C (2017). Computerbasiertes adaptives Testen im Studium – CaTS. Poster präsentiert beim ePS – ePrüfungs-Symposium „Neue Prüfungsformen im Zeitalter der Digitalisierung“ vom 19.-20. September 2017 in Bremen (Präsentation: Jana Niemeyer).