Psychometric analysis of a questionnaire with BARS. An opportunity to improve teaching effectiveness measurement programs and decision making in accreditation processes

Bibliographic References

• Andrade-Abarca, P. S., Ramón-Jaramillo, L. N. & Loaiza-Aguirre, M. I. (2018). Aplicación del SEEQ como instrumento para evaluar la actividad docente universitaria. Revista de Investigación Educativa, 36(1), 259–275. https://doi.org/10.6018/RIE.36.1.260741
• Apodaca, P. & Grad, E. (2005). The dimensionality of student ratings of teaching: integration of uniand multidimensional models. Studies in Higher Education, 30(6), 723-748. https://doi.org/10.1080/03075070500340101
• Bangert, A. W. (2008). The development and validation of the student evaluation of online teaching effectiveness. Computers in the Schools, 25(1–2), 25–47. https://doi.org/10.1080/07380560802157717
• Benilde-García, A. V. & Pineda, V. J. (2012). Diseño y validación de un instrumento para la auto-evaluación de competencias docentes. Revista Iberoamericana de Evaluación Educativa, 5(1).
• Byrne, B. M. (2010). Structural equation modeling with AMOS : basic concepts, applications and programming (2a). Routledge.
• Calderón, A., Arias-Estero, J. L., Meroño, L. & Méndez-Giménez, A. (2018). Diseño y Validación del Cuestionario de Percepción del Profesorado de Educación Primaria sobre la Inclusión de las Competencias Básicas (#ICOMpri3). Estudios Sobre Educación, 34, 67–97. https://doi.org/10.15581/004.34.67-97
• Cañadas, I. & Cuétara, I. De. (2018). Estudio psicométrico y validación de un cuestionario para la evaluación del profesorado universitario de enseñanza a distancia. Revista de Estudios de Investigación En Psicología y Educación, 5(2), 102–112. https://doi.org/10.17979/reipe.2018.5.2.3701
• Cone, C., Viswesh, V., Gupta, V. & Unni, E. (2018). Motivators, barriers, and strategies to improve response rate to student evaluation of teaching. Currents in Pharmacy Teaching and Learning, 10(12), 1543-1549. https://doi.org/10.1016/J.CPTL.2018.08.020
• De-Juanas Oliva, Á. & Beltrán Llera, J. A. (2013). Valoraciones de los estudiantes de ciencias de la educación sobre la calidad de la docencia universitaria. Educación XX1, 17(1), 59–82. https://doi.org/10.5944/educxx1.17.1.10705
• Dowell, D. A. & Neal, J. A. (1982). A Selective Review of the Validity of Student Ratings of Teaching. The Journal of Higher Education, 53(1), 51–62. https://doi.org/10.1080/00221546.1982.11780424
• Fernández-Millán, J. M. & Fernández-Navas, M. (2013). Elaboración de una escala de evaluación de desempeño para educadores sociales en centros de protección de menores. Intangible Capital, 9(3), 571–589. https://doi.org/10.3926/ic.410
• García-Olalla, A., Sánchez, A. V., Aláez, M. & Romero-Yesa, S. (2022). Aplicación y resultados de un sistema para evaluar la calidad de la docencia universitaria en una década de experimentación. Revista de Investigación Educativa, 40(1), 51– 68. https://doi.org/10.6018/RIE.401221
• García-Mestanza, J. (2010). Propuesta de evaluación de la actividad docente universitaria en entornos virtuales de aprendizaje. Revista Española de Pedagogía, 246, 261–280. https://revistadepedagogia.org/lxviii/no246/propuesta-de-evaluacion-de-la-actividad-docente-universitaria-enentornos-virtuales-de-aprendizaje/101400010134/
• Gargallo-López, B., Suárez Rodríguez, J., Garfella Esteban, P. & Fernández March, A. (2011). El cuestionario CEMEDEPU. Un instrumento para la evaluación de la metodología docente y evaluativa de los profesores universitarios. Estudios Sobre Educacion, 21(1), 9–40. https://doi.org/10.20517/2347-8659.2016.19
• George, D. & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. Allyn and Bacon.
• Ginns, P., Prosser, M. & Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: the perspective of currently enrolled students. Studies in Higher Education, 32(5), 603–615. https://doi.org/10.1080/03075070701573773
• González-López, I. (2006). Dimensiones de evaluación de la calidad universitaria en el Espacio Europeo de Educación Superior. Revista Electrónica de Investigación Psicoeducativa, 4(3), 445–468. http://lafacultadinvisible.com/wpcontent/uploads/2015/03/González-López-2006.pdf
• González López, I. y López Cámara, A. B. (2010). Sentando las bases para la construcción de un modelo de evaluación a las competencias del profesorado universitario. Revista de Investigación Educativa, 28(2), 403–423. https://revistas.um.es/rie/article/view/109431
• Goodale, J. G. y Burke, R. J. (1975). Behaviorally based rating scales need not be job specific. Journal of Applied Psychology, 60(3), 389–391. https://doi.org/10.1037/h0076629
• Gursoy, D. y Umbreit, W. T. (2005). Exploring Students’ Evaluations of Teaching Effectiveness: What Factors are Important? Journal of Hospitality and Tourism Research, 29(1), 91–109. https://doi.org/10.1177/1096348004268197
• Harari, O. & Zedeck, S. (1973). Development of Behaviorally Anchored Scales for the Evaluation of Faculty Teaching. Journal of Applied Psychology, 58(2), 261–265. https://doi.org/10.1037/h0035633
• Ibáñez-López, F. J., Hernández-Pina, F. & Monroy, F. (2020). Evaluación y acreditación de titulaciones universitarias en Educación desde el punto de vista del profesorado. Revista Interuniversitaria de Formación Del Profesorado, 34(3), 137–154. https://doi.org/10.47553/RIFOP.V34I3.81380
• Isla-Díaz, R., Marrero-Hernández, H., Hess-Medler, S., Soriano, M. & Acosta-Rodríguez, S. (2018). Una mirada longitudinal: ¿Es el “Docentia” útil para la evaluación del profesorado universitario? RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 24(2). https://doi.org/10.7203/RELIEVE.24.2.12142
• Jackson, D. L., Gillaspy, J. A. & Purc-Stephenson, R. (2009). Reporting practices in confirmatory factor analysis: An overview and some recommendations. Psychological Methods, 14(1), 6–23. https://doi.org/http://dx.doi.org/10.1037/a0014694
• Kavanagh, M. J. & Duffy, J. F. (1978). An extension and field test of the retranslation method for developing rating scales. Personnel Psychology, 31(3), 461–470. https://doi.org/10.1111/j.1744-6570.1978.tb00455.x
• Kember, D. & Leung, D. Y. P. (2008). Establishing the validity and reliability of course evaluation questionnaires. Assessment & Evaluation in Higher Education, 33(4), 341–353. https://doi.org/10.1080/02602930701563070
• Lacave-Rodero, C., Molina Díaz, A. I., Fernández Guerrero, M. M., & Redondo Duque, M. A. (2016). Análisis de la fiabilidad y validez de un cuestionario docente. Revista de Investigación En Docencia Universitaria de La Informática, 9(1), 2.
• Lavrič, M., Bren, M. & Matevž, B. (2018). The validity of students’ e-evaluation at the University of Maribor. 21st QMOD-ICQSS, International Conference on Quality and Service Sciences, 428–432.
• Bren, M. & Lavrič, M. (2018). The validity of students' e-evaluation at the University of Maribor. In Dahlgaard-Park, S. and Dahlgaard, J. J. (Eds.). The quality movement where are we going?: QMOD conference proceedings, 21st QMOD-ICQSS Conference, International Conference on Quality and Service Sciences. Lund University Library Press, 428-432.
• Lemos, M. S., Queirós, C., Teixeira, P. M. & Menezes, I. (2011). Development and validation of a theoretically based, multidimensional questionnaire of student evaluation of university teaching. Assessment & Evaluation in Higher Education, 36(7), 843–864. https://doi.org/10.1080/02602938.2010.493969
• Lizasoain-Hernández, L., Etxeberria-Murgiondo, J. & Lukas-Mujika, J. F. (2017). Propuesta de un nuevo cuestionario de evaluación de los profesores de la Universidad del País Vasco. Estudio psicométrico, dimensional y diferencial. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 23(1), 1– 21. https://doi.org/10.7203/relieve.23.2.10436
• Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, I. & Tomás-Marco, A. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30, 1151–1169. https://doi.org/10.6018/analesps.30.3.199361
• Lukas, J. F., Santiago, K., Etxeberria, J. & Lizasoain, L. (2014). Adaptación al Espacio Europeo de Educación Superior de un cuestionario de opinión del alumnado sobre la docencia de su profesorado. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 20(1), 1–20. https://doi.org/10.7203/relieve.20.1.3812
• Luna-Serrano, E. (2015). Validación de constructo de un cuestionario de evaluación de la competencia docente. Revista Electronica de Investigación Educativa, 17(3). https://redie.uabc.mx/redie/article/view/1090/1291
• Marsh, H., Guo, J., Dicke, T. & Parker, P. (2020). Confirmatory Factor Analysis ( CFA ), Exploratory Structural Equation Modeling ( ESEM ) & Set-ESEM : Optimal Balance between Goodness of Fit and Parsimony. Multivariate Behavioral Research, 55(1), 102–119. https://doi.org/10.1080/00273171.2019.1602503
• Marsh, H., Muthén, B., Asparouhov, T., Lüdtke, O., Robitzsch, A., Morin, A. J. S. & Trautwein, U. (2009). Exploratory structural equation modeling, integrating CFA and EFA: Application to students’ evaluations of university teaching. Structural Equation Modeling, 16(3), 439–476. https://doi.org/10.1163/156851711X602421
• Marshall, J. C., Smart, J. & Alston, D. M. (2016). Development and validation of Teacher Intentionality of Practice Scale (TIPS): A measure to evaluate and scaffold teacher effectiveness. Teaching and Teacher Education, 59, 159–168. https://doi.org/10.1016/j.tate.2016.05.007
• Martin-Raugh, M., Tannenbaum, R. J., Tocci, C. M. & Reese, C. (2016). Behaviourally Anchored Rating Scales: An application for evaluating teaching practice.
• Teaching and Teacher Education, 59, 414–419. https://doi.org/10.1016/j.tate.2016.07.026
• Martín-García, A. V., García del Dujo, Á. & Muñoz Rodríguez, J. M. (2014). Factores determinantes de adopción de blended learning en educación superior. Adaptación del modelo UTAUT*. Educación XX1, 17(2). https://doi.org/10.5944/educxx1.17.2.11489
• Matosas-López, L., Aguado-Franco, J. C. & Gómez-Galán, J. (2019). Constructing an instrument with behavioral scales to assess teaching quality in blended learning modalities. Journal of New Approaches in Educational Research, 8(2), 142–165. https://doi.org/10.7821/naer.2019.7.410
• Matosas-López, L. & Bernal-Bravo, C. (2020). Presencia de las TIC en el diseño de un instrumento BARS para la valoración de la eficiencia del profesorado en modalidades de enseñanza online. Psychology, Society, & Education, 12(1), 43– 56. https://doi.org/10.25115/psye.v10i1.2501
• Matosas-López, L & García-Sánchez, B. (2019). Beneficios de la distribución de cuestionarios web de valoración docente a través de mensajería SMS en el ámbito universitario: tasas de participación, inversión de tiempo al completar el cuestionario y plazos de recogida de datos. Revista Complutense de Educación, 30(3), 831–845. https://doi.org/10.5209/RCED.59224
• Matosas-López, L., Leguey-Galán, S. & Doncel-Pedrera, L. M. (2019). Converting Likert scales into Behavioral Anchored Rating Scales (Bars) for the evaluation of teaching effectiveness for formative purposes. Journal of University Teaching & Learning Practice, 16(3), 1–24. https://ro.uow.edu.au/jutlp/vol16/iss3/9
• Matosas-López, L., Leguey-Galán, S. & Leguey-Galán, S. (2019). Cómo resolver el problema de pérdida de información conductual en el diseño de Behaviorally Anchored Rating Scales-BARS. El caso de la medición de la eficiencia docente en el contexto universitario. Espacios, 40(19), 6–21. http://www.revistaespacios.com/a19v40n19/19401906.html
• Matosas-López, L., Romero-Ania, A., & Cuevas-Molano, E. (2019). ¿Leen los universitarios las encuestas de evaluación del profesorado cuando se aplican incentivos por participación? Una aproximación empírica. Revista Iberoamericana Sobre Calidad, Eficacia y Cambio En Educación, 17(3), 99–124. https://doi.org/10.15366/reice2019.17.3.006
• McCallum, L. W. (1984). A meta-analysis of course evaluation data and its use in the tenure decision. Research in Higher Education, 21(2), 150–158. https://doi.org/10.1007/BF00975102
• MEFP. (2019). Avance de la Estadística de estudiantes. Curso 2018-2019. Ministerio de Educación y Formación Profesional, MEFP. https://www.educacionyfp.gob.es/servicios-alciudadano/estadisticas/universitaria/estadisticas/alumnado/2018-2019- av/grado-y-ciclo.html
• Molero, D. & Ruiz Carrascosa, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57–84. http://revistas.um.es/rie/article/view/98341
• Muñoz Cantero, J. M., Ríos De Deus, M. P. & Abalde Paz, E. (2002). Evaluación docente vs Evaluación de la calidad. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 8(2), 103–134. https://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm
• Ohland, M. W., Layton, R. A., Loughry, M. L. & Yuhasz, A. G. (2005). Effects of Behavioral Anchors on Peer Evaluation Reliability. Journal of Engineering Education, 94(3), 319–326. https://doi.org/10.1002/j.2168-9830.2005.tb00856.x
• Pérez-Escoda, A., García-Ruiz, R. & Aguaded-Gómez, I. (2019). La competencia mediática en el profesorado universitario. Validación de un instrumento de evaluación. @Tic Revista D’Innovació Educativa, 21(2), 1–9. https://doi.org/10.7203/attic.21.12550
• Ruiz-Corbella, M. & Aguilar-Feijoo, R.-M. (2017). Competencias del profesor universitario; elaboración y validación de un cuestionario de autoevaluación. Revista Iberoamericana de Educación Superior, 7(21), 37-65.
• Santos Rego, M. A., Sotelino Losada, A., Jover Olmeda, G., Naval, C., Alvarez Castillo, J. L. & Vazquez Verdera, V. (2017). Diseño y validación de un cuestionario sobre práctica docente y actitud del profesorado universitario hacia la innovación. Educación XX1, 20(2), 39–71. https://doi.org/10.5944/educXX1.17806
• Serra, V. Q., Gómez, G. R. & Sáez, M. S. I. (2017). Planificación e innovación de la evaluación en educación superior: la perspectiva del profesorado. Revista de Investigación Educativa, 35(1), 53–70. https://doi.org/10.6018/RIE.35.1.239261
• Shultz, M. M. & Zedeck, S. (2011). Predicting Lawyer Effectiveness: Broadening the Basis for Law School Admission Decisions. Law and Social Inquiry, 36(3), 620– 661. https://doi.org/10.1111/j.1747-4469.2011.01245.x
• Spooren, P. (2010). On the credibility of the judge. A cross-classified multilevel analysis on students’ evaluation of teaching. Studies in Educational Evaluation, 36(4), 121–131. https://doi.org/10.1016/j.stueduc.2011.02.001
• Spooren, P., Mortelmans, D. & Christiaens, W. (2014). Assessing the validity and reliability of a quick scan for student’s evaluation of teaching. Results from confirmatory factor analysis and G Theory. Studies in Educational Evaluation, 43, 88–94. https://doi.org/10.1016/j.stueduc.2014.03.001
• Spooren, P., Mortelmans, D. & Denekens, J. (2007). Student evaluation of teaching quality in higher education: development of an instrument based on 10 Likertscales. Assessment & Evaluation in Higher Education, 32(6), 667–679. https://doi.org/10.1080/02602930601117191
• Spooren, P., Mortelmans, D. & Thijssen, P. (2012). ‘Content’ versus ‘style’: acquiescence in student evaluation of teaching? British Educational Research Journal, 38(1), 3– 21. https://doi.org/10.1080/01411926.2010.523453
• Stewart, I., Hong, E., & Strudler, N. (2004). Development and Validation of an Instrument for Student Evaluation of the Quality of Web-Based Instruction. American Journal of Distance Education, 18(3), 131–150. https://doi.org/10.1207/s15389286ajde1803_2
• Stoskopf, C. H., Glik, D. C., Baker, S. L., Ciesla, J. R. & Cover, C. M. (1992). The reliability and construct validity of a Behaviorally Anchored Rating Scale used to measure nursing assistant performance. Evaluation Review, 16(3), 333–345.
• Toland, M. D. & De Ayala, R. J. (2005). A multilevel factor analysis of students’ evaluations of teaching. Educational and Psychological Measurement, 65(2), 272– 296. https://doi.org/10.1177/0013164404268667
• Uttl, B. & Smibert, D. (2017). Student evaluations of teaching: Teaching quantitative courses can be hazardous to one’s career. PeerJ, (5), 1–13. https://doi.org/10.7717/peerj.3299
• Zhao, J. & Gallant, D. J. (2012). Student evaluation of instruction in higher education: exploring issues of validity and reliability. Assessment & Evaluation in Higher Education, 37(2), 227–235. https://doi.org/10.1080/02602938.2010.523819