Psychometric analysis of a questionnaire with BARS. An opportunity to improve teaching effectiveness measurement programs and decision making in accreditation processes

  1. Matosas-López, Luis 1
  2. Muñoz-Cantero, Jessus Miguel 2
  3. Molero, David 3
  4. Espiñeira-Bellón, Eva María 2
  1. 1 Universidad Rey Juan Carlos
    info

    Universidad Rey Juan Carlos

    Madrid, España

    ROR https://ror.org/01v5cv687

  2. 2 Universidade da Coruña
    info

    Universidade da Coruña

    La Coruña, España

    ROR https://ror.org/01qckj285

  3. 3 Universidad de Jaén
    info

    Universidad de Jaén

    Jaén, España

    ROR https://ror.org/0122p5f64

Show affiliations +
Journal:
RIFOP : Revista interuniversitaria de formación del profesorado: continuación de la antigua Revista de Escuelas Normales

ISSN: 0213-8646,  2530-3791

Year of publication: 2023

Issue Title: La acreditación del profesorado universitario en España : situación y perspectivas futuras

Volume: 37

Issue: 98

Pages: 95-120

Type: Article

DOI: 10.47553/RIFOP.V98I37.1.97313 DIALNET GOOGLE SCHOLAR lock_openDIGITUM editor

More publications in: RIFOP : Revista interuniversitaria de formación del profesorado: continuación de la antigua Revista de Escuelas Normales

Sustainable development goals

Abstract

En el ámbito de los programas de evaluación de la eficacia docente, los estudios de validación de Behavioral Anchored Rating Scales (BARS) son mínimos en comparación con los de instrumentos tipo Likert. Esto es consecuencia del escaso número de universidades que optan por este tipo de cuestionario en sus programas de evaluación de la eficacia docente. Esta situación se debe a la minuciosidad, inversión de tiempo y fuerte implicación de recursos humanos que requiere el diseño de este tipo de cuestionario. El objetivo de esta investigación es doble. Por un lado, analizar la validez de un cuestionario de evaluación de la eficacia docente que utiliza BARS. Por otro, comprobar si este instrumento, diseñado en una determinada universidad con la participación de los profesores y alumnos de esta, puede ser válido para otras instituciones. El estudio se lleva a cabo en tres universidades españolas. El proceso de validación considera: validez de comprensión, AFE, AFC con modelado de ecuaciones estructurales y análisis de fiabilidad. Los resultados muestran que las BARS analizadas son válidas para evaluar la eficacia docente; no sólo en la institución donde se diseñan, sino también en otras universidades distintas a aquella en la que se construye el cuestionario. Los hallazgos de esta investigación abren nuevas alternativas no solo para la mejora de programas de evaluación de la eficacia docente sino también para mejorar la toma de decisiones en los procesos de acreditación del profesorado.

Bibliographic References

  • Andrade-Abarca, P. S., Ramón-Jaramillo, L. N. & Loaiza-Aguirre, M. I. (2018). Aplicación del SEEQ como instrumento para evaluar la actividad docente universitaria. Revista de Investigación Educativa, 36(1), 259–275. https://doi.org/10.6018/RIE.36.1.260741
  • Apodaca, P. & Grad, E. (2005). The dimensionality of student ratings of teaching: integration of uniand multidimensional models. Studies in Higher Education, 30(6), 723-748. https://doi.org/10.1080/03075070500340101
  • Bangert, A. W. (2008). The development and validation of the student evaluation of online teaching effectiveness. Computers in the Schools, 25(1–2), 25–47. https://doi.org/10.1080/07380560802157717
  • Benilde-García, A. V. & Pineda, V. J. (2012). Diseño y validación de un instrumento para la auto-evaluación de competencias docentes. Revista Iberoamericana de Evaluación Educativa, 5(1).
  • Byrne, B. M. (2010). Structural equation modeling with AMOS : basic concepts, applications and programming (2a). Routledge.
  • Calderón, A., Arias-Estero, J. L., Meroño, L. & Méndez-Giménez, A. (2018). Diseño y Validación del Cuestionario de Percepción del Profesorado de Educación Primaria sobre la Inclusión de las Competencias Básicas (#ICOMpri3). Estudios Sobre Educación, 34, 67–97. https://doi.org/10.15581/004.34.67-97
  • Cañadas, I. & Cuétara, I. De. (2018). Estudio psicométrico y validación de un cuestionario para la evaluación del profesorado universitario de enseñanza a distancia. Revista de Estudios de Investigación En Psicología y Educación, 5(2), 102–112. https://doi.org/10.17979/reipe.2018.5.2.3701
  • Cone, C., Viswesh, V., Gupta, V. & Unni, E. (2018). Motivators, barriers, and strategies to improve response rate to student evaluation of teaching. Currents in Pharmacy Teaching and Learning, 10(12), 1543-1549. https://doi.org/10.1016/J.CPTL.2018.08.020
  • De-Juanas Oliva, Á. & Beltrán Llera, J. A. (2013). Valoraciones de los estudiantes de ciencias de la educación sobre la calidad de la docencia universitaria. Educación XX1, 17(1), 59–82. https://doi.org/10.5944/educxx1.17.1.10705
  • Dowell, D. A. & Neal, J. A. (1982). A Selective Review of the Validity of Student Ratings of Teaching. The Journal of Higher Education, 53(1), 51–62. https://doi.org/10.1080/00221546.1982.11780424
  • Fernández-Millán, J. M. & Fernández-Navas, M. (2013). Elaboración de una escala de evaluación de desempeño para educadores sociales en centros de protección de menores. Intangible Capital, 9(3), 571–589. https://doi.org/10.3926/ic.410
  • García-Olalla, A., Sánchez, A. V., Aláez, M. & Romero-Yesa, S. (2022). Aplicación y resultados de un sistema para evaluar la calidad de la docencia universitaria en una década de experimentación. Revista de Investigación Educativa, 40(1), 51– 68. https://doi.org/10.6018/RIE.401221
  • García-Mestanza, J. (2010). Propuesta de evaluación de la actividad docente universitaria en entornos virtuales de aprendizaje. Revista Española de Pedagogía, 246, 261–280. https://revistadepedagogia.org/lxviii/no246/propuesta-de-evaluacion-de-la-actividad-docente-universitaria-enentornos-virtuales-de-aprendizaje/101400010134/
  • Gargallo-López, B., Suárez Rodríguez, J., Garfella Esteban, P. & Fernández March, A. (2011). El cuestionario CEMEDEPU. Un instrumento para la evaluación de la metodología docente y evaluativa de los profesores universitarios. Estudios Sobre Educacion, 21(1), 9–40. https://doi.org/10.20517/2347-8659.2016.19
  • George, D. & Mallery, P. (2003). SPSS for Windows step by step: A simple guide and reference. Allyn and Bacon.
  • Ginns, P., Prosser, M. & Barrie, S. (2007). Students’ perceptions of teaching quality in higher education: the perspective of currently enrolled students. Studies in Higher Education, 32(5), 603–615. https://doi.org/10.1080/03075070701573773
  • González-López, I. (2006). Dimensiones de evaluación de la calidad universitaria en el Espacio Europeo de Educación Superior. Revista Electrónica de Investigación Psicoeducativa, 4(3), 445–468. http://lafacultadinvisible.com/wpcontent/uploads/2015/03/González-López-2006.pdf
  • González López, I. y López Cámara, A. B. (2010). Sentando las bases para la construcción de un modelo de evaluación a las competencias del profesorado universitario. Revista de Investigación Educativa, 28(2), 403–423. https://revistas.um.es/rie/article/view/109431
  • Goodale, J. G. y Burke, R. J. (1975). Behaviorally based rating scales need not be job specific. Journal of Applied Psychology, 60(3), 389–391. https://doi.org/10.1037/h0076629
  • Gursoy, D. y Umbreit, W. T. (2005). Exploring Students’ Evaluations of Teaching Effectiveness: What Factors are Important? Journal of Hospitality and Tourism Research, 29(1), 91–109. https://doi.org/10.1177/1096348004268197
  • Harari, O. & Zedeck, S. (1973). Development of Behaviorally Anchored Scales for the Evaluation of Faculty Teaching. Journal of Applied Psychology, 58(2), 261–265. https://doi.org/10.1037/h0035633
  • Ibáñez-López, F. J., Hernández-Pina, F. & Monroy, F. (2020). Evaluación y acreditación de titulaciones universitarias en Educación desde el punto de vista del profesorado. Revista Interuniversitaria de Formación Del Profesorado, 34(3), 137–154. https://doi.org/10.47553/RIFOP.V34I3.81380
  • Isla-Díaz, R., Marrero-Hernández, H., Hess-Medler, S., Soriano, M. & Acosta-Rodríguez, S. (2018). Una mirada longitudinal: ¿Es el “Docentia” útil para la evaluación del profesorado universitario? RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 24(2). https://doi.org/10.7203/RELIEVE.24.2.12142
  • Jackson, D. L., Gillaspy, J. A. & Purc-Stephenson, R. (2009). Reporting practices in confirmatory factor analysis: An overview and some recommendations. Psychological Methods, 14(1), 6–23. https://doi.org/http://dx.doi.org/10.1037/a0014694
  • Kavanagh, M. J. & Duffy, J. F. (1978). An extension and field test of the retranslation method for developing rating scales. Personnel Psychology, 31(3), 461–470. https://doi.org/10.1111/j.1744-6570.1978.tb00455.x
  • Kember, D. & Leung, D. Y. P. (2008). Establishing the validity and reliability of course evaluation questionnaires. Assessment & Evaluation in Higher Education, 33(4), 341–353. https://doi.org/10.1080/02602930701563070
  • Lacave-Rodero, C., Molina Díaz, A. I., Fernández Guerrero, M. M., & Redondo Duque, M. A. (2016). Análisis de la fiabilidad y validez de un cuestionario docente. Revista de Investigación En Docencia Universitaria de La Informática, 9(1), 2.
  • Lavrič, M., Bren, M. & Matevž, B. (2018). The validity of students’ e-evaluation at the University of Maribor. 21st QMOD-ICQSS, International Conference on Quality and Service Sciences, 428–432.
  • Bren, M. & Lavrič, M. (2018). The validity of students' e-evaluation at the University of Maribor. In Dahlgaard-Park, S. and Dahlgaard, J. J. (Eds.). The quality movement where are we going?: QMOD conference proceedings, 21st QMOD-ICQSS Conference, International Conference on Quality and Service Sciences. Lund University Library Press, 428-432.
  • Lemos, M. S., Queirós, C., Teixeira, P. M. & Menezes, I. (2011). Development and validation of a theoretically based, multidimensional questionnaire of student evaluation of university teaching. Assessment & Evaluation in Higher Education, 36(7), 843–864. https://doi.org/10.1080/02602938.2010.493969
  • Lizasoain-Hernández, L., Etxeberria-Murgiondo, J. & Lukas-Mujika, J. F. (2017). Propuesta de un nuevo cuestionario de evaluación de los profesores de la Universidad del País Vasco. Estudio psicométrico, dimensional y diferencial. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 23(1), 1– 21. https://doi.org/10.7203/relieve.23.2.10436
  • Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, I. & Tomás-Marco, A. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30, 1151–1169. https://doi.org/10.6018/analesps.30.3.199361
  • Lukas, J. F., Santiago, K., Etxeberria, J. & Lizasoain, L. (2014). Adaptación al Espacio Europeo de Educación Superior de un cuestionario de opinión del alumnado sobre la docencia de su profesorado. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 20(1), 1–20. https://doi.org/10.7203/relieve.20.1.3812
  • Luna-Serrano, E. (2015). Validación de constructo de un cuestionario de evaluación de la competencia docente. Revista Electronica de Investigación Educativa, 17(3). https://redie.uabc.mx/redie/article/view/1090/1291
  • Marsh, H., Guo, J., Dicke, T. & Parker, P. (2020). Confirmatory Factor Analysis ( CFA ), Exploratory Structural Equation Modeling ( ESEM ) & Set-ESEM : Optimal Balance between Goodness of Fit and Parsimony. Multivariate Behavioral Research, 55(1), 102–119. https://doi.org/10.1080/00273171.2019.1602503
  • Marsh, H., Muthén, B., Asparouhov, T., Lüdtke, O., Robitzsch, A., Morin, A. J. S. & Trautwein, U. (2009). Exploratory structural equation modeling, integrating CFA and EFA: Application to students’ evaluations of university teaching. Structural Equation Modeling, 16(3), 439–476. https://doi.org/10.1163/156851711X602421
  • Marshall, J. C., Smart, J. & Alston, D. M. (2016). Development and validation of Teacher Intentionality of Practice Scale (TIPS): A measure to evaluate and scaffold teacher effectiveness. Teaching and Teacher Education, 59, 159–168. https://doi.org/10.1016/j.tate.2016.05.007
  • Martin-Raugh, M., Tannenbaum, R. J., Tocci, C. M. & Reese, C. (2016). Behaviourally Anchored Rating Scales: An application for evaluating teaching practice.
  • Teaching and Teacher Education, 59, 414–419. https://doi.org/10.1016/j.tate.2016.07.026
  • Martín-García, A. V., García del Dujo, Á. & Muñoz Rodríguez, J. M. (2014). Factores determinantes de adopción de blended learning en educación superior. Adaptación del modelo UTAUT*. Educación XX1, 17(2). https://doi.org/10.5944/educxx1.17.2.11489
  • Matosas-López, L., Aguado-Franco, J. C. & Gómez-Galán, J. (2019). Constructing an instrument with behavioral scales to assess teaching quality in blended learning modalities. Journal of New Approaches in Educational Research, 8(2), 142–165. https://doi.org/10.7821/naer.2019.7.410
  • Matosas-López, L. & Bernal-Bravo, C. (2020). Presencia de las TIC en el diseño de un instrumento BARS para la valoración de la eficiencia del profesorado en modalidades de enseñanza online. Psychology, Society, & Education, 12(1), 43– 56. https://doi.org/10.25115/psye.v10i1.2501
  • Matosas-López, L & García-Sánchez, B. (2019). Beneficios de la distribución de cuestionarios web de valoración docente a través de mensajería SMS en el ámbito universitario: tasas de participación, inversión de tiempo al completar el cuestionario y plazos de recogida de datos. Revista Complutense de Educación, 30(3), 831–845. https://doi.org/10.5209/RCED.59224
  • Matosas-López, L., Leguey-Galán, S. & Doncel-Pedrera, L. M. (2019). Converting Likert scales into Behavioral Anchored Rating Scales (Bars) for the evaluation of teaching effectiveness for formative purposes. Journal of University Teaching & Learning Practice, 16(3), 1–24. https://ro.uow.edu.au/jutlp/vol16/iss3/9
  • Matosas-López, L., Leguey-Galán, S. & Leguey-Galán, S. (2019). Cómo resolver el problema de pérdida de información conductual en el diseño de Behaviorally Anchored Rating Scales-BARS. El caso de la medición de la eficiencia docente en el contexto universitario. Espacios, 40(19), 6–21. http://www.revistaespacios.com/a19v40n19/19401906.html
  • Matosas-López, L., Romero-Ania, A., & Cuevas-Molano, E. (2019). ¿Leen los universitarios las encuestas de evaluación del profesorado cuando se aplican incentivos por participación? Una aproximación empírica. Revista Iberoamericana Sobre Calidad, Eficacia y Cambio En Educación, 17(3), 99–124. https://doi.org/10.15366/reice2019.17.3.006
  • McCallum, L. W. (1984). A meta-analysis of course evaluation data and its use in the tenure decision. Research in Higher Education, 21(2), 150–158. https://doi.org/10.1007/BF00975102
  • MEFP. (2019). Avance de la Estadística de estudiantes. Curso 2018-2019. Ministerio de Educación y Formación Profesional, MEFP. https://www.educacionyfp.gob.es/servicios-alciudadano/estadisticas/universitaria/estadisticas/alumnado/2018-2019- av/grado-y-ciclo.html
  • Molero, D. & Ruiz Carrascosa, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57–84. http://revistas.um.es/rie/article/view/98341
  • Muñoz Cantero, J. M., Ríos De Deus, M. P. & Abalde Paz, E. (2002). Evaluación docente vs Evaluación de la calidad. RELIEVE Revista Electrónica de Investigación y Evaluación Educativa, 8(2), 103–134. https://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm
  • Ohland, M. W., Layton, R. A., Loughry, M. L. & Yuhasz, A. G. (2005). Effects of Behavioral Anchors on Peer Evaluation Reliability. Journal of Engineering Education, 94(3), 319–326. https://doi.org/10.1002/j.2168-9830.2005.tb00856.x
  • Pérez-Escoda, A., García-Ruiz, R. & Aguaded-Gómez, I. (2019). La competencia mediática en el profesorado universitario. Validación de un instrumento de evaluación. @Tic Revista D’Innovació Educativa, 21(2), 1–9. https://doi.org/10.7203/attic.21.12550
  • Ruiz-Corbella, M. & Aguilar-Feijoo, R.-M. (2017). Competencias del profesor universitario; elaboración y validación de un cuestionario de autoevaluación. Revista Iberoamericana de Educación Superior, 7(21), 37-65.
  • Santos Rego, M. A., Sotelino Losada, A., Jover Olmeda, G., Naval, C., Alvarez Castillo, J. L. & Vazquez Verdera, V. (2017). Diseño y validación de un cuestionario sobre práctica docente y actitud del profesorado universitario hacia la innovación. Educación XX1, 20(2), 39–71. https://doi.org/10.5944/educXX1.17806
  • Serra, V. Q., Gómez, G. R. & Sáez, M. S. I. (2017). Planificación e innovación de la evaluación en educación superior: la perspectiva del profesorado. Revista de Investigación Educativa, 35(1), 53–70. https://doi.org/10.6018/RIE.35.1.239261
  • Shultz, M. M. & Zedeck, S. (2011). Predicting Lawyer Effectiveness: Broadening the Basis for Law School Admission Decisions. Law and Social Inquiry, 36(3), 620– 661. https://doi.org/10.1111/j.1747-4469.2011.01245.x
  • Spooren, P. (2010). On the credibility of the judge. A cross-classified multilevel analysis on students’ evaluation of teaching. Studies in Educational Evaluation, 36(4), 121–131. https://doi.org/10.1016/j.stueduc.2011.02.001
  • Spooren, P., Mortelmans, D. & Christiaens, W. (2014). Assessing the validity and reliability of a quick scan for student’s evaluation of teaching. Results from confirmatory factor analysis and G Theory. Studies in Educational Evaluation, 43, 88–94. https://doi.org/10.1016/j.stueduc.2014.03.001
  • Spooren, P., Mortelmans, D. & Denekens, J. (2007). Student evaluation of teaching quality in higher education: development of an instrument based on 10 Likertscales. Assessment & Evaluation in Higher Education, 32(6), 667–679. https://doi.org/10.1080/02602930601117191
  • Spooren, P., Mortelmans, D. & Thijssen, P. (2012). ‘Content’ versus ‘style’: acquiescence in student evaluation of teaching? British Educational Research Journal, 38(1), 3– 21. https://doi.org/10.1080/01411926.2010.523453
  • Stewart, I., Hong, E., & Strudler, N. (2004). Development and Validation of an Instrument for Student Evaluation of the Quality of Web-Based Instruction. American Journal of Distance Education, 18(3), 131–150. https://doi.org/10.1207/s15389286ajde1803_2
  • Stoskopf, C. H., Glik, D. C., Baker, S. L., Ciesla, J. R. & Cover, C. M. (1992). The reliability and construct validity of a Behaviorally Anchored Rating Scale used to measure nursing assistant performance. Evaluation Review, 16(3), 333–345.
  • Toland, M. D. & De Ayala, R. J. (2005). A multilevel factor analysis of students’ evaluations of teaching. Educational and Psychological Measurement, 65(2), 272– 296. https://doi.org/10.1177/0013164404268667
  • Uttl, B. & Smibert, D. (2017). Student evaluations of teaching: Teaching quantitative courses can be hazardous to one’s career. PeerJ, (5), 1–13. https://doi.org/10.7717/peerj.3299
  • Zhao, J. & Gallant, D. J. (2012). Student evaluation of instruction in higher education: exploring issues of validity and reliability. Assessment & Evaluation in Higher Education, 37(2), 227–235. https://doi.org/10.1080/02602938.2010.523819
Data source: Dialnet