22 octubre 2017

Un ejemplo de self report study

En ocasiones anteriores hemos hablado de los self reports studies, de qué son y por qué no se aceptan en RED.

Lo hemos tratado en estos posts

Ahora, en el transcurso de una revisión editorial, en mi calidad de editor de RED, he encontrado un trabajo que muy bien podría ejemplificar este caso. Para facilitar la lectura de este post pueden descargar de Google Drive el manuscrito, sin nombres ni filiaciones de los autores que permitan identificarlos, donde lo he subido para este caso, pulsando este enlace. He enfatizado en amarillo los textos que ponen de manifiesto su carácter de self report study

En el resumen dice "El objetivo del estudio fue determinar la relación entre las competencias de los docentes y el desempeño de los estudiantes que participan en la modalidad b-Learning". Sin embargo en esa parte no dice cómo obtiene los valores de esas variables, pasa directamente a decir cómo analiza su correlación. Cuestión que sí pormenoriza, sin regatear detalles técnicos.

Después en la metodología se dice:

"La presente investigación se planteó como objetivo principal el determinar si existen una relación entre las competencias de los docentes y el desempeño de los estudiantes"


"(...) por medio de la encuesta a estudiantes sobre su percepción del grado de competencia docente y el desarrollo de competencias genéricas."



Para a continuación  señalar la forma de obtener esos datos:


"se utilizó la técnica del cuestionario con el objetivo de conocer la opinión de los alumnos sobre el desempeño docente y su relación con el desarrollo de competencias en los estudiantes"

A partir de aquí hay un salto cognitivo. Se definen unas variables a partir del cuestionario de opinión, sin señalar qué procedimiento utilizan para a partir del cuestionario y de las respuestas determinan el grado de logro o de consecución o de la calidad de la planeación didáctica o en la resolución de problemas, o del resto de rasgos o indicadores que sirven para construir las variables. Y sobre todo determinando estos valores en función de la autopercepción de los alumnos.

Al otro lado de este salto cognitivo, sin puente, hay un aparataje perfectamente armado siguiendo los cánones de la corrección de los análisis empíricos. El cuestionario está realizado siguiendo estrictamente una escala de Likert.  

La consistencia del cuestionario queda perfectamente asegurada

"El nivel de fiabilidad y confianza del instrumento se realizó mediante alfa de Cronbach de (.925) determinando excelente nivel de constancia interna del cuestionario".  



Y por último aseguran la validez que "se determinó a partir de de la revisión de tres expertos de la institución".


Igual sucede con el procedimiento, en el que aseguran
"se utilizó el análisis de frecuencia y el análisis dependencia entre variables cualitativas al utilizar un contraste estadístico Chi-cuadrado (x2)  a través de tablas de contingencias de las variables: competencias docentes (ocho docentes) y percepción de desempeño del estudiante a través de una hipótesis nula (Ho) y una hipótesis alternativa (H1) perfectamente definidas.

Sin embargo tanto esto como el resto del artículo giran en torno a unas fuentes de datos que no validan en absoluto los rasgos que constituyen las variables, independientemente de la validez o de la potencia de las herramientas de análisis de la covariación de datos que utilizan. 

Así el trabajo tiene todas las características de lo que se considera un self-report study[1].

Con el fin de evitar este tipo de cosas incluimos entre las normas de edición para los autores y revisores, edición del 25 de Abril de 2015, la prescripción de que RED no publicase artículos que utilizasen la modalidad de self-report studies como opción principal para validar una propuesta o una hipótesis [2]. Si bien aceptábamos que pudiese utilizarse como segundo método para apoyar, matizar o tringular un primer método de investigación.


Por tanto quedó desestimada la publicación en la fase de revisión editorial.



[1] Según Whitley y Kite (2013) un self-report study (estudio de autoinforme) es un tipo de encuesta, cuestionario o escrutinio en el que los encuestados leen la pregunta y seleccionan una respuesta por sí mismos, sin interferencia del investigador. Un self-report (autoinforme) es cualquier método que implica preguntar a un participante acerca de sus sentimientos, actitudes, creencias o cualquier otro rasgo ofacultad de sus valores o de su personalidad. Ejemplos de auto-informes son cuestionarios y entrevistas; Los autoinformes suelen usarse como una forma de obtener respuestas de los participantes en estudios o experimentos observacionales.

[2] Dice textualmente "En los casos de artículos que incluyan una o más investigaciones  solo se admite el método conocido como self-report study[2] como método auxiliar, en ningún caso para probar la tesis principal del estudio".



Referencias.-

Whitley, B.E. and  Kite, M.E. (2013). Principles of Research in Behavioral Science, Routledge Third Edition

18 octubre 2017

Lisboa 26 de Octubre: Edición científica, una cuestión de colores y tendencias

Miguel Zapata-Ros



El próximo 26 de Octubre impartiré la conferencia titulada “Scientific edition, a matter of colors and trends” en el contexto de la 8th World Conference on Learning, Teaching and Educational Leadership . Éste es el resumen:
La Unión Europea ha establecido un plan muy ambicioso y radical que debería situar la difusión de la investigación en la Sociedad del Conocimiento. No se basa, como muchos pensarán, sólo en impulsar el Open Access. Ni tan siquiera en, como han dicho los titulares periodísticos, hacer que la producción científica esté en su totalidad accesible en acceso abierto. La auténtica revolución es que la producción científica sea accesible socialmente por la comunidad científica en la fase de desarrollo de la investigación, a través del autoarchivo de autores, revistas e instituciones.
Lo importante no es sólo cantidad de citación, impacto y visibilidad, que es una visión cuantitativa, sino fundamentalmente una calidad basada en la innovación. En este caso en una gradación establecida en función de las modalidades de autoarchivo, en los prepints y en los datos (open data). Se trata de fomentar el autoarchivo antes y después de la edición.
Esto es lo que expondré, junto con una propuesta de modelo de dinámica de edición que constituye el  núcleo de mi intervención con el lema de Compartir el conocimiento en el desarrollo de la investigación


In english

The European Union has established a very ambitious and radical plan that should place the dissemination of research in the Knowledge Society. It is not based, as many will think, just to drive Open Access. Not even in, as newspaper headlines have said, to make scientific production fully accessible in open access. The real revolution is that scientific production is socially accessible by the scientific community in the research development phase, through the self-archives of authors, journals and institutions.
The important thing is not only quantity of citation, impact and visibility, which is a quantitative vision, but fundamentally a quality based on innovation. In this case in a gradation established according to the modalities of autoarchivo, prepints and data (open data). This is to encourage self-archiving before and after editing.
Les esperamos.
La presentación que utilizaré pueden verla en 


Y también en el vídeo sobre el tema en  que expuse en MEDES 2017 (c) Fundación Lily en julio de 2017 en las XII Jornada MEDES: Ciencia-e compartida y generación del conocimiento





16 octubre 2017

¿Qué es un artículo original de investigación?

Raidell Avelló

La pregunta: ¿Qué es un artículo original de investigación?, puede parecer muy sencilla, trillada y básica para un profesor/investigador, sin embargo, me la formulan frecuentemente, al igual que a otros colegas, sobre todo editores e investigadores asociados al mundo de la edición de revistas científicas.
Este fenómeno lo he asociado, sobre todo, a la diversidad de variantes de artículos (artículos de investigación, revisiones, recensiones, cartas al director/editor, propuestas, experiencias, buenas prácticas, etc.) que publican muchas revistas académicas/científicas. Sin embargo, no hay que perder de vista, que la esencia de una revista “científica” son los artículos originales de investigación, son su origen, las bases fundacionales que le asignaron esta categoría.
Un artículo científico es un trabajo, generalmente breve (entre 6 a 20 cuartillas, o, como es tendencia, 4000-6500 palabras aproximadamente), cuya finalidad suele ser la comunicación de los resultados de la investigación. Los criterios de calidad del mismo los aportan el rigor científico-metodológico con el que se haga la investigación, la originalidad y en cierta medida “el lugar donde se publica”.
El artículo científico es un texto escrito que informa por primera vez de los resultados de una investigación y que es redactado y publicado siguiendo normas muy concretas aceptadas por la comunidad científica internacional, cuyo uso asegura la comunicación efectiva de la información en todo el mundo. Según la UNESCO (1983), la finalidad principal de un artículo científico es comunicar los resultados de investigaciones, ideas y debates de una manera clara, concisa y fidedigna.
Un artículo de investigación original es el informe de un proceso de investigación a partir de la aplicación de experimentos o resultado de la aplicación de métodos científicos, este debe reunir las siguientes características: ser consecuencia de una investigación, ser original y aportar algo novedoso al campo científico al que se dedica, presentar una estructura adecuada a esta tipología y ajustarse a las normas de publicación de la revista donde se va a publicar.
Curiosamente, muchas revistas en sus normas o directrices para autores (indicaciones, etc.) no dejan claro que características debe tener cada uno de los tipos de artículos que admiten, de hecho algunas solo mencionan “artículos originales”, sin embargo, considero que este es un apartado muy importante para la orientación de los autores y no perder tiempo en los envío que, sin tener en cuenta estos elementos, serán rechazados solo en una primera revisión del editor.
Por otra parte, encontramos revistas que explican con detalles los tipos de artículos admitidos, y otras que además, como RED. Revista de Educación a Distancia (http://www.um.es/ead/red/normasRED.htm), que brindan detalles específicos con respecto a algunos tipos de artículos, por ejemplo:
“En los casos de artículos que incluyan una o más investigaciones solo se admite el método conocido como self-report study[2] como método auxiliar, en ningún caso para probar la tesis principal del estudio”
De manera más detallada, para un artículo ser considerado “original” y de
“investigación” debe cumplir, al menos, los siguientes requisitos:
-          Debe ser inédito, o sea, no puede haber sido publicado con anterioridad. Es importante señalar que esta restricción está siendo impactada por nuevas tendencias abiertas de la publicación científica, donde se admite que el investigador publique un preprint de su trabajo o, incluso, en entradas (posts) en blogs o sitios académicos.
-          Debe ser resultado de un estudio de investigación científico, o sea con la aplicación de métodos cuantitativos, cualitativos, o siguiendo un enfoque mixto.
-          El trabajo debe responder una hipótesis, idea a defender o pregunta(s) de investigación.
-          Se exponen material y métodos, en mayor detalle posible: descripción de la muestra, participantes, procedimientos de aplicación de los métodos, procedimientos de análisis de los datos obtenidos, etc., de manera que pueda ser replicable la investigación.
-          Se reportan los resultados de manera precisa y evidenciando un manejo adecuado de los datos.
-          Se interpretan los resultados y se discuten posibles implicaciones de los hallazgos con respecto a los antecedentes discutidos y comentados en la introducción o revisión de la literatura.
Inicialmente las publicaciones eran descriptivas, pero a mediados del siglo XIX, gracias a Pasteur y Koch, que confirmaron la teoría microbiológica de las enfermedades, se hizo necesario describir en forma detallada la metodología para acallar a los fanáticos de la generación espontánea y el dogma de la reproducibilidad se hizo central. Esto fue el principio del IMRYD (Villagrán, y Harris, 2009).
Luego vino el desarrollo de la microbiología y otros grandes avances con cuantiosos fondos de apoyo a la investigación que provocó in incremento acelerado de la ciencia y esta a su vez produjo un gran número de artículos, de modo que las revistas debieron exigir cada vez más publicaciones precisas, lo cual fue la génesis del sistema: Introducción, Metodología, Resultados y Discusión (IMRyD). Esta estructura, evidentemente replica e informa la investigación siguiendo sus propios procesos, pero de manera concisa.
Para comprender mejor esta estructura, hace un tiempo cree una imagen, tipo mapa conceptual, para un curso sobre publicación científica que, de manera sencilla, explica el proceso y estructura de un artículo de investigación científica, que puede ser de utilidad para este engorroso pero necesario proceso:



Como se ha podido apreciar en estos comentarios, es importante para un investigador tener claridad y diferenciar, dentro de los tipos de artículo que puede publicar, al artículo de investigación y priorizarlo, ya que encontrará mayores posibilidades de publicación, pues las principales bases de datos (WoS, Scopus, Scielo, etc.) tienen exigencias bien rigurosas con la proporción de estos artículos con respecto a las demás variantes.

Referencias

UNESCO (1983). Guía para la redacción de artículos científicos destinados a la publicación. Recuperado de: http://unesdoc.unesco.org/images/0005/000557/055778SB.pdf

Villagrán, A., y Harris, P. R. (2009). Algunas claves para escribir correctamente un artículo científico. Revista chilena de pediatría, 80(1), 70-78. https://dx.doi.org/10.4067/S0370-41062009000100010

17 julio 2017

Autoevaluación de la calidad de programas de educación universitaria virtual, articulo de RED por Marciniak y Gairín.

Con este post continuamos hablando de los artículos incluidos en el último número de RED. Se trata del artículo de los profesores de la  Universidad Autónoma de Barcelona Renata Marciniak y Joaquín Gairín Sallán, titulado Un modelo para la autoevaluación de la calidad de programas de educación universitaria virtual. Con ellos contribuimos a cumplir los objetivos de nuestra revista reseñados en los posts anteriores y que la sitúan con propiedad en el tema del que es titular, el que viene denominado en GSM como Social SciencesàEducational Technologly

Joaquín Gairín Sallán es un tótem, en el mejor sentido de la palabra, en todo lo que respecta a organizaciones educativas, su sentido y conformación, a las que considera contextos donde se desarrollan culturas específicas. Tuve ocasión de conocerlo en estas lides cuando coordiné unos cursos que fueron pioneros en la formación abierta on line para la función directiva docente, en el que él participó, allá por los años 90.

En el panorama actual faltaba alguien que penetrase bajo esa perspectiva en las organizaciones universitarias que se generan en torno a la docencia virtual universitaria. Esperamos su colaboración en futuras ediciones de RED que traten esos temas.

Mientras tanto ahora nos presenta un trabajo, en coautoría con Renata Marciniak, que está llamado a ser un hito en la calidad centrada en la enseñanza y en el aprendizaje de la educación virtual universitaria.  Se trata de un modelo de autoevaluación, lo cual lo constituye en una propuesta al alcance de cualquier equipo docente o de diseño instruccional que se constituya en torno a un programa formativo de educación universitaria en esta modalidad, en cualquiera de las opciones en vigencia: Estudios online formales de grado o postgrado que incorporen en alguna de sus modalidades o fases esta educación, cursos de extensión universitaria o MOOC.

No hace falta decir que la evaluación de la calidad se ha convertido en un imperativo planteado por las agencias de evaluación universitaria y por la sociedad tanto en la parte que concierne a estudiantes y familias, como a los distintos nodos de la producción y de los servicios, desde la perspectiva del rendimiento.

La originalidad del trabajo de Marciniak y Gairin, además de ser una propuesta de autoevaluación, es que se basa en el modelo general de Serramona y Gairin que contempla la evaluación de la calidad propia del programa y su evaluación continua, y lo aplica a la enseñanza virtual. Así el objetivo del artículo que nos presenta nos propone “un modelo aplicativo para la autoevaluación de programas de educación universitaria virtual, que integra los dos tipos de evaluación y de esta manera permite evaluar la calidad tanto de los elementos pedagógicos y tecnológicos que constituyen un programa virtual como cada una de las tres fases de su aplicación: la fase inicial, de desarrollo y la fase final”.

Por otra parte, los autores nos comunican el análisis empírico que han utilizado para la validación del modelo.  Que ha supuesto el análisis en varios momentos de los programas analizados y la implicación de 23 expertos internacionales. El modelo se ha experimentado en cuatro programas virtuales.

El trabajo supone un análisis de los modelos existentes, lo cual supone además de los valores propios del estudio y del modelo, un importante estado del arte a disposición de la comunidad investigadora del tema
De esta forma la tabla 1 del artículo (Marciniak y Gairín, 2017) recoge como conclusión de ese análisis del estado de la cuestión los elementos que, según otros autores, se deberían tener en cuenta a la hora de diseñar un programa formativo virtual.

Autor
Elementos del programa virtual
Meza (2012)
·      Aspectos específicos del programa
·      Temas y objetivos
·      Actividades de aprendizaje
·      Evaluación del aprendizaje
·      Tutoría virtual
Mery y Newby
(2014)
·      Necesidades de los estudiantes
·      Objetivos formativos
·      Competencias
·      Contenidos
·      Material didáctico
·      Actividades de aprendizaje
·      Evaluación del aprendizaje
·      Evaluación del programa
Shattuck (2014)
·      Aspectos específicos del programa (nombre, duración, justificación)
·      Objetivos y contenidos
·      Materiales multimedia e interactivos
·      Actividades de aprendizaje
·      Evaluación del aprendizaje
·      Tutorías
Barnard y Echols (2015)
·      Perfil del estudiante
·      Contenidos temáticos
·      Estrategias de aprendizaje
·      Características de tecnología educativa utilizada
·      Evaluación del aprendizaje

Zapata
(2015)
·      Objetivos y epítome
·      Unidades
·      Guías docentes y guías didácticas de las unidades
·      Materiales para cada unidad
·      Tipos y funciones de los profesores

Boettcher y Conrad (2016)
·      Objetivos y metas a alcanzar,
·      Recursos didácticos.
·      Acciones de aprendizaje.
·      Estrategias de evaluación de aprendizaje.

Rushby y Surry (2016)
·      Datos curriculares
·      Objetivos generales de aprendizaje
·      Contenidos del programa
·      Actividades del aprendizaje
·      Fuentes de información
·      Herramientas de comunicación y el uso de los medios
·      Evaluación del aprendizaje

Con ellos y con el análisis de las directrices de HECQ (1997) establecen las indicaciones sobre los elementos del programa formativo virtual que debe abarcar el programa virtual:
·         Objetivos y competencias de aprendizaje;
·         Estrategias de enseñanza;
·         Contenido temático;
·         Materiales y recursos didácticos;
·         Actividades de aprendizaje;
·         Estrategias de evaluación del aprendizaje.
Especial relevancia es el análisis que hacen sobre Modelos de referencia de autoevaluación de programas formativos virtuales, en el apartado del mismo título. No podemos en esta reseña entrar en la descripción de ese análisis. Lo único que podemos decir es que es exhaustivo. Es un conjunto de informaciones organizadas, analizadas y estructuradas de uso imprescindible para quien quiera estudiar la evaluación de la calidad en programas de docencia virtual universitaria.

Su modelo es pues un modelo se síntesis: a partir del análisis que hacen, integran en su propuesta de forma armónica los elementos que obtienen, que vemos en el cuadro comparativo de los elementos que evalúan en los modelos analizados
Modelo
Elemento de Programa
1
2
3
4
5
6
7
8
9
10
  11
12
13
14
15
Justificación del programa
x









Objetivos del programa
x
x

x
x

x

x


x
x

Perfil del estudiante
x
x

x
x



x

x
x
x
x
Contenidos temáticos
x
x
x
x
x
x

x
x
x

Actividades de aprendizaje
x


x

x
x
x
x
x
x
x
x
Perfil de los docentes en línea
x

x
x

x

x

x
x
x

Tutorías
x


x

x


x

Materiales y recursos didácticos
x
x

x
x
x
x
x
x
x
x
x
x
x
Metodologías de enseñanza y aprendizaje
x

x
x

x

x
x
x
x

Evaluación del aprendizaje
x
x

x
x
x
x
x

x
x
x
x

Plataforma virtual
x

x
x

x


x
x
x
x

Evaluación de la fase inicial del programa
x
x
x
x


x



x
x
Evaluación de la fase de desarrollo del programa

x
x




x

x
x
Evaluación de la fase final del programa
x

x
x
x

x

x
x
x
x

Explicación: 1- Sarramona, 2001; 2-Fidalgo, 2007; 3-Marshall, 2007; 4-Marcelo y Zapata, 2008; 5-Ejarque et al. 2008; 6-UW, 2008; 7-Díaz-Maroto, 2009; 8-SEA, 2010; 9-CALED, 2010; 10-OLC; 2011; 11- Masoumi y Lindström, 2012; 12-Zhang y Jiang, 2012; 13-Giorgetti et al., 2013; 14-AVU, 2014; 15-EADTU, 2016.

En lo siguiente exponen la investigación realizada y por último concluyen, como modelo autoevaluativo y por tanto centrado en lo que se conoce en las teorías y modelos educativos sobre evaluación formativa, en ofrecer a los gestores y agentes de la formación virtual una propuesta sistémica para la evaluación de la calidad de su propuesta. Así (Marciniak y Gairín, 2017) dicen “el  modelo de autoevaluación que se propone integra la evaluación de todos los elementos que constituyen un programa formativo virtual (evaluación de la calidad del propio programa) con la evaluación continua del mismo, es decir, las tres fases por las que el programa pasa durante su existencia”.
Este modelo está constituido por las catorce dimensiones que hemos visto antes, de las cuales once sirven para evaluar el nivel de calidad de los elementos pedagógicos y tecnológicos que configuran el programa y tres dimensiones sobre el proceso.
Las conclusiones sirven pues para analizar, comparando su modelo con los otros propuestos, y asumir los aspectos comunes e integrar dimensiones divergentes.
Referencias.-

Barnard, D. y Echols, J. (2015). The Anatomy of K-12 Online Programs: Practical Ideas and Guidelines. London: Rowman and Littlefield.

Boettcher, J. V. y Conrad, R. M. (2016). The Online Teaching Survival Guide: Simple and Practical Pedagogical Tips. London: John Wiley and Sons.
Butcher, N. y Wilson-Strydom, M. (2013). A guide to quality in online learning. Dallas TX: Academic Partnerships.
CALED (Instituto Latinoamericano y del Caribe de Calidad en Educación Superior a Distancia). (2010). Guía de autoevaluación para programas de pregrado a distancia. Loja: CALED.
CEN (Comité Europeo de Normalización). (2007). CWA 15660:2007, Providing good practice for E-Learning quality approaches. Brussels: CEN.
CIEES (Comités Interinstitucionales para la Evaluación de la Educación Superior). (2008). Metodología General para la Evaluación de Programas de Educación Superior a Distancia. México D.F.: CIEES.
Díaz-Maroto, I. T. (2009). Formación a través de internet: evaluación de la calidad. Barcelona: UOC.
Domínguez Castillo,  J. G. y Morcillo Baquedano, J. S. (2016). Evaluación de un curso en línea para la formación de competencias en el uso de las TIC en profesores de ciencias de secundarias públicas del sureste de México. RED. Revista de Educación a Distancia, 51. Recuperado de DOI: http://dx.doi.org/10.6018/red/51/2
EADTU (European Association of Distance Teaching Universities). (2016). Quality Assessment for E-learning: a Benchmarking Approach. Third edition. Maastricht: EADTU.
EFMD (European Foundation for Management Development). (2006). EFMD CEL Criteria, Indicators and Standards. Recuperado de https://www.efmd.org/accreditation-main/equis/116-accreditation/cel
ENQA (European Association for Quality Assurance in Higher Education). (2015). Standards and Guidelines for Quality Assurance in the European Higher Education Area. 3rd edition. Brussles: EURASHE.

EFQUEL (European Foundation for Quality in eLearning). (2010). Handbook y Quality Criteria Toolkits: Open ECBCheck Initiative. Recuperado de https://quality4digitallearning.org/open-house/handbook-quality-criteria-toolkits-open-ecbcheck-initiative/

Ehlers, U. (2013). Open Learning Cultures: A Guide to Quality, Evaluation, and Assessment for Future Learning. Berlin: Springer-Verlag.
Ejarque González, E., Buendía García, F. y Hervás Jorge, A. (2008). Aplicación de un modelo de calidad para evaluar experiencias e-learning en el Espacio Europeo Universitario. EDUCAR, 41, 11-28.
Fidalgo, A. (2007). Micro Guía de Indicadores para el elearning. Madrid: Universidad Politécnica de Madrid.
Gairín Sallán, J., Díaz-Vicario, A., Rosales Acín, M. y Sentinella Solé, X. (2014). La autoevaluación para la mejora de la seguridad integral en centros educativos. EDUCAR, 50(2),  363-381.
Giorgetti, C. G., Romero, L. y Vera, M. (2013). Diseño de un modelo de evaluación de la calidad específico para EaD. Revista de Universidad y Sociedad del Conocimiento (RUSC), 10(2), 54-68. Recuperado de https://link.springer.com/article/10.7238/rusc.v10i2.1742
HECQ (Higher Education Compliance and Quality). (1997). Guidelines for Distance Education. London: HECQ.
Kirkpatrick, D. L. (2007). Evaluación de acciones formativas: los cuatro niveles. 3ra edición. Barcelona: Gestión 2000.
Marcelo, C. y Zapata, M. (2008). Cuestionario para la evaluación: “Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia". Metodología de uso y descripción de indicadores. RED, Revista de Educación a Distancia. Número monográfico VII, 1-31. Rcuperado de http://www.um.es/ead/red/M7/
Marciniak, R. (2016). Autoevaluación de programas de educación universitaria virtual (Tesis doctoral). Universitat Autònoma de Barcelona: Barcelona.
Marciniak, R. (2015). A methodological proposal for applying international benchmarking to evaluating the quality of higher virtual education. RUSC. Universities and Knowledge Society Journal, 12(2), 46-60. Recuperado de http://rusc.uoc.edu/rusc/ca/index.php/rusc/article/view/v12n3-marciniak/2650.html
Marciniak, R., y Gairín, J. (2017). Un modelo para la autoevaluación de la calidad de programas de educación universitaria virtual. RED. Revista de Educación a Distancia, 54. Consultado el (dd/mm/aaaa) en http://www.um.es/ead/red/54
Marshall, S. (2007). Development and Evolution of an E-Learning Maturity Model. Recuperado de http://www.cad.vuw.ac.nz/wiki/images/a/a9/2006EducaMarshalleMMAbstract.pdf
Masoumi, D. y Lindström, B. (2012). Quality in e‐learning: a framework for promoting and assuring quality in virtual institutions. Journal of Computer Assisted Learning, 28(1), 27‐41.
Mery, Y. y Newby, J. (2014). Online by Design: The Essentials of Creating Information Literacy Courses. Plymouth: Rowman y Littlefield.
Meza, J. (2012). Modelo pedagógico para proyectos de formación virtual. Bonn: GIZ.
OLC (Online Learning Consortium). (2011). The OLC Quality Scorecard for the Administration of Online Programs. Recuperado de https://onlinelearningconsortium.org/consult/olc-quality-scorecard-administration-online-programs/
Rushby, N. y Surry, D. 2016. Wiley Handbook of Learning Technology. New York, John Wiley and Sons.
Sarramona, J. (2001). Evaluación de programas de educación a distancia. RIED - Revista Iberoamericana de Educación a Distancia, 1(1), 1-24. Recuperado de http://revistas.uned.es/index.php/ried/article/view/1189
SEA (Stowarzyszenie e-learningu Akademickiego) [Asociación de E-learning Académico de Polonia]. (2010). Kryteria oceny kursu/programu e-learningowego [Criterios de evaluación del curso/programa virtual]. Recuperado de http://www.sea.edu.pl/kryteria/?page=obszary
Shattuck, K. (2014). Assuring Quality in Online Education: Practices and Processes at the Teaching, Resource, and Program Levels. Sterling: Stylus Publishing, LLC
UW (University of Wisconsin). (2008). Logic Model. Recuperado de http://fyi.uwex.edu/programdevelopment/logic-models/
Zapata-Ros, M. (2015). Calidad en enseñanza abierta online universitaria: del aula virtual al MOOC. Campus Virtuales, 4(2), 86-107. Recuperado de https://issuu.com/revistacampusvirtuales/docs/7
Zapata-Ros, M. (2006). Distintas formas de intervenir en la distancia y en el eLearning Los modelos de calidad. RED. Revista de Educación a Distancia, núm. 16, 1-5. Recuperado de http://revistas.um.es/red/article/view/24231/23571
Zhang, W. y Jiang, L. (2012). Quality Assurance in E-Learning: PDPP Evaluation Model and its Application. The International Review of Research in Open and Distance Learning, 13(3), 66-82. Recuperado de http://www.irrodl.org/index.php/irrodl/article/view/1181