Kitabı oku: «Indicadores de calidad en educación superior»

Capítulo 1
Indicadores de calidad en educación superior: Un debate abierto

El problema que se abordó para realizar esta investigación está relacionado con la necesidad de disponer de un sistema de indicadores de calidad para evaluar y mejorar programas académicos colombianos de administración de empresas. Al respecto es preciso anotar que los indicadores que se usan actualmente en Colombia fueron propuestos por el CNA en los lineamientos de la acreditación para programas 2006; sin embargo, estos se perciben como desconectados o independientes, sin evidenciar sus mutuas interdependencias o influencias mutuas. Asimismo, se observa la combinación de indicadores esenciales con otros considerados triviales o inútiles, sin jerarquización o sin énfasis en indicadores cruciales como los de investigación y responsabilidad social universitaria (Cruz, 2009). También se ha señalado que estos indicadores fueron construidos sin suficiente participación de los principales actores universitarios (Misas, 2004), o que resultan excesivos debido a que complican la percepción (Aneca, 2005), desaniman a los actores (Scheele, 2009) y producen ruido (Schepelmann, 2007). Además, se han considerado descontextualizados y sin relación con las buenas prácticas de acreditación (Cruz, 2009), ni con los resultados en las pruebas ECAES o Saber Pro (Rudnykh, 2007; Bagamery, Lasik y Nixon, 2005).

De manera que la carencia de un sistema de información con datos relevantes obtenidos de indicadores cruciales hace difícil el monitoreo o seguimiento a la evolución y el mejoramiento de la calidad de los programas académicos en educación superior. Además, así se dificultan la toma de decisiones, la transparencia y el mejoramiento. Por consiguiente, se consideró identificar, analizar y proponer un sistema de indicadores asociados a los resultados en los exámenes ECAES y a buenas prácticas en acreditación con miras a contribuir a mejorar la calidad de los programas universitarios de administración y su correspondiente responsabilidad y compromiso social.

En este orden de ideas se evidencia que la mayoría de las IES colombianas carecen de información de calidad expresada en un sistema de indicadores esenciales y en un marco de referencia sistémico3, emergente y alternativo al estructuralista y funcionalista, que les permita una adecuada medición, análisis y evaluación para mejorar la calidad de los programas académicos, así como los resultados de las pruebas ECAES, su certificación, la acreditación y el impacto social y económico. Esta realidad afecta la calidad de la educación superior que se les ofrece a los estudiantes de las regiones y a la sociedad entera por cuanto se están formando profesionales con serias deficiencias en los procesos académicos y de investigación, que no se detectan o cuantifican de manera apropiada a través de indicadores que permitan tomar mejores decisiones. En consecuencia, hay una clara necesidad de contar con un sistema de indicadores de calidad asociado a los mejores resultados en las pruebas estandarizadas ECAES y a los aportes de la acreditación de alta calidad, que se constituya en fuente de información importante para mejorar el aprendizaje de los estudiantes, la evaluación de programas y la responsabilidad social pública universitaria en Colombia.

Frente a la situación de la educación superior colombiana es claro que se requiere mejorar la calidad, y para este propósito resulta muy importante configurar un sistema de indicadores cruciales de desempeño. En el contexto de los Estados Unidos, Banta y Borden (1994) mencionan que los indicadores de desempeño derivan su significación de su habilidad para relacionar efectos (outcomes) con propósitos y procesos, y de este modo plantean que “un propósito claro es esencial para el éxito de un sistema de indicadores de desempeño”. Estos autores consideran que una pregunta esencial para configurar un sistema de esta clase es: ¿cómo serán usados los indicadores?

En el presente libro el propósito de los indicadores es mejorar el aprendizaje como principal expresión de la calidad de un programa en educación superior. También se asume que al mejorar el nivel de aprendizaje aumenta la responsabilidad social universitaria pública y su pertinencia. En este sentido, Banta y Borden (1994), ahora frente al contexto europeo, señalaron que los académicos no eran capaces de identificar indicadores con capacidad para satisfacer, en esa época, el doble propósito de responsabilidad social pública universitaria y mejoramiento, algo que podría plantearse hoy para América Latina en general y para Colombia en particular.

Borrero (2001), refiriéndose a los sistemas de evaluación y acreditación, afirma que

En todos ellos subsiste la dificultad de precisar los indicadores de desempeño que no obedezcan a reducidos y estrechos criterios ni pequen por ser de tendencias cuantitativas más que cualitativas; que sean inmunes a prejuicios y componendas —como acontece con los rankings de reputación— y adaptables a cada medio cultural, y que garanticen suficiente validez y credibilidad más allá de los linderos regionales y nacionales (p. 44).

Chacón, Pérez-Gil, Holgado y Lara (2001) por su parte señalan que se ha “avanzado poco en el desarrollo de sistemas de información sobre las universidades, no encontrándose una metodología evaluativa ni objetiva, ni sistemática” (p. 295). Para ellos es necesario evaluar y medir la calidad mediante sistemas de indicadores válidos y fiables “con el objetivo de orientarse hacia la mejora continua” (p. 295).

Según Carot (2011)4,

La sociedad demanda información y por tanto hay que proporcionársela, pero una información adecuada, sin sesgos, adaptada a los perfiles y objetivos de cada institución y que finalmente valore la calidad dentro de cada perfil, dentro de cada área y dentro de cada entorno. Es un objetivo complicado, pero absolutamente necesario en una sociedad de la información y en un mundo globalizado. No es posible avanzar en un Área Común de Educación Superior ni en Europa ni en América Latina ni entre los dos continentes si no hay herramientas transparentes de información (p. 25).

En este sentido, Colombia ha estado mejorando a través del Sistema Nacional de Información en Educación Superior (SNIES), aunque todavía requiere avances en cuanto a brindar información detallada y específica sobre la calidad de los programas académicos ofrecidos a los estudiantes colombianos. Es importante mencionar, por ejemplo, que el SNIES no presenta indicadores de calidad específicos de los programas académicos; por lo tanto, la presente investigación asume que en las universidades colombianas la información relevante es escasa, desconocida o pobremente analizada. Además, dichos indicadores no se han interconectado sistémicamente ni relacionado con las perspectivas de actores universitarios claves, y tampoco se han asociado con los resultados que se obtienen en las pruebas ECAES ni con otros requisitos, buenas prácticas de gestión y acreditación, procesos y resultados que puedan dar cuenta de la calidad de las IES.

Tanto en la perspectiva de Cleary (2001) como en la de la Norma ISO 9000 (2005), una IES es de calidad cuando ofrece programas académicos de calidad identificados a través de indicadores esenciales y cruciales de su realidad. Al respecto puede apreciarse por ejemplo la definición dada por la Norma ISO 9000 (2005) a “Evidencia objetiva: Datos que respaldan la existencia o veracidad de algo” y a “Validación: Confirmación mediante el suministro de evidencia objetiva de que se han cumplido los requisitos para una utilización o aplicación específica prevista”.

En suma, mejorar la calidad es optimizar el aprendizaje, la creatividad y la capacidad de innovación de los estudiantes, así como el desempeño de los profesores y la calidad de vida de los actores universitarios y sociales. Este mejoramiento puede sintetizarse y apreciarse en indicadores de calidad de los programas académicos, en los resultados de las pruebas ECAES5 y en el logro de la acreditación.

Las características a través de las cuales se expresa la calidad de los programas académicos de pregrado en la educación superior colombiana se pueden reflejar en indicadores cualitativos y cuantitativos. Es posible relacionar estos, por un lado, con los insumos, los procesos, los productos o los resultados, los efectos y los contextos, según la perspectiva del modelo CIPP de Stufflebeam, o con el aprendizaje, los procesos, los clientes y las finanzas, de acuerdo con el modelo balanced scorecard de Kaplan y Norton (2001). Además, los indicadores pueden ser usados por los directivos de los programas para mejorar su calidad en términos del aprendizaje que se genera en el programa académico.

Por las razones señaladas, la investigación que dio origen a este libro asumió que los indicadores de planeación, enseñanza, aprendizaje, investigación, gestión, proyección social, bienestar universitario, internacionalización y recursos de los programas colombianos de pregrado en administración de empresas no se encuentran interconectados. Asimismo, se supuso que estos no están asociados a buenas prácticas educativas, experiencias en acreditación de alta calidad y resultados satisfactorios en las pruebas ECAES y Saber Pro que permitan mejorar la evaluación y la calidad en beneficio de los estudiantes, sus familias y el desarrollo social y económico de Colombia.

En ese orden de ideas, es preciso anotar que los indicadores que se utilizaron como guías o lineamientos en los procesos de autoevaluación y acreditación por alta calidad propuestos en el año 2006 por el CNA en Colombia fueron referentes desconectados6, con insuficiente definición, evaluación, jerarquización, validación y articulación dentro de un sistema de información. Adicionalmente, en ellos se mezclaban indicadores cruciales, prioritarios o esenciales para el mejoramiento de la calidad con indicadores secundarios, triviales o inútiles que opacaban a los primeros, e incluso estos también eran percibidos como descontextualizados por cuanto ignoraban las diversas condiciones del ambiente interno y externo en el que operan los programas en un país multicultural como el colombiano, donde en muchas ocasiones los directivos (rectores, vicerrectores, decanos y miembros de consejos directivos o máximos órganos de gobierno) no cuentan con una suficiente preparación en gestión7. Sin embargo, los indicadores tenían un valor relativo en el análisis de la calidad de los programas, por lo cual la solución no era eliminarlos, como ocurrió en la versión 2013 de los lineamientos del CNA, sino mejorarlos, jerarquizarlos y conectarlos en un sistema de indicadores cruciales.

Desde la perspectiva del CNA existen, dentro de los 183 indicadores referidos a 42 características y ocho factores, algunos que son esenciales o centrales8 a la característica a la que están asociados y otros que son complementarios. La tabla 1 muestra el número de factores, características e indicadores en los lineamientos de acreditación del CNA de 2006.

Tabla 1. Número de indicadores y características por factor del CNA

Fuente: elaboración propia. Información tomada de CNA (2006).

Es claro que no todos los 183 indicadores del CNA son considerados cruciales, relevantes y esenciales para el mejoramiento de la calidad expresada en mejores resultados en los ECAES y para el impacto de la acreditación en el desempeño de los estudiantes. No obstante, no se pudo establecer tal distinción entre los de mayor jerarquía y los secundarios o incluso triviales o inútiles, a pesar de que esta claridad permitiría a los directivos, docentes y estudiantes de los programas académicos tomar mejores decisiones ya que podrían dedicar más tiempo y recursos a lo esencial y menos tiempo a lo trivial (principio de Pareto), lo que incidiría significativamente en el aprendizaje, el desarrollo de competencias, el mejoramiento de la responsabilidad social pública, los resultados en los ECAES o Saber Pro y el mejoramiento de la calidad de la educación superior y la calidad de vida de los profesionales colombianos.

Los indicadores del CNA de 2006 fueron determinados de manera preestablecida, habiéndose estudiado parcialmente la situación real de los programas académicos sin avanzar en los últimos años en su revisión, evaluación, ajuste o replanteamiento hacia indicadores pertinentes para la época (siglo XXI). A su vez, no hubo participación profunda de los actores universitarios claves, por ejemplo, en cuanto a los indicadores que conducen a mejores resultados en las pruebas ECAES o a los que generan personas más éticas y con proyectos de vida cimentados y consolidados desde los programas de pregrado. En consecuencia, esta investigación cobra un importante sentido, que, de todos modos, no desconoce la relevancia de la propuesta del CNA.

Según Misas (2004):

La construcción de un conjunto de indicadores sobre la calidad de la educación superior en Colombia debe ir acompañado de una amplia discusión, dentro de las universidades y demás establecimientos de la educación superior, sobre los conceptos de calidad y de eficiencia del quehacer universitario que permita cimentar las bases para crear una cultura de la evaluación del trabajo docente e investigativo (p. 47).

La discusión amplia que plantea Misas (2004) no ocurrió para el caso de los 183 indicadores propuestos por el CNA en el 2006. Ahora bien, en el caso de los lineamientos elaborados y presentados por el CNA en el 2012, se realizaron algunos eventos de carácter informativo durante el año, en diferentes regiones del país, donde además escucharon algunos puntos de vista que condujeron a la incorporación de los indicadores a los aspectos, aumentando el número de indicadores-aspectos a más de 200.

Corvalán (2000) señala que

El estado de desarrollo de los indicadores en educación es aún incipiente, aunque se está avanzando en forma más integral, más participativa y a mayor velocidad que en la década pasada. Se están superando las dificultades encontradas para concebir y construir y usar indicadores comparables en ese campo. Hay mayor voluntad política para desarrollarlos (p. 160).

En relación con el número de indicadores, Scheele (2009) manifiesta que “se supone que el número de estándares e indicadores no puede ser demasiado grande para no desanimar a las instituciones en su decisión de mantener un sistema efectivo de aseguramiento de la calidad” (p. 13). Así pues, los 183 indicadores del CNA de Colombia resultan excesivos al compararlos con los 38 de España, los 12 propuestos por Cruz (2009), los 40 de Sudáfrica, los 52 de Egipto, los 27 deen India, 68 en México, 24 en los Países Bajos y 27 de la Global University Network for Innovation (GUNI). Frente al número excesivo de indicadores, “el CNA invita a las propias instituciones y a las asociaciones de Facultades, a elaborar y precisar indicadores más específicos” (CNA, 2006, p. 5), es decir, a identificar los que son realmente cruciales para cada tipo de programa académico. En varios apartados del documento de lineamientos del CNA se insiste adicionalmente en que las instituciones construyan sus propios indicadores para evaluar las características de calidad de los programas de pregrado según su naturaleza.

Luhmann, citado por Schepelmann (2007), afirma:

Una característica constituyente de la diferenciación funcional es la selección funcional de información. Solamente la información relevante a la función de un sistema diferenciado es seleccionada. Cualquier otra información es ruido innecesario, que disminuye la eficiencia definida funcionalmente de un sistema y en consecuencia necesita ser suprimida (p. 5).

Según la Agencia Nacional de Evaluación de la Calidad y Acreditación de España (Aneca, 2005):

La generación de una multitud de índices no supone, necesariamente, la obtención de una imagen más completa de la realidad, sino que más bien suele complicar la percepción de la misma. Es preciso por tanto llevar a cabo una clasificación de aquellos indicadores que proporcionen la información relevante. […] Para poder llevar a cabo esta selección, el sistema debe estar presidido por un marco estratégico que constituya la guía básica que determine cuáles son los principales objetivos a alcanzar y cuáles las mejores medidas de su logro (p. 440).

De manera que, en resumen, un número excesivo de indicadores trae consecuencias negativas para la evaluación y el mejoramiento de la calidad educativa universitaria por cuanto complican las percepciones de los actores universitarios (Aneca, 2005), los desaniman (Scheele, 2009) y producen ruido innecesario que disminuye la eficiencia del sistema (Luhmann, citado por Schepelmann, 2007).

Asimismo, según Aneca (2010):

En la actualidad es ineludible revalorizar el papel de la información como instrumento para la toma de decisiones en el ámbito universitario. Sin un conocimiento profundo de la realidad actual es difícil orientar con eficiencia las actuaciones de mejora de las instituciones. […] La información es un instrumento de sensibilización que promueve la autocrítica y contribuye a aprovechar la capacidad de autorregulación del sistema universitario. Con ello se fortalece, al mismo tiempo, la autonomía universitaria y el necesario rendimiento de cuentas a la sociedad. […] La selección de un número reducido de indicadores pretende que la reflexión de las Universidades sobre sus enseñanzas se concentre en unos pocos elementos críticos comunes a todos los títulos. Ello sin menoscabo de otros datos, derivados de la implantación de los sistemas de garantía de la calidad de los títulos, en los que las Universidades pueden fundamentar dicha reflexión (pp. 105-106).

En este orden de ideas, la presente investigación adopta la necesidad de seleccionar un número reducido de indicadores críticos o cruciales para que la reflexión se concentre en unos pocos elementos críticos comunes, es decir imprescindibles y vitales.

Por otra parte, no se han producido, identificado, analizado ni propuesto indicadores asociados a los resultados de las pruebas ECAES creadas mediante el Decreto 1781 de junio 26 de 2003. Según Rudnykh (2007) y Rudnykh y Barraza (2009), la información resultante de su implementación ha sido poco analizada desde una perspectiva global, a pesar de que es muy valiosa para evaluar y mejorar la calidad y tomar decisiones en relación con el uso de indicadores claves.

El Decreto 3963 de octubre de 2009 convirtió los ECAES en pruebas obligatorias para estudiantes que hayan completado el 75% de sus estudios y definió, entre otros, los siguientes objetivos:

b) […] proporcionar información para la comparación entre programas, instituciones y metodologías, y mostrar su evolución en el tiempo. c) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que fomenten la cualificación de los procesos institucionales y la formulación de políticas, y soporten el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo (p. 1).

Según lo anterior, en los objetivos de los ECAES queda clara su relación con la construcción de indicadores de valor agregado y el suministro de información para la evaluación de la calidad de los programas, su evolución y la comparación entre ellos.

La relación entre indicadores de los programas y los resultados en ECAES de Colombia no se ha investigado y en consecuencia es preciso conocerla con mayor profundidad. Sin embargo, puede afirmarse que la ausencia de un sistema de indicadores está impidiendo que la sociedad colombiana evalúe y mejore de manera pertinente y justa la calidad de la educación superior. Es posible que no se estén detectando tanto los aciertos como las deficiencias en los procesos de planeación, enseñanza, aprendizaje, investigación, gestión, bienestar universitario y compromiso social que permitan tomar mejores decisiones dentro de los programas académicos para entregar a la sociedad profesionales con mejores competencias y aprendizajes reflejados en los resultados ECAES, así como con mayor y mejor preparación e idoneidad para transformar favorablemente las condiciones sociales, políticas y económicas de la nación.

Toda esta problemática enunciada se suma al vacío existente en la literatura de un sistema alternativo de indicadores cruciales para evaluar y mejorar programas universitarios colombianos en administración. Así pues, y dado que las instituciones sólidas se construyen de abajo hacia arriba, es decir, a partir de sus actores protagonistas y de sus bases o pilares, es importante investigar, desde las perspectivas de los egresados, directivos, profesores y pares evaluadores, cuál es el sistema de indicadores de calidad asociado a los resultados de ECAES 2004-2010 y a los aportes de acreditación por alta calidad teniendo como referente principal la siguiente tesis: Un sistema de indicadores de calidad basado en la comprensión de los factores fundamentales que determinaron los resultados de las pruebas estandarizadas ECAES 2004-2010, aportes de la acreditación de alta calidad en cuanto a indicadores, y perspectivas de egresados, directivos, profesores y pares evaluadores, contribuye a mejorar el aprendizaje, la evaluación y la calidad de los programas universitarios en administración de empresas.

3. El marco de referencia que existe no es sistémico, tipo balanced scorecard o cuadro de mando integral, pues se trata de una lista de 183 indicadores que no muestra las interacciones o conexiones que existen entre ellos o, en caso de que se haga, se trataría de una racionalidad sistémica clásica o tradicional desconocida por el autor de esta investigación .

4. Director del proyecto de creación de un sistema integral de indicadores para América Latina.

5. Existe un debate mundial sobre si las pruebas estandarizadas tipo ECAES o Saber Pro en Colombia, o SBER en Estados Unidos, reflejan niveles de calidad y hasta qué punto lo hacen. Después de examinar los pros y los contras es posible concluir que los primeros son significativos en cuanto a la información que proveen para mejorar los niveles de aprendizaje, metodologías de enseñanza, actualización de contenidos y otras decisiones relacionadas con el desempeño de los egresados en las áreas curriculares de estudio de sus programas académicos. Por lo tanto, en esta investigación se consideran los resultados en ECAES 2004-2010 como un referente de especial importancia.

6. Desconectados por cuanto fueron propuestos como listas de indicadores asociados a aspectos y características sin evidenciar las relaciones o interacciones que podrían existir entre ellos.

7. En relación con los perfiles de los directivos de las IES, Restrepo, Trujillo y Guzmán (2012) manifiestan que “Una clara definición de los perfiles de aquellos cargos determinantes para el éxito de las IES constituye una necesidad apremiante: es necesario profesionalizar aún más la administración de la educación superior en Colombia”. En relación con los perfiles de cargos mencionan que deben establecerse “unos mínimos respecto a la formación específica para la administración de las IES, así como reclamar una experiencia que garantice un conocimiento profundo” para “garantizar juicio moral y capacidad de asesorar, evaluar y discernir respecto a asuntos trascendentales de las IES”. Finalmente, hacen referencia a unos mínimos que “garanticen excelencia académica y profesional lo cual permitirá el establecimiento de una democracia más calificada y llevará a reemplazar elementos políticos de carácter nocivo por elementos meritocráticos”. Bajo una dirección o gestión de mayor idoneidad (así como no basta leer un manual de aviación para pilotar un avión, no es suficiente hacer un diplomado para dirigir una organización), competencia, formación, ética, moral y experiencia, los indicadores resultan trascendentales como medios para tomar mejores decisiones y realizar mejor monitoreo o seguimiento a planes, programas, proyectos, actividades y recursos.

8. “Los indicadores que construye la institución y con los que se quiere establecer el cumplimiento de cada una de las características han de apuntar, unos, a aspectos centrales de la característica, otros, a aspectos complementarios” (CNA, 2006, p. 52).

Capítulo 2
Razones que justifican investigar en indicadores de calidad en educación superior

La investigación en indicadores de calidad en educación superior proporciona beneficios para directivos, estudiantes y profesores ya que desde ella se puede proponer un sistema de indicadores cruciales para evaluar y mejorar la calidad de programas colombianos de pregrado y para optimizar además los indicadores existentes. Este sistema a su vez permite identificar el grado de calidad alcanzado por los programas académicos mediante la valoración de indicadores cualitativos y cuantitativos. Adicionalmente, aporta conocimiento para tomar decisiones de acuerdo con la magnitud de los indicadores y permite emprender acciones correctivas, preventivas y de mejoramiento que soportan o apoyan el logro de la acreditación por alta calidad, la certificación ISO 9001 y, en consecuencia, una mayor responsabilidad social pública de las IES.

Para medir o evaluar los procesos que hacen parte de los programas académicos, tanto desde la perspectiva de la autoevaluación como desde la de acreditación del CNA y certificación con la Norma ISO 9001, es necesario utilizar indicadores que permitan enfocar la mirada hacia aspectos relevantes, críticos, pertinentes y necesarios que favorezcan la toma de decisiones y el mejoramiento de la calidad en educación superior, expresada entre otras medidas por los resultados de las pruebas ECAES. Estos indicadores no pueden ser excesivos, reduccionistas, desenfocados, ni irrelevantes; tampoco pueden dejar de reflejar o medir lo que es esencial. Por lo tanto, es necesario integrar lo normativo en calidad en cuanto a sistema y sus procesos con la práctica y la cultura de la calidad en las instituciones educativas mediante un sistema de indicadores conveniente, pertinente, adecuado y eficaz.

Un sistema de indicadores cruciales permite comprender mejor los programas académicos de pregrado en la educación superior colombiana y emplear metodologías o acciones para optimizarlos. En esta investigación se profundiza cómo se perciben los indicadores de calidad de los programas académicos de pregrado en administración desde la subjetividad de egresados, profesores, directivos y pares evaluadores.

Corvalán (2000), por ejemplo, menciona la situación crítica de la investigación en América Latina y el Caribe y subraya la necesidad de disponer de indicadores claves en materia de educación, investigación, ciencia y tecnología. En palabras de este autor, “es preciso crear un marco conceptual adecuado y amplio sobre el impacto social de la educación que permita el diseño conceptual y metodológico de indicadores pertinentes y factibles de construir” (p. 160).

En relación directa con los indicadores de calidad, Corvalán (2000) señala que:

La preocupación principal de las actuales políticas de educación se centra en asegurar su calidad y equidad en una concepción amplia y diversa. No obstante, su medición está aún poco explorada. Lo que comúnmente se considera dentro de esta categoría es el logro académico expresado como resultados de pruebas estandarizadas y comparables (p. 152).

El autor también afirma además que “La multiplicidad de iniciativas de generación de indicadores da cuenta del actual interés en el tema tanto de parte de los países como de los organismos internacionales” (Corvalán, 2000, p. 157). Este interés no es gratuito o simplemente instrumental, sino que corresponde a una necesidad imperiosa de información y conocimiento relevante, cierto y sintético que dé cuenta de lo que está ocurriendo en la educación. Con dicho fin, “los sistemas de estadística e indicadores educativos internacionalmente comparables deberían dar cuenta tanto del funcionamiento y desempeño del sistema educativo como del impacto de la educación en la sociedad” (p. 150).

Según Gutiérrez (2009), los indicadores son importantes para el proceso de conocer un fenómeno ya que posibilitan una teorización del objeto de estudio, permiten definir metodologías pertinentes para su estudio y representan la determinación de unidades de medición a partir de los contenidos teóricos del objeto. Igualmente, este investigador destaca la importancia de los indicadores por cuanto la producción de nuevos conceptos o de la teoría resignificada (al modo propuesto por Zemelman) depende no solo de los datos, sino de la reflexión que se hace de los resultados producto de la medición de los indicadores (p. 28). En sus palabras,

La cuestión de los indicadores en ciencias sociales constituye un problema fundamental en el proceso de generar explicaciones y conocimientos sobre fenómenos que se dan en el acontecer social […] los indicadores adquieren un sentido y una función de conocimiento, además de su utilidad como elementos para la medición y cuantificación (p. 23).

La importancia de los indicadores para la teorización, la resignificación y la relación de lo empírico con lo teórico, en forma de círculo hermenéutico virtuoso, es descrita magistralmente por Gutiérrez (2009) en los siguientes términos:

Los indicadores representan la apertura a lo indeterminado, a lo dándose, a la posibilidad de nuevas teorizaciones sobre y a partir de la información, datos y elementos empíricos producto de la aplicación de metodologías; es decir, teorizar a partir de los resultados de la medición, el análisis y sistematización de los indicadores. Esto es, pasar de lo abstracto a lo concreto y elevarse a lo abstracto, produciendo nuevos conceptos, resignificándolos (pp. 27-28).

Los indicadores tanto cuantitativos como cualitativos se utilizan para la comprensión y el análisis de características presentes en las categorías u objetos de estudio. Siguiendo con Gutiérrez (2009):

Los indicadores permiten mediciones matemáticamente precisas o análisis cualitativos, en tanto que lo que se mide o analiza, el dato o la opinión, tendencia, actitudes, etcétera, se plantea a partir de los indicadores. En otras palabras, lo que se cuantifica y analiza son los indicadores. […] Los indicadores le aportan orden al proceso de producir información y datos. Es decir, la realidad empírica se reconstruye a partir de los indicadores. Entonces hay una conexión epistemológica y metodológica entre lo abstracto-concreto, teórico-empírico al momento de reconstruir la realidad en su modo morfológico de presentarse. Esta es otra razón para destacar la importancia de los indicadores en el proceso de construir conocimiento (p. 27).

Los indicadores le aportan orden al proceso de producir información y datos con los cuales se toman decisiones de mejoramiento. Su éxito depende entonces de una adecuada definición, estructuración, validación, análisis y uso. Este manejo de la información mediante indicadores sistémicos se constituye entonces como un valioso aporte en las actividades y metodologías de autoevaluación, acreditación y certificación de la calidad en educación superior.

Gutiérrez (2009) afirma que “Necesariamente habrá que ver, entonces, a los indicadores y su construcción desde una lógica de ruptura-reorganización del pensamiento del sujeto” (p. 27). Esta ruptura-reorganización es importante para resignificar indicadores pues, si no existe, se caería en una situación conformista en la cual lo que existe como indicadores del CNA es “bueno” y no habría nada que mejorarles. Por supuesto que tal posición negaría o invalidaría la realización de cualquier investigación y llevaría a considerar lo existente como dogmatismo en contra de los estudiantes y de la sociedad en general, que espera una educación superior reflejada en indicadores cruciales y sistémicos. No obstante, tampoco se trata de anular las ventajas que tienen los indicadores del CNA y, desde una posición sectaria, ignorar sus bondades.

En síntesis, Gutiérrez (2009) plantea que los indicadores son importantes y útiles para: 1) conocer un fenómeno; 2) crear teorías, generar explicaciones y conocimientos o producir nuevos conceptos; 3) desarrollar metodologías; 4) determinar unidades de medición, cuantificación y cualificación; 5) reflexionar para teorizar sobre los resultados de la medición de los indicadores; 6) abrir perspectivas hacia lo indeterminado, a lo dándose, a la posibilidad de nuevas teorizaciones; 7) realizar mediciones matemáticamente precisas o análisis cualitativos; 8) dar orden al proceso de producir información y datos relevantes, y 9) reconstruir la realidad empírica. Adicionalmente, manifiesta que la construcción de indicadores requiere una lógica de ruptura-reorganización del pensamiento para lograr resignificación.

Precisamente la investigación descrita en este libro también se justificó por la necesidad de resignificar los indicadores con los cuales se evalúa la calidad de los programas académicos de pregrado en Colombia. Al respecto Misas (2004) afirma:

Infortunadamente, en Colombia la experiencia existente en construcción de indicadores de calidad para la educación superior es muy reducida, tanto por el limitado número de trabajos llevados a cabo sobre el tema como por la baja calidad de los mismos. Se hace necesario, a mediano plazo, construir un conjunto de indicadores sobre la calidad de la educación superior, dada su importancia para el futuro del país; […] un país claudica cuando sus universidades no representan instituciones de excelencia (p. 47).

Desde otro punto de vista, la investigación en indicadores de calidad de programas académicos en educación superior se justifica por las dificultades que se presentan en las IES en el momento de entender los indicadores, la elaboración de sus fórmulas cuando son indicadores cuantitativos, el establecimiento de sus metas y el análisis que permita su mejoramiento.

En términos prácticos, los indicadores contribuyen a mejorar la calidad y el desempeño de las organizaciones y, en consecuencia, el nivel de la calidad de sus procesos y resultados. Dicho mejoramiento ocurre por cuanto la definición, la medición, el análisis y la optimización de indicadores permite establecer prioridades y enfocarse en lo importante en organizaciones en las que por lo general hay excesiva información de situaciones, fenómenos y eventos que impiden diferenciar lo trivial de lo esencial.

Por lo demás, Fontalvo y Vergara (2010) indican que

Para que las organizaciones mantengan una ventaja competitiva es necesario contar con unos indicadores que permitan establecer la medida de la calidad en los servicios suministrados. Pero medir la calidad en los servicios no es fácil, por lo que la correcta gestión de la calidad del servicio consiste en saber medirlo. Para esto es importante apoyarse permanentemente en la retroalimentación del servicio prestado […] en la que los efectos generen información sobre las causas; de esta forma existirá retroacción entre acción y conocimiento en la prestación del servicio (p. 25).

Siguiendo esta línea, el presente libro también se justifica por la necesidad de conocer la retroalimentación que pueden entregar los propios actores universitarios y mantener relaciones de cooperación, para lo cual se requieren indicadores que permitan establecer la medida de la calidad de programas académicos. Igualmente, mediante los indicadores es posible hacer un manejo racional de los recursos y alcanzar con mayor efectividad los propósitos, lo cual genera mayor armonía, responsabilidad y bienestar entre los miembros de la organización y sus beneficiarios, mientras se obtiene mayor progreso individual y colectivo.

Dentro de los argumentos institucionales9 que dan cuerpo a esta investigación se encuentra que, después de 16 años de aplicación de los lineamientos para la acreditación del CNA, el principal escollo en términos de apreciación del estado real de la calidad de los programas académicos de educación superior podría ser la ausencia de información asociada a indicadores cruciales de cumplimiento, eficiencia, eficacia, efectividad, impacto, contexto y calidad. En consecuencia, este trabajo profundiza en el conocimiento que sobre indicadores de calidad tenemos en la educación superior colombiana.

Además, desde la perspectiva institucional trazada por el plan decenal de educación (2008-2017) y el plan de gobierno 2010-2014, donde los avances en la calidad de las instituciones de educación son una de las prioridades para el mejoramiento de la calidad de vida de la población colombiana, resulta preciso poder diagnosticar con indicadores cruciales la situación en la materia como punto de partida. La calidad ocurre de manera concreta dentro de cada programa académico y dentro de cada área académica de cada institución educativa, por lo cual es sine qua non el uso de un sistema de indicadores cruciales o esenciales, cuantitativos y cualitativos, que en la actualidad no existe en Colombia y que se da como producto de la presente investigación.

Como un argumento desde el punto de vista institucional, Carot (2011), director del reciente proyecto sobre creación de un sistema integral de indicadores para América Latina, señala que un sistema de indicadores

Pretende dar respuesta a una demanda social cada vez más creciente: la necesidad de transparencia y de información sobre cómo son y qué hacen las Instituciones de Educación Superior en las que una familia va a enviar a su hijo o hija, o de las que un empleador va a contratar un egresado (p. 25).

Cruz (2009) por su parte enfatiza la importancia de los indicadores para dar cuenta del compromiso social de las universidades al indicar que

Los criterios e indicadores son la piedra angular de los procesos de acreditación. Sobre ellos se construye todo un sistema, no solo el de garantía de la calidad, sino también el de educación superior. Un sistema de criterios e indicadores inadecuados traerá consigo un sistema de educación superior de baja calidad y por tanto inadecuado para solventar las necesidades sociales. En conclusión, será un sistema de educación superior NO pertinente que habrá dejado de lado su compromiso social (p. 161).

La calidad de la educación superior en un país es consecuencia de lo que ocurre en cada una de sus instituciones. Al respecto, Cleary (2001) menciona:

Los indicadores de desempeño pueden ayudar a que una institución identifique problemas, diseñe soluciones, mejore los programas y servicios, ejerza influencia política, y haga cambios en la política organizacional. El uso sumativo de indicadores de desempeño puede ayudar a dar evidencia de la calidad de una institución, la dirección de fondos públicos, y el nivel de efectividad a legisladores, organismos de acreditación, agencias del Estado, estudiantes, padres, egresados, donantes y el público en general. Los indicadores de desempeño también pueden asistir en la toma de decisiones estratégicas. Sin embargo, ellos no son substitutos de juicios de expertos quienes están íntimamente involucrados en las operaciones diarias y en la Administración de los campus. Los indicadores son señales de calidad, no medidas estadísticas absolutas (pp. 19-28).

Adicionalmente, Cleary (2001) manifiesta que, cuando los sistemas de indicadores de calidad son diseñados y usados efectivamente, los profesores y administradores pueden usarlos para fortalecer y probar el valor de sus programas y construir políticas.

En un sentido similar, Borden y Botril (1994) afirman que, si los indicadores son cuidadosamente construidos y coordinados en las IES, pueden ser usados para enfocar y fortalecer los esfuerzos de mejoramiento de una organización, ayudando a comunicar una misión y unos objetivos institucionales comunes entre sus unidades constituyentes y a reducir la complejidad a proporciones manejables, sin perder de vista la amplitud de los servicios ofrecidos y sus efectos. Asimismo, los indicadores de desempeño comunican las prioridades institucionales y establecen estándares para el desempeño y la responsabilidad social.

La formación de profesionales de calidad es un asunto de responsabilidad y compromiso social de parte de los programas académicos existentes en las IES y de confianza por parte de la sociedad en el trabajo realizado dentro de los procesos educativos para que la educación brindada sea eficaz en los resultados requeridos. Estos procesos y resultados deben ser expresados en forma de indicadores cualitativos y cuantitativos, tal como lo han venido sugiriendo Borden y Botril desde 1994, y como luego lo reafirman y complementan Cleary en el 2001 y Cruz en el 2009. En especial, Cleary resalta la importancia de la utilización de los indicadores para el fortalecimiento de decisiones estratégicas.

Igualmente, como se mencionó en este capítulo, los indicadores son necesarios para el mejoramiento de la gestión y la calidad de la educación (Borden y Botril, 1994; Corvalán, 2000). Corvalán (2000), Misas (2004) y Cruz (2009) se refieren de manera explícita a indicadores de calidad, y sobre la necesidad de su construcción se pronuncian Misas (2004) y Gutiérrez (2009). En cuanto a la asociación o relación estrecha entre indicadores y sistemas de información, se encuentran posturas como la de Corvalán (2000), quien afirma que se necesita conocer qué está ocurriendo, y la de Gutiérrez (2009), que considera que los indicadores dan orden al proceso de producir información y datos relevantes. Asimismo, Fontalvo y Vergara (2010) manifiestan la necesidad de que los indicadores de efectos generen información sobre las causas que los produjeron, y Carot (2011) estima que un sistema de indicadores debe pretender dar respuesta a la necesidad de transparencia e información a la sociedad.

Cruz (2009) y Carot (2011) ya hacían referencia a la necesidad de un sistema de indicadores adecuados para que las universidades sean pertinentes, no dejen de lado su compromiso social y sean de alta calidad en función de las necesidades y expectativas de estudiantes, familia y sociedad. Por otro lado, Corvalán (2000), Gutiérrez (2009) y Fontalvo y Vergara (2010) resaltan la importancia de la medición de la calidad a través de los resultados de los indicadores, los cuales a su vez permiten crear teorías, generar explicaciones y conocimientos o producir nuevos conceptos.

Finalmente, la intención de este proyecto de contribuir al mejoramiento de la calidad de la educación superior a través de la configuración de un sistema de indicadores se enmarca en la perspectiva del Doctorado en Educación en el Contexto de la Calidad de Rudecolombia y la Universidad del Atlántico. Igualmente, la investigación representa una contribución para la línea de investigación en administración y desarrollo de los sistemas educativos del Doctorado en Educación de la Universidad del Magdalena. Además, este trabajo guarda relación directa con los cursos en 1) sistemas de autoevaluación, acreditación y aseguramiento de calidad de las instituciones educativas y 2) universidad y desarrollo, del plan de estudios del Doctorado de la Universidad del Magdalena. Así, es claro que la calidad educativa es uno de los ejes fundamentales del programa de doctorado tanto en la Universidad del Atlántico como en la del Magdalena.

9. El nicho o contexto institucional de la presente investigación corresponde a programas de administración de empresas de IES colombianas y a los organismos que guardan relación con su calidad y evaluación tales como el MEN, el CNA, Conaces y el ICFES.

Capítulo 3
Ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior

Como consecuencia del problema de investigación, la ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior, seguida por Sánchez-Quintero (2013) contribuyó a responder la siguiente pregunta:

¿A partir de la comprensión de las perspectivas de directivos, egresados, profesores y pares evaluadores en relación con las razones fundamentales que determinaron los mejores resultados en las pruebas ECAES 2004-2010 y la acreditación por alta calidad, además del análisis de los indicadores del CNA y las interacciones entre indicadores, ¿cuál es el sistema de indicadores cruciales que se requiere configurar para mejorar la calidad integral de los programas académicos en administración de empresas? (p. 41)

Posición teleológica de la investigación

Con la respuesta a la anterior pregunta, Sánchez-Quintero (2013) logró el objetivo general de:

Configurar un sistema de indicadores de calidad que potencialmente puede contribuir al mejoramiento de programas en administración de empresas10 a partir de la comprensión de los factores que determinaron los mejores resultados en las pruebas ECAES 2004-2010, la acreditación de alta calidad y las perspectivas de directivos, egresados, profesores y pares evaluadores. (P. 41)

Los objetivos específicos que permitieron el logro del objetivo general y se constituyeron como referentes metodológicos fueron:

1.Identificar y caracterizar los programas de administración de empresas colombianos que obtuvieron anualmente mejores resultados en el periodo 2004-2010 en la prueba estandarizada ECAES.

2.Elaborar una construcción conceptual sobre sistemas de indicadores de calidad en el contexto de la evaluación de programas de pregrado en administración de empresas.

3.Identificar, comprender y jerarquizar los indicadores más relevantes a partir del análisis de los 183 indicadores propuestos por el CNA.

4.Interpretar y comprender los aportes de la acreditación de alta calidad de cuatro programas acreditados en administración de empresas a la identificación de indicadores cruciales de calidad.

5.Interpretar y comprender las perspectivas de egresados, profesores y directivos de cinco programas y de tres pares evaluadores sobre los resultados obtenidos en las pruebas estandarizadas ECAES en el periodo 2004-2010 y su relación con indicadores cruciales que puedan dar cuenta de la calidad de cada programa.

6.Establecer las relaciones e interacciones entre indicadores cruciales que permiten configurar un sistema de indicadores de calidad a partir de los resultados en ECAES 2004-2010, las perspectivas de egresados, profesores, directivos y pares evaluadores, y los aportes en materia de indicadores de la acreditación de alta calidad de programas universitarios colombianos en administración de empresas.

Gracias a estos objetivos específicos se lograron en la investigación los siguientes resultados: una propuesta de sistema de indicadores cruciales para evaluar y mejorar la calidad de programas en administración de empresas; un nuevo marco conceptual de lineamientos en cuanto a indicadores para la acreditación de programas colombianos; una caracterización de programas colombianos en administración de empresas acreditados y con resultados favorables en pruebas estandarizadas colombianas ECAES 2004-2010; un análisis de los indicadores del CNA 2006; un estudio de propuestas de indicadores para la educación superior en el contexto de diferentes países, y un examen de los indicadores asociados a resultados en las pruebas ECAES 2004-2010 de programas de administración de empresas.

Posición ontológica de la investigación

La posición ontológica adoptada en la investigación, y que se ilustra en la figura 1, asume que la realidad es dinámica y cambiante en un continuum histórico y prospectivo, donde el presente es traducido o interpretado para poderse conocer y transformar y el conocimiento es comprensión personal, provisional, colectiva y dialéctica. Esta posición supone entonces que los programas académicos de pregrado en administración de empresas hacen parte de un escenario en permanente cambio, construido por actores que a su vez se transforman y que, a través de la historia y diferentes perspectivas y dimensiones, les van dando a sus actividades connotaciones de mayor o menor calidad según las decisiones que tomen a partir de los indicadores que conciban como cruciales y prioritarios.

En este contexto, los hechos y las características de los procesos y resultados son interpretados y traducidos en acciones que conducen al mejoramiento o al empeoramiento de la calidad educativa. Estas interpretaciones, asumidas por actores claves (stakeholders) o grupos de interés, se sostienen de manera provisional11, en forma personal o colectiva, y en ambientes democráticos o autocráticos. Así se posibilitan el progreso y la transformación en beneficio o perjuicio de todos los actores universitarios y de la sociedad en general.

Figura 1. Posición ontológica de la investigación

Nota: la figura que representa la realidad multidimensional es conocida en geometría algebraica como Calabi-Yau múltiple o Calabi-Yau espacio y es asociada a la teoría de cuerdas. Esta imagen de Calabi-Yau manifold apareció en la portada 2007 de Scientific American.

Fuente: elaboración propia.

Posición epistemológica de la investigación

Platón, en el libro V de La República, distinguía episteme (conocimiento) de doxa (opinión). Esta última era concebida como algo distinto del saber y con diferente potencia, mientras que la primera permitiría alcanzar sin engaño la verdad (“la esencia de las cosas”) y organizar el conocimiento caótico proveniente de los estímulos sensoriales para darle el logos u orden racional. Así pues, gracias a la epistemología como estudio del conocimiento científico, es posible complementar la doxa y el conocimiento cotidiano y común. Según Silva (2004), “La epistemología estudia los procesos según los cuales el ser humano obtiene el conocimiento de la verdad sobre ese mundo existente, así como el modo de evaluar la fiabilidad de dicho conocimiento” (p. 9).

Con los aportes de la epistemología el ser humano ha podido satisfacer sus intereses de construir, comprender, explicar y transformar la realidad a través de las ciencias. De acuerdo con González (2008), según la posición epistemológica que se aborde en una investigación, existirá una concepción particular de la realidad (ontológica) y se asumirá una manera de abordarla y crear conocimiento válido y validado, lo que a su vez determinará la teleología (fines), la axiología (valores), la metodología de investigación y el papel de la teoría en esta.

Dada la naturaleza simbólica e interpretativa de las categorías que se utilizaron en la investigación, el enfoque epistemológico más pertinente correspondió al hermenéutico cualitativo. Esta posición, que es posible considerar emergente y complementaria con otros enfoques, determinó las consideraciones metodológicas explicitadas en este apartado. Asimismo, sigue la línea del CNA (2006), el cual ratifica la naturaleza hermenéutica cuando expresa que “la evaluación de la calidad en el campo de la acreditación en Colombia implica un ejercicio complejo que, a pesar de apoyarse en indicadores cuantitativos y objetivos, no puede renunciar a su carácter cualitativo y hermenéutico” (p. 22). De esta manera se privilegia el conocimiento como interpretación o comprensión dentro de un contexto histórico e intersubjetivo.

Manteniendo esta posición epistemológica, la investigación logró expandir o ampliar los horizontes de comprensión de los indicadores de calidad sistémicos y cruciales que contribuyen al mejoramiento de los programas universitarios en administración. Como resultado, los horizontes del investigador se fusionaron con los de los autores examinados y con las perspectivas de los actores universitarios entrevistados.

Figura 2. Posición epistemológica hermenéutica

Fuente: elaboración propia.

Adicionalmente, se asumió que el conocimiento se crea por la comprensión provisional del sentido individual y colectivo, sistémico y dialéctico, que los actores de los programas académicos en forma intersubjetiva dan a su realidad y a su transformación. Es clave considerar que para ello se sirven de un lenguaje de indicadores que sintetiza los aspectos esenciales que dan significación a la calidad de su desempeño y, en consecuencia, a los procesos y a los resultados que obtienen a través del tiempo, bajo sus condiciones particulares en el contexto social, cultural, económico, histórico, tecnológico y político al cual pertenece cada programa académico, tal y como lo ilustra la figura 2.

Para la posición epistemológica y metodológica de esta investigación se adoptó un enfoque “perspectivista”, pues como bien lo plantea Gadamer, citado por Campos (1999): “ninguna interpretación podrá sobreponerse a otra en nombre de la verdad y, por tanto, una perspectiva no podrá ser nunca reflejo de una realidad objetiva” (pp. 8-9). Por esta razón se acudió al diálogo con múltiples perspectivas teóricas y con la experiencia de actores universitarios significativos, en busca de las perspectivas e interpretaciones más completas, éticas y creíbles de la realidad de los programas universitarios de administración. Asimismo, según Madison, citado por Schwandt (1994), en la hermenéutica ontológica12 el método es menos la aplicación de reglas y más la actividad de usar principios éticos para guiar la elaboración de interpretaciones en una situación concreta. En consecuencia, en esta investigación se asumió un compromiso ético y moral enmarcado por principios de honestidad, franqueza, integridad y transparencia.

Según Schwandt (1994), el círculo hermenéutico en la hermenéutica ontológica, de Heidegger, Gadamer y Taylor, es un requisito para la comprensión que da la conexión entre teoría y práctica. Siendo este el tipo de hermenéutica adoptado en esta investigación, los momentos del diseño partieron desde la realidad empírica de los programas de administración de empresas, la conceptualización de indicadores de calidad, la comprensión y jerarquización de los 183 indicadores del CNA y el entendimiento de los aportes de la acreditación de alta calidad en materia de indicadores, para luego comprender la praxis de egresados, directivos, profesores y pares evaluadores a través de sus perspectivas, hasta finalmente establecer las relaciones e interacciones de los indicadores relevantes que permitieron configurar un sistema para mejorar el aprendizaje de los estudiantes como mejor expresión de la calidad universitaria en un nuevo horizonte de comprensión.

Los momentos empíricos o prácticos y teóricos (abstractos) se realimentaron sucesivamente, lo que brindó mejores comprensiones debido a los datos que suministraron para el logro de los objetivos específicos y, en consecuencia, del objetivo general. En este sentido, la investigación consideró que tanto los datos empíricos como los abstractos tienen la misma importancia: los primeros se obtuvieron a través de entrevistas y de la vivencia personal y experiencial del autor como profesor y directivo universitario, mientras que los segundos, datos teóricos, corresponden a los obtenidos en la revisión de antecedentes y de literatura nacional e internacional.

El círculo hermenéutico también se puede entender en esta investigación como la trayectoria que permitió ir de la realidad del todo (el programa) a sus partes constituyentes (los procesos y los actores), y de estas a un nuevo todo constituido por una nueva configuración teórica de programa, representado en una propuesta de sistema de indicadores cruciales y prioritarios de calidad que constituye a su vez un nuevo horizonte de comprensión. Finalmente, el “círculo hermenéutico” de Gadamer, que en la perspectiva hermenéutica heideggeriana sería más bien una espiral, puede entenderse como un camino que va de lo previo, derivado de la tradición del investigador, a las revisiones y avances en comprensión, producto de los datos obtenidos en la literatura, para luego ir a los datos empíricos obtenidos en las entrevistas y trascender a una comprensión más completa de lo que constituiría una nueva teoría sustantiva13; en este caso, una teoría de indicadores cruciales y prioritarios de calidad para la evaluación y el mejoramiento de la calidad de programas en administración de empresas y, por extensión e isomorfismo, de otros similares en educación superior.

La figura 3 representa la aplicación del “círculo hermenéutico” que llevó a una propuesta de sistema de indicadores, donde ocurre la llamada “fusión de horizontes” de Gadamer desde las perspectivas de los actores universitarios entrevistados y los autores revisados y analizados en la literatura nacional e internacional.

Figura 3. El círculo hermenéutico en la investigación sobre indicadores

Fuente: elaboración propia.

Posición metodológica de la investigación

Consistente con las posiciones ontológica y epistemológica anteriormente mencionadas, el diseño metodológico correspondió al de una investigación cualitativa hermenéutica, en la que los datos se obtuvieron a partir de fuentes documentales, bases de datos del Icfes y entrevistas individuales a profundidad dentro del plan o procedimiento investigativo, constituido por los momentos hermenéuticos que más adelante se presentan.

Sobre el enfoque hermenéutico, González (2008) considera que:

El investigador recauda información de variadas fuentes cuya organización y disposición (notas crudas) da lugar a un texto (Corpus) que ha de ser intervenido a fin de desvelar los sentidos y significados que los autores del discurso registrado en el mismo atribuyen a las acciones a las que se refieren en dicho texto (p. 106).

Como resultado de esta investigación se originaron cinco productos: 1) los indicadores propuestos desde antecedentes y referentes teóricos nacionales e internacionales; 2) el análisis y comprensión de los indicadores del CNA mediante el uso del software ATLAS.ti; 3) los indicadores relacionados con el desempeño en las pruebas ECAES 2004-2010; 4) los indicadores asociados a buenas prácticas de acreditación, y 5) un esquema de propuesta de sistema de indicadores. Los tres últimos textos en particular fueron posibles gracias a la identificación de sentidos y significados de los egresados, profesores, directivos y pares evaluadores de programas académicos de pregrado en administración de empresas, obtenidos mediante entrevistas individuales a profundidad. Así, con la integración de los cinco documentos se obtuvo un gran corpus final que permitió, después de su análisis, identificar 34 indicadores y configurar un sistema de indicadores de calidad para evaluar y mejorar programas de administración de empresas.

Los hallazgos de una investigación cualitativa hermenéutica naturalista (en su ambiente natural, es decir, el de los programas de administración para el caso de esta investigación) deben validarse por algún medio, entendiéndose por validar “dar fuerza o firmeza a algo, hacerlo válido”; en otras palabras, se trata de garantizar que el resultado del trabajo es aceptable, firme, riguroso, creíble, robusto, fuerte, confiable, efectivo, soportado, corroborado, sustentado, bien fundamentado en la lógica o la “verdad” (esencia) y que vale o debe valer por la argumentación, las evidencias, la posición y el acuerdo intersubjetivo de los actores involucrados internamente y en su contexto. Esta posición metodológica se deriva de la posición epistemológica que se asumió, esto es, la hermenéutica cualitativa, de manera que se realizó triangulación de perspectivas, fuentes, teorías, métodos y análisis para ganar en atributos tales como credibilidad, autenticidad, transferibilidad, fiabilidad y confirmabilidad (Guba y Lincoln, 2001).

La dimensión temporal de este trabajo está comprendida entre julio de 2009 y julio de 2013. Además, el tiempo de análisis de los datos teóricos y empíricos coincide con el tiempo en que se desarrolló la investigación, por cuanto, en forma similar a lo que ocurre en los enfoques de teoría fundamentada, el análisis es simultáneo a la elaboración del proyecto investigativo debido a los aportes valiosos que se generan no solo en las prácticas de los actores universitarios entrevistados y la literatura explorada, sino en las prácticas del autor, que en este caso también es un actor universitario. En cuanto al trabajo de campo, este se realizó mediante un cuestionario de entrevista individual semiestructurada14 a profundidad, cuyas respuestas fueron grabadas y complementadas con notas de campo registradas durante las entrevistas.

Los cinco programas de administración de empresas que se estudiaron (con resultados opuestos en ECAES durante el periodo 2004-2010) permitieron conocer los indicadores de desempeño y calidad asociados a buenas prácticas y efectividad en cuanto a planeación, investigación, enseñanza, compromiso social, gestión, bienestar universitario y disponibilidad de recursos. Respecto a mejores prácticas, se seleccionaron intencionalmente los programas que obtuvieron los resultados más positivos en las pruebas ECAES cada año durante el lapso analizado. Estos programas debían estar acreditados por alta calidad, y el desempeño de sus estudiantes en las pruebas debía hallarse por encima del promedio nacional.

Como programas contrastantes se seleccionaron aquellos que obtuvieron resultados cada vez peores durante el periodo 2004-2010 y que no se habían acreditado por alta cantidad, además de un desempeño por debajo del promedio nacional entre sus estudiantes. Estos sirvieron para confrontar perspectivas, hacer triangulación15 y facilitar el análisis en relación con lo que se hace en los programas con buenas prácticas y los resultados favorables tanto en acreditación como en pruebas ECAES 2004-2010. En estos programas con resultados insatisfactorios se hicieron las mismas preguntas, pero enfocadas a la comprensión de los resultados negativos obtenidos en su variación cada vez peor en el promedio de las pruebas ECAES y en su ausencia de acreditación por alta calidad.

Con la anterior base de programas se realizó un análisis holístico16, en el cual se describieron detalladamente cada programa y los temas o procesos relacionados con los indicadores de desempeño que permiten juzgar su calidad (planeación, investigación, enseñanza, responsabilidad social, bienestar universitario, gestión, internacionalización y manejo de recursos). De este modo se pudo llevar a cabo posteriormente un análisis transversal17 con afirmaciones e interpretaciones derivadas de los cinco programas.

El análisis de los cinco programas siguió lo planteado por Yin (2003), esto es, aproximándose desde explicaciones rivales o antagónicas (lo que contribuye a la validez externa o transferibilidad y a la comparabilidad), descripciones, lógica de coincidencias entre programas (esto aporta a la validez interna o credibilidad) y síntesis transversal de hallazgos específicos. También se contemplaron las posturas de Dowd, Sawatzky y Korn (2011), quienes afirman que la validez es “el grado al cual la evidencia acumulada soporta o apoya la interpretación intencionada” (p. 23), y de Bonilla-Castro y Rodríguez (2000), para quienes “la validez hace referencia al grado de coherencia lógica interna de los resultados de otras investigaciones o estudios bien establecidos” (p. 150). Finalmente, se asumió, de acuerdo con Bonilla-Castro y Rodríguez (2000), que la validez interna corresponde al “grado en el cual los resultados reflejan la situación estudiada [y la validez externa] al nivel de aplicación de las conclusiones a grupos similares” (Bonilla et al, 2000, p. 150).

En cuanto a fuentes secundarias se utilizaron bases de datos del Icfes, documentos del CNA y de antecedentes nacionales e internacionales en forma de artículos científicos, libros resultantes de investigación y documentos de los sitios web de los programas de administración de empresas analizados. Por otro lado, como fuentes primarias se hicieron entrevistas a directivos, profesores, egresados y pares evaluadores. En cuanto a estrategias metodológicas de investigación que también contribuyeron a la validez de los resultados de la investigación se encuentran: triangulación, confrontación de perspectivas rivales, análisis de coincidencias entre programas, identificación de indicadores de buenas prácticas y análisis holístico o integrador de la totalidad de los datos obtenidos en la investigación. Por último, con la validación de 28 expertos mediante un cuestionario diligenciado en la Conferencia 2013 de la Asociación de Facultades de Administración (Ascolfa), se logró la confirmabilidad, que permitió dar mayor validez a los resultados obtenidos.

Como dimensión espacial de la investigación se consideran programas académicos de administración18 con resultados opuestos o contrarios en ECAES, seleccionados por conveniencia19, de cinco IES: cuatro privadas, de las cuales tres contaban con buenas prácticas en acreditación, y una oficial, también con buenas prácticas en acreditación y resultados satisfactorios en ECAES 2004-2010. Esta universidad oficial y dos de las universidades privadas se localizan en Medellín, otra universidad privada se encuentra en Bucaramanga, y la última universidad privada se ubica en Barranquilla (en el programa de esta se realizaron las entrevistas piloto).

A partir de lo anterior, se puede afirmar que (1) la presente investigación sobre indicadores de calidad universitaria trata de un objeto de estudio abstracto, simbólico, imaginado, razonado o construido por la mente humana (sistema de indicadores de evaluación de la calidad) que no se puede aislar del contexto de los programas académicos de pregrado en Colombia; (2) no se realizó control de variables pues se permitió que jugaran la intencionalidad y las categorías elegidas y resultantes del estudio; (3) el énfasis se hizo en la interpretación de los datos tanto teóricos como empíricos (obtenidos en las entrevistas) a través del sentido que les daban los autores y actores universitarios a los indicadores que consideraban cruciales y prioritarios, y (4) predominó la reflexión necesaria para el mejoramiento de la calidad de la educación superior desde la perspectiva del investigador (recordando que la reflexión es considerada como una categoría central para la comprensión y transformación de la realidad tanto por Gadamer como por Habermas, citado por Campos, 1999). Así se desarrollaron cada uno de los cinco momentos dinámicos20 de la investigación.

Con base en lo anterior, se realizaron inicialmente tres entrevistas piloto: una a un director, otra a un egresado y la tercera a un profesor. Estas primeras indagaciones permitieron hacer ajustes en las preguntas del cuestionario y determinar el tiempo apropiado de duración de cada entrevista. Así pues, adicionalmente se acordaron 21 entrevistas más en cuatro programas: uno de naturaleza oficial (cuatro entrevistas), y tres de naturaleza privada (17 entrevistas). La tabla 2 muestra la distribución de las entrevistas realizadas.

Tabla 2. Distribución de entrevistas individuales a profundidad

Fuente: elaboración propia.

Para lograr la colaboración de los entrevistados, se envió una carta a los directivos de los programas seleccionados solicitando el apoyo para llevar a cabo las entrevistas individuales. En síntesis, se realizaron entrevistas a 24 actores universitarios, entre los que se encuentran directivos, profesores, egresados y pares evaluadores en administración. Estos últimos fueron seleccionados a través de contactos de las mismas universidades, dos de ellos por su condición de ser o haber sido consejeros del CNA, y un tercer par evaluador muy prominente en la disciplina (administración), con título de posdoctorado. Las entrevistas fueron grabadas y luego se procedió a la transcripción correspondiente utilizando el software gratuito Audacity y, en algunos casos, un software de reconocimiento de voz. De este modo se generaron más de 450 páginas.

Las entrevistas semiestructuradas contenían preguntas a las cuales se llegó como consecuencia de la revisión y análisis de antecedentes y referentes teóricos y de la coherencia necesaria entre las tareas metodológicas y el logro de los objetivos, es decir, las respuestas a las preguntas del cuestionario de entrevistas semiestructuradas debían tributar al logro de los objetivos específicos y del objetivo general para responder la pregunta de investigación ligada al objeto de estudio. En consecuencia, se buscó que las preguntas estuvieran vinculadas a información relacionada con indicadores cruciales y prioritarios que dieran cuenta de los factores o procesos que se consideran en los programas académicos de pregrado, los resultados en ECAES 2004-2010, las buenas prácticas en acreditación y, finalmente, las perspectivas de los actores universitarios protagonistas en los programas de pregrado de universidades de Medellín, Bucaramanga y Barranquilla.

En ese orden de ideas, el contenido de la entrevista utilizada fue el siguiente:

Con el propósito de configurar un sistema de indicadores cruciales de calidad a partir de las experiencias en acreditación de alta calidad y de los resultados en ECAES 2004-2010, comedidamente solicito su colaboración contestando las siguientes preguntas:

1.Según la literatura y la experiencia, se han establecido los principales factores asociados a la calidad de un programa académico: la planeación, la investigación, la enseñanza, el aprendizaje, la proyección social, el bienestar universitario, la gestión y los recursos. Dentro de los anteriores factores, ¿qué indicadores cruciales (los que no pueden faltar) o prioritarios evidencian mejor la calidad de un programa en administración de empresas? En cuanto a planeación… etc., ¿qué otros factores e indicadores agregaría?

2.De este listado de indicadores, ¿cuáles considera más decisivos para que un programa de administración de empresas alcance la acreditación? ¿Qué indicadores cruciales tuvieron mayor influencia en el logro de (o en no haber logrado) la acreditación de alta calidad?

3.Al observar los datos obtenidos por su programa en las bases de datos del Icfes se encontró una variación positiva (o negativa). De acuerdo con los resultados en ECAES 2004-2010 en su programa, ¿qué indicadores cruciales tuvieron mayor influencia positiva y negativa en esos resultados?

4.4. ¿Qué indicador(es) crucial(es) considera que deberían interconectarse para configurar un sistema que permita evaluar y mejorar la calidad del programa y cómo o cuál sería ese esquema?

5.¿Desea comentar algo más?

Dado que el problema y las preguntas conciernen a constructos elaborados por comunidades académicas, la investigación trabajó con categorías preestablecidas desde indicadores del CNA, indicadores de certificación ISO 9001 e indicadores de países como España, México, Sudáfrica, Egipto, India y Estados Unidos, mencionados en los antecedentes y en los referentes teóricos, que se refinaron y mejoraron con el análisis de la perspectiva de los actores entrevistados. Dichas percepciones fueron registradas gracias a las entrevistas semiestructuradas que se llevaron a cabo, y los datos obtenidos en estas consultas se procesaron y analizaron mediante el uso del software ATLAS.ti 5. En conclusión, y siguiendo lo propuesto por Dawson (2007), puede afirmarse que en esta investigación se realizó análisis temático, comparativo y de contenido, como podrá corroborarse en los siguientes capítulos.

Recolección y análisis de datos de la investigación

Los datos obtenidos durante la investigación se recopilaron teniendo en cuenta y adaptando al español la matriz de LeCompte y Preissle (1993), que propone preguntarse “¿qué necesito saber?” en cada objetivo específico, asociado a cada momento de la investigación y, si su naturaleza es empírica o teórica, “¿para qué lo necesito saber?”. Asimismo, se dio cabida a cuestionamientos como “¿qué clases de datos permiten lograr cada objetivo específico?”, “¿desde qué fuentes o personas deben ser obtenidos los datos?” y “¿en qué sitios específicos puedo encontrar los datos?”.

Tabla 3. Matriz de planeación de la recolección de datos

Fuente: elaboración propia basada en LeCompte y Preissle (1993).

Las perspectivas que guiaron la construcción de un sistema de indicadores cruciales para el mejoramiento de la calidad de programas de administración fueron las siguientes:

1.Que los indicadores aporten al mejoramiento de la calidad de los programas de administración.

2.Que los indicadores tengan capacidad o potencia de indicar calidad de insumos, procesos, productos y contextos.

3.Que los indicadores, al ser medidos, cumplan con objetivos de mejoramiento general de la calidad de la educación ofrecida por los programas de administración.

4.Que los indicadores sean susceptibles de ser medidos por los programas de administración de conformidad con la realidad colombiana en educación superior.

5.Que la evolución en el logro de las metas de los indicadores impacte la realidad económica y social del área de influencia del programa.

6.Que los datos o medidas de los indicadores puedan ser usados de manera significativa para tomar mejores decisiones y, en consecuencia, contribuyan al mejoramiento de la gestión del programa y su impacto social y económico.

7.Que las acciones, las actividades y la gestión del programa permitan incidir en el comportamiento de esos indicadores.

8.Que respondan a las consideraciones de los lineamientos del CNA (2013).

Las anteriores perspectivas se sumaron al siguiente procedimiento utilizado para el análisis de las entrevistas mediante ATLAS.ti 5:

1.Se registró la hora de inicio del análisis de cada entrevista, empezando con las tres entrevistas piloto.

2.Se realizó una edición básica de cada entrevista, pues luego en el software de ATLAS.ti 5 se podía continuar esta tarea. Se quitaron negritas, cursivas y otros elementos de formato y se identificaron uniformemente los sujetos en el texto. Asimismo, se dejó una línea entre cada participación de los sujetos y se hicieron revisiones de ortografía, entre otros aspectos, antes de empezar análisis. En el proceso se aseguró colocar un punto después de cada oración y de cada párrafo. También se utilizó “INV” para identificar al investigador en todas las entrevistas, de manera que no se codificara luego como un código o categoría de la investigación donde la palabra “investigador” cumple un papel crucial, mientras que para el entrevistado se usó “ENTREV”. La edición de las tres entrevistas piloto se llevó cabo de 5:40 p.m. a 6:34 p.m.

3.Se convirtieron los documentos a RTF. En el caso particular de las entrevistas piloto, se emplearon cinco minutos.

4.Se abrió y guardó una unidad hermenéutica por cada programa académico participante en la investigación con las entrevistas correspondientes. Esta tarea tomó tres minutos.

5.Al inicio del análisis de cada programa académico se revisaron las notas tomadas por el investigador durante las entrevistas y se elaboraron memos después de preguntar qué sucedió en cada entrevista: ¿qué hizo que este documento o entrevista fuera similar y diferente de las demás?

6.Se aplicó la herramienta word crunch de ATLAS.ti 5 para examinar la(s) palabra(s) que predominaba(n) o más se repetía(n) o era(n) usada(s) por cada persona entrevistada. De este modo se pudieron elaborar memos con las palabras que más se mencionaban. Igualmente, esto permitió buscar sinónimos que ayudaran al proceso de codificación, así como términos o conceptos emergentes significativos o sorprendentes para elaborar un memo con cada observación. Al rol del entrevistado se le asignó un memo con estos hallazgos. EL tiempo empleado en word crunch por entrevista fue de 23 minutos.

7.Se elaboró una tabla con cada uno de los códigos más significativos para facilitar el análisis, indicando lo siguiente de cada código: definición breve, definición amplia, cuándo usar: aplicar este código a todas las referencias que…; cuándo no usar: no usar este código para referirse a… Estos puntos fueron planteados por McQueen, McLellan, Kay y Milstein (1998).

8.Se codificó con autocoding, según la lista preliminar de códigos identificada en antecedentes y referentes teóricos y en el análisis de 183 indicadores del CNA, bajo confirmación previa dentro de citas que fueran palabras (haciendo clic fuera de la palabra demarcada y seleccionando la oración pertinente o correspondiente o que le daba sentido al código) y examinando la cita a la cual se asociaba cada código. Mientras se avanzaba en este proceso se fueron escribiendo memos en otro archivo, pues ATLAS.ti 5 no permite detenerse para escribir un memo y regresar al mismo lugar donde se dejó o alcanzó a codificar, es decir, vuelve al principio de los Principal Documents PD.

9.Se codificó con autocoding, esta vez usando códigos emergentes identificados con el word crunch o por lecturas previas, bajo confirmación previa y examinando la cita a la cual se asociaba cada código. Se decidió agregar el código “ponderación” por su utilidad para el análisis de los indicadores cruciales o prioritarios. También se identificaron como nuevos códigos importantes: “medir”, “poder” y “pertinencia” debido a una frecuencia identificada con la herramienta mencionada. Sin embargo, al revisar las palabras “pertinencia” y “poder” se pudieron identificar algunas citas que daban cuenta del sentido y significado que los consultados les daban, mostrando que no guardaban relación directa con esta investigación. También se tomó nota del tiempo de esta actividad para tenerlo en cuenta en el análisis de otras entrevistas.

10.Se revisaron los códigos con la herramienta coding analyzer, que muestra códigos con codificación redundante, y se procedió a eliminar o desenlazar las citas donde se presentaba redundancia. En este punto se pudo detectar que era mejor desencadenar la cita al código porque, si se había elaborado la cita, era porque tenía alguna importancia específica y en consecuencia valía la pena mantenerla, aunque no estuviera asociada a un código porque este ya se había enlazado con una cita de mayor extensión. Luego se volvió a pasar el coding analyzer para confirmar que no hubiera redundancia.

11.Se revisaron y copiaron las citas con mayor densidad, es decir, que tenían un mayor número de códigos asociados.

12.Se interpretaron los códigos —decodificación— de forma clara y precisa, revisando visualmente código por código con sus respectivas citas. En este paso fue importante tener en cuenta tanto los códigos de mayor frecuencia como aquellos en los que se había empleado más tiempo. En principio, se hizo énfasis en las citas de “acreditación” y luego en las de “ECAES” para obtener resultados de los objetivos específicos 4 y 5. Luego se asociaron los resultados de los códigos “crucial” e “indicadores” con “acreditación” y “ECAES”, y al final con los indicadores cruciales que resultaron en todos los procesos de cada programa académico para elaborar el esquema del sistema.

13.El trabajo de campo permitió identificar argumentos o apreciaciones que sustentaron, respaldaron y ratificaron la justificación y pertinencia del problema de investigación.

14.Mientras se codificaba, se elaboraron memos sobre reflexiones pertinentes para la identificación de indicadores cruciales y relaciones entre indicadores y sobre categorías emergentes de los datos de las entrevistas. Así se crearon nuevos códigos en la medida en que surgían categorías, factores o conceptos emergentes. Esta nueva codificación se denomina abierta (creación de nuevos códigos del investigador a partir de hallazgos relevantes en citas) o in vivo (por términos atractivos que surgen del word cruncher o de citas). Para escribir memos era necesario hacerse nuevas preguntas sobre posibles indicadores, comparar semejanzas y diferencias, abstraer, reducir y relacionar datos relacionados con citas y códigos. También fue importante tener en cuenta que podrían surgir propiedades sobresalientes de indicadores en las respuestas de las personas entrevistadas.

15.Durante todo el análisis se tuvieron en cuenta las recomendaciones de Denzin y Lincoln (1994) en cuanto a establecer patrones entre los datos y hacer descripciones, comparaciones (incluidas las extremas) y formulaciones de indicadores cruciales y sus interrelaciones o interconexiones. Asimismo, se asumió una actitud de permanente pregunta a los datos (por ejemplo, ¿qué pasa aquí en cada programa?, ¿qué hacen?, ¿cómo varían los factores, códigos o indicadores de cada familia en cada programa (fue necesario saber ir fácilmente a las citas que demuestran tal variación y poder recuperarlas para reportarlas como resultados, evidencias, análisis, discusión y conclusiones)?, ¿bajo qué condiciones ocurrían las variaciones?, ¿qué es esto?, ¿qué aporta esto en mi investigación en relación con la pregunta de investigación “para generar ideas y maneras de mirar los datos”?

También se mantuvo abierta la posibilidad de elaborar, modificar, verificar, aclarar, expandir o descartar hipótesis e identificar cuándo los entrevistados daban hechos fácticos y cuándo daban opiniones, suposiciones o especulaciones. De igual modo, se trató de determinar afirmaciones, opiniones o declaraciones desconcertantes y contradictorias, al tiempo que se examinaron posibles sesgos, parcializaciones, preferencias, suposiciones y perspectivas de las personas entrevistadas. A su vez se buscaron tanto patrones generales como variaciones, y al final se clasificaron y ordenaron citas y códigos.

A estas alturas del proceso se tuvo presente la importancia de pasar de la descripción a la conceptualización y de lo más específico a lo más abstracto. Al preguntarse en qué, dónde y cómo coincidían y diferían los datos se aplicó la técnica de la “voltereta”, que consiste en voltear de adentro para afuera o de arriba para abajo y viceversa, observando los opuestos o los extremos para encontrar indicadores significativos (esto también se hizo con los dos programas con resultados insatisfactorios en las pruebas ECAES 2004-2010). Por otro lado, al tratar de descifrar qué es lo que no se hacía en programas de resultados insatisfactorios que sí se hacía en los de resultados satisfactorios se recurrió a la comparación sistemática de conceptos, factores, indicadores o situaciones de los datos con los de la experiencia del investigador o tomados de la literatura.

Otras preguntas que tuvieron cabida en este paso fueron: ¿qué tan a menudo aparece un concepto y cómo emerge (bajo qué condiciones), con sus respectivas evidencias?, y ¿qué podría pasarle a un programa si algún factor, característica, propiedad o indicador estuviera ausente o cambiara (ejemplo del ave si le falta un ala)? El análisis de propiedades (características) y dimensiones (grados) asociadas a factores, citas, códigos, familias o hipervínculos también tuvo lugar en esta etapa. Finalmente, se crearon subcategorías en el análisis de los procesos que ocurren en un programa académico, preguntándose ¿cuándo?, ¿dónde?, ¿por qué?, y ¿cómo es probable que haya ocurrido algo?, siempre en relación con el objeto de investigación y sus factores asociados (códigos, familias, supercódigos, tablas, redes e hipervínculos).

A partir de esta información recabada y analizada fue posible empezar a comprender modelos y patrones de calidad en programas de pregrado bajo indicadores cruciales con miras a generar una nueva configuración de ideas (teoría sustantiva) sobre un nuevo sistema de indicadores cruciales y prioritarios para evaluar y mejorar la calidad de programas académicos universitarios en administración. De esta manera surgiría una teoría fundamentada, denominada “teoría de la interacción entre indicadores cruciales y prioritarios de calidad en educación superior”, resultante de esta investigación y materializada en la propuesta de sistema de indicadores y en la jerarquización de estos dada por la validación de expertos.

16.Otra consideración transversal al proceso fue la de las operaciones mentales reportadas por diferentes autores: identificación, comparación, análisis, síntesis, clasificación, codificación, decodificación, proyección de relaciones virtuales, diferenciación, representación mental (abstracción), transformación mental, razonamiento divergente, pensamiento convergente, razonamiento hipotético, razonamiento analógico, razonamiento lógico, razonamiento silogístico, razonamiento inferencial, evocación y transferencia. Así pues, cada día, antes de iniciar el análisis de datos, se leían y repasaban las definiciones de cada una de estas operaciones mentales.

Finalmente, debe reiterarse que los principales datos necesarios para realizar la investigación provinieron de fuentes documentales y de la realización de entrevistas. La totalidad de esta información se recolectó directamente por el propio investigador en el periodo 2009-2012, y luego fue integrada para el análisis final mediante el software ATLAS.ti. De esta manera se llegó a construir el sistema de indicadores cruciales con el cual se elaboró el informe final de hallazgos, resultados obtenidos y formulación de teoría sustantiva. En dicho texto general o corpus final (la sumatoria de los hallazgos) de la investigación, se rescató hermenéuticamente la esencia del conocimiento obtenido que permitió responder la pregunta de investigación y demostrar el logro de los objetivos.

Para la validación de los 34 indicadores finales obtenidos en la investigación se utilizó el cuestionario elaborado a partir del corpus de los resultados con base en la revisión y el análisis de antecedentes nacionales e internacionales, así como de la literatura a ambos niveles. De igual modo se estudiaron y jerarquizaron los 183 indicadores del CNA 2006 y se examinaron los indicadores asociados a buenas prácticas de acreditación resultantes de las 24 entrevistas. Asimismo, en otros análisis relevantes se abordaron los indicadores relacionados con resultados satisfactorios en ECAES 2004-2010 resultantes de las 24 entrevistas realizadas y los que se enlazan con procesos o factores claves de los programas académicos de administración, ambos obtenidos también de las entrevistas.

El cuestionario final sobre relevancia de los indicadores fue respondido por 28 expertos, decanos y directores de programas de los más importantes programas de administración de Colombia, quienes aceptaron voluntariamente diligenciarlo, entre cerca de 300 participantes asistentes a la conferencia de Ascolfa de 2013 y del Primer Coloquio en Administración. Este instrumento utilizado puede apreciarse en el anexo A.

En conclusión, desde el punto de vista metodológico, se realizaron los siguientes tipos de análisis derivados de la información obtenida de entrevistas individuales tanto piloto como de contraste (entre programas con resultados opuestos o contrarios), para al final configurar un sistema de indicadores cruciales de calidad:

•Análisis hermenéutico documental.

•Análisis de indicadores del CNA con ATLAS.ti 5.

•Análisis de bases de datos de los resultados de ECAES 2004-2010.

•Análisis de interpretaciones y sentidos rivales.

•Análisis comparativo holístico e integrador en el texto o corpus final.

Adicionalmente, se realizó un análisis temático, comparativo y de contenido de las transcripciones (450 páginas) de las entrevistas. Con estos insumos se logró una mayor comprensión de un sistema de indicadores de calidad requerido por los programas colombianos de administración de empresas para evaluar y mejorar su calidad y compromiso social y económico.

Con la posición metodológica descrita en este capítulo, los 34 indicadores que emergieron y los tipos de análisis mencionados, se logró configurar una teoría sustantiva sobre indicadores, una propuesta de sistema (interconexión) de tipo balanced scorecard y una mayor comprensión de los indicadores de calidad cruciales y prioritarios requeridos por los programas colombianos de administración de empresas para evaluar y mejorar su calidad y compromiso social y económico. Esta teoría sistémica, llamada teoría sistémica de indicadores cruciales en educación superior (Tesicrues), podrá apreciarse en los siguientes capítulos de esta obra, junto con los resultados de la investigación.

10. Este sistema de indicadores SICRUES puede ser aplicado también en los programas de ciencias sociales y humanidades.

11. “Gadamer, habiendo aceptado el giro lingüístico, abandona cualquier esperanza de fundar conocimiento absoluto y concluye que toda la comprensión humana es provisional, porque no puede construirse sobre una visión infinita del todo” (Campos, 1999).

12. La hermenéutica ontológica es opuesta a la hermenéutica objetiva de Dilthey, Betti y Hirsch, que asume un sentido o significado realista y previamente determinado que espera a ser descubierto.

13. Según Ángel (2011), “Lo que en este tipo de estudios se llama teoría es el establecimiento de regularidades surgidas del objeto observado, de manera que no pretende elaborar una teoría social que tenga pretensiones de universalidad, sino que pretende establecer rasgos significativos y sistemáticos en el objeto de la investigación. Strauss y Corbin hacen una diferenciación entre lo que llaman teoría sustantiva y teoría formal, donde la primera se refiere a las explicaciones de los informantes sobre su forma de percibir la realidad y la segunda es derivada del estudio y está mediada por un riguroso proceso de abstracción”.

14. Por entrevista semiestructurada se entiende el cuestionario verbal con preguntas prediseñadas que pueden ser complementadas con otras durante la entrevista. Según Dawson (2007), “Las mismas preguntas necesitan ser hechas en cada entrevista. Sin embargo, el investigador también quiere que la entrevista permanezca flexible para que otra información importante pueda originarse”.

15. Mediante entrevistas a los actores universitarios de estos programas al constituirse como fuentes y prácticas diferentes a las de los tres programas con resultados favorables.

16. Holístico en el sentido sistémico de totalidad o integración de todos los datos obtenidos en la investigación.

17. Transversal se asume como diferente de longitudinal. El análisis transversal es sincrónico, es decir, en un momento determinado, y el longitudinal es diacrónico, esto es, a través del tiempo.

18. Se seleccionó este programa pues es en el que el autor ha tenido mayor experiencia y formación durante 23 años. Los exámenes ECAES se han realizado para el programa de administración de empresas en los siguientes periodos: 2004-2, 2005-2, 2006-1, 2007-1, 2008-1, 2009-2 y 2010.

19. El Cambridge Dictionary of Statistics (2010) establece que el muestreo por conveniencia es “A non-random sample chosen because it is easy to collect”, o sea, “Una muestra no aleatoria elegida porque es fácil de recoger”.

20. Se consideran dinámicos por cuanto discurren o fluyen en el tiempo de la investigación, generando reflexión y nuevas ideas de manera activa. Es decir, no son momentos estáticos como los de una fotografía, sino que representan movimiento, análisis, reflexión e interpretación de ideas y conceptos que van emergiendo al transcurrir el video o película de la investigación, en la que confluyen adicionalmente múltiples perspectivas y dimensiones.