El diseño de la validación de instrumentos cuenta con dos fases o momentos: la primera fase corresponde a la creación propiamente dicha del instrumento y se trata de una fase cualitativa, que denominamos validez de contenido, la segunda fase es la evaluación de sus propiedades métricas y corresponde a una fase cuantitativa.
Para crear un instrumento existen esencialmente tres herramientas, la revisión del conocimiento sobre la variable que se desea medir, la evaluación del contenido construido por un conjunto de jueces y la exploración del concepto en la población de estudio.
Estas tres herramientas pretenden asegurar la validez de contenido, mediante la validez racional (revisión del conocimiento), la validación por jueces (evaluación del contenido creado) y la validez de respuesta (exploración del concepto en la población).
Estas herramientas se utilizan según el grado de conocimiento que se tiene sobre la variable que se desea medir: si el concepto está bien definido, la validez racional; si el concepto está parcialmente definido se complementa con la validación por jueces; pero si el concepto aún no está definido se comienza por la validez de respuesta.
La validez de contenido.
Clásicamente se dice que un instrumento tiene validez de contenido cuando “mide lo que debe medir”, aunque la validez de contenido no hace referencia únicamente a los instrumentos, todo documento científico académico debe gozar de esta cualidad, por ejemplo, un sílabo, una programación, un libro, un curso, etc.
La validez de contenido es el punto de partida de la validación de instrumentos, por cuanto, para evaluar las propiedades métricas de un instrumento primero debe ser construido y asegurarnos de que las preguntas, ítems o reactivos de los cuales está conformado el instrumento, corresponden al contenido que se desea medir.
Para entender mejor lo que es una validez de contenido, vamos a poner un ejemplo, vamos a suponer que, se desea evaluar el nivel de conocimientos de un grupo de niños respecto al aprendizaje de las operaciones aritméticas, claramente el instrumento de evaluación debe contener preguntas de suma, resta, multiplicación y división.
Si el instrumento en cuestión, considera únicamente preguntas de suma, resta, multiplicación, pero no división, entonces hablamos de contenido insuficiente, los ítems que conforman el instrumento no alcanzan a cubrir el concepto o contenido que se desea medir, claramente este instrumento no cuenta con validez de contenido.
Por otro lado, si el instrumento elaborado, considera preguntas de suma, resta, multiplicación, división y radicación, encontramos parte del contenido impertinente, por cuanto la radicación no forma parte de las operaciones aritméticas, de modo que, en este caso tampoco podremos hablar de validez de contenido, porque hemos sobrepasado los límites del mismo.
1. La revisión del conocimiento.
En principio deberemos saber si ya existe un instrumento, en cuyo caso podemos hacer uso del mismo -o crear uno propio-, para ello se requiere de una revisión de la literatura o del conocimiento que se tiene hasta este momento del concepto que se desea medir, de acuerdo con lo anterior tendremos tres situaciones:
El concepto está plenamente definido
Imagina que deseas construir un examen de conocimientos para evaluar a un grupo de niños respecto de las operaciones aritméticas, si el examen consta de 20 ejercicios o ítems, la lógica nos indica construir: 5 preguntas o ítems de suma, 5 de resta, 5 de multiplicación y 5 de división.
Si el examen descrito incluye suma, resta, multiplicación, pero no división, entonces, el contenido del instrumento no alcanza a cubrir el concepto de las operaciones algebraicas. Si las operaciones que has incluido en este examen son: suma, resta, multiplicación, división y radicación, el contenido sobrepasa el concepto, en ambos casos no habrá validez de contenido.
Como se podrá deducir, el único caso en el que podemos asegurar la validez de contenido, es cuando el concepto está plenamente definido, así como las operaciones aritméticas: suma, resta, multiplicación y división. A esto se le conoce como “validez racional”, un tipo de validez avalado por los conceptos plenamente definidos aceptados universalmente.
El concepto está parcialmente definido
Este es el caso donde, no hay un consenso global acerca del concepto que se desea medir, por ejemplo, para evaluar la “adicción a la Internet”, encontrarás que existen publicaciones al respecto, existen tentativas de definición, pero no existe una teoría sólida que avale el concepto.
En este caso, la revisión de la literatura sería insuficiente, y deberá complementarse, con un proceso de exploración del concepto y o por la opinión de un conjunto de expertos, una vez que se haya construido el instrumento, lo que no ocurre cuando el concepto está plenamente definido, la validez de contenido la asegura la teoría.
Cualquiera puede elaborar un examen de operaciones aritméticas para evaluar el conocimiento en un conjunto de niños; pero no cualquiera puede elaborar un instrumento para evaluar la “adicción a Internet”. En este caso, la línea de investigación del investigador debe ser congruente con el instrumento que pretende construir.
El concepto no está definido
Cuando no existen teorías, ni tampoco investigadores dentro de la línea de investigación donde se pretende construir el instrumento, el investigador tendrá que considerar la pertinencia de acuerdo a su experiencia de enunciar su propia teoría, tendrá que definir el concepto para luego poder construir su instrumento.
En este tercer caso, si bien no existen investigadores dentro de la línea de investigación, es posible que existan personas que no siendo investigadores se puedan considerar como expertos y, por tanto, la primera fuente de información para la elaboración de un listado de palabras clave que servirán de insumo para la elaboración del instrumento.
Para conocer las costumbres que tienen las mujeres a la hora del parto en una región altoandina en el sur del Perú, podemos hacer una entrevista abierta a las parteras (mujeres que atienden el parto empírico) para construir una lista de palabras clave y en un segundo momento hacer la entrevista enfocada con esa misma lista, a las mujeres que tienen un parto.
2. La evaluación del contenido
En primer lugar, vamos a diferenciar el concepto de experto y de juez, en nuestro ejemplo de las costumbres que tienen a la hora del parto las mujeres de una región altoandina en el sur del Perú, un experto es una partera porque conoce la realidad y costumbres de esta región, pero ellas no son investigadoras.
Por otro lado, un juez, dentro del tema de la validación de instrumentos, es una persona que contribuye a evaluar la idoneidad de lo formulado para el instrumento, idealmente pertenece a la misma línea de investigación del instrumento en construcción, sin embargo, pueden ser interdisciplinarios, es decir no necesariamente expertos en el tema de la investigación.
Si le pedimos a una persona que conoce sobre validación de instrumentos, que nos ayude a evaluar los ítems que hemos redactado, suponiendo que esta persona es un especialista en evaluar cuestionarios, pero no es un experto en el tema de investigación; en este caso, este profesional nos podrá servir como juez, pero no como experto en el tema de investigación.
Por otro lado, en nuestro ejemplo de las mujeres que atienden el parto de manera empírica, denominadas parteras, ellas conocen bastante sobre el tema y pueden ser consideradas expertas en costumbres, pero en ningún caso nos podrán ayudar en la evaluación de la idoneidad de los ítems del instrumento que estamos construyendo.
Un experto ayuda a construir el instrumento, a través de la transmisión de sus conocimientos es posible que ayude a redactar los ítems o reactivos del instrumento, mientras que un juez evalúa la idoneidad de los ítems, no ayuda en su redacción, de lo cual se deduce que, si este profesional participa como experto en la redacción de los ítems, ya no puede ser considerado como juez.
La validación por jueces, se realiza cuando el instrumento ya está elaborado, equivale a una entrevista estructurada, para lo cual se requiere de un grupo de jueces, la elección que se realiza de estos jueces la determina el autor del instrumento, quién debe tener la capacidad suficiente para considerar la pertinencia de la elección de estos miembros.
El número de jueces no se calcula con una fórmula, se trata del criterio del investigador, un punto de partida es un grupo de tres, y en lo posible, deben ser multidisciplinarios, es decir, deben pertenecer a distintos campos del conocimiento a fin de evitar opiniones correlacionadas, respecto del tema o concepto que estamos evaluando.
La tarea de los jueces es evaluar los ítems que ya construidos, ellos de ninguna manera nos contribuyen en la construcción de los ítems, porque no necesariamente son expertos y si lo fueran ya habríamos aprovechado su experiencia en un paso previo, ahora su función es únicamente ser juez, y ellos van a evaluar la suficiencia, pertinencia y claridad del instrumento.
La evaluación que hacemos sobre los ítems, con la ayuda de los jueces, es netamente cualitativa, no existen procedimientos matemáticos, no hay fórmulas ni algoritmos para decidir con qué ítems nos quedamos, los jueces sugieren la idoneidad de los ítems sin capacidad de decisión, no hay pesos ni ponderaciones, al final la determinación la toma el autor.
La validez de contenido es una propiedad netamente cualitativa, es decisión final del investigador escoger cuales de los ítems deben ser eliminados o modificados, recordando que el autor del cuestionario que se está construyendo, es por definición un experto y un juez, un especialista dentro de su línea de investigación.
3. La exploración del concepto
Asume la ausencia parcial o completa del concepto que se desea medir, por ello, este procedimiento lo realizamos cuando el concepto está parcialmente definido o cuando el concepto aún no está definido, porque de encontrar al concepto plenamente definido, la validez de contenido está asegurada mediante la validez racional.
La principal herramienta para la exploración del concepto es la entrevista y existen dos fases o momentos para completar esta tarea, la exploración a nivel de expertos, con personas que conocen más que nosotros acerca del tema y; la exploración a nivel de la población se da cuando entrevistamos a los sujetos que más adelante serán objetos de evaluación.
En un estudio acerca de las costumbres que tienen a la hora del parto las mujeres de una región altoandina en el sur del Perú, las unidades de estudio son las mujeres gestantes, porque de ellas queremos conocer sus costumbres. Pero si de costumbres a la hora del parto se trata, también tenemos a las parteras, mujeres que atienden empíricamente el parto.
Las parteras tienen un largo historial atendiendo el parto en la región, y conocen, incluso mejor que las propias gestantes, las costumbres a la hora del parto; pero estas parteras no corresponden a las unidades de estudio, son expertas en cuanto a las costumbres regionales, y aun no siendo investigadoras ayudarán en la construcción del instrumento.
Desde el punto de vista de la entrevista, existen tres niveles de entrevista: la entrevista abierta o a profundidad, la entrevista enfocada y la entrevista estructurada, la primera se utiliza para la exploración del concepto y la construcción de una lista de palabras clave, la segunda utiliza la lista de palabras clave para corroborarlas en la población.
Entrevista a profundidad a los expertos
En nuestro ejemplo los expertos son las parteras, el entrevistador estimulará y conducirá un discurso continuo, cuyo único marco es el de la investigación, y se hace con una sola pregunta. Nos dirigimos a las parteras y les preguntamos ¿Cuáles son las costumbres que tienen a la hora del parto las mujeres de esta región?
A medida que vayan surgiendo las respuestas de las entrevistadas, iremos formulando interrogantes adicionales; aquí no hay un libreto, el contenido y la profundidad de la entrevista es adaptable y susceptible de aplicarse a toda clase de sujetos, incluso si los entrevistados no tienen ninguna formación académica o escolar.
Se trata de una entrevista netamente cualitativa y es holística porque busca explorar y descubrir: las características en la persona entrevistada de manera amplia; no clasifica, no tiene interés en tabular datos, lo único que se busca con este procedimiento es encontrar el mayor número de características que nos ayuden a emitir y enunciar los futuros ítems del instrumento.
Es posible que las personas a quienes estemos entrevistando no conozcan la terminología técnica que a veces utilizamos y, por ello, tendremos que adaptarnos a su propio lenguaje. En esta parte no hay que preocuparse por no contar con un instrumento, porque precisamente estamos en el proceso de elaborar uno.
La entrevista a profundidad es más arte que ciencia, porque no cualquiera puede entrevistar con eficiencia a un grupo de mujeres que no tienen la misma formación académica o profesional que el investigador. Las habilidades personales del investigador se convierten en fundamentales en este procedimiento.
Entrevista enfocada a las unidades de estudio
Se trata del siguiente paso después de la entrevista a profundidad, pero esta vez se realiza sobre la población o conjunto de unidades de estudio, para lo cual, por supuesto no existe muestreo probabilístico, sino solamente el criterio del investigador, y se realiza sobre varios puntos, pero muy específicos.
En la fase anterior, el investigador construye una lista de palabras clave que ahora tratará de corroborar en las unidades de estudio, por ello el entrevistador conoce de antemano los elementos que conforman el concepto y los busca de manera sistemática. La libertad para formular preguntas está limitada a la lista de conceptos previos que se han recogido.
Se parte de una lista de palabras clave, que el investigador utiliza como insumo para la entrevista, el entrevistador conoce la lista de elementos que deben preguntarse en esta entrevista enfocada, pero no hay en sí, un listado de preguntas, existe plena libertad para formular las preguntas, siempre que estén dentro de los conceptos que previamente se han establecido.
La entrevista enfocada cuenta con una lista de tópicos o de temas a englobar, con la finalidad de no omitir aspectos importantes; pero el investigador modifica la forma y el orden según el sujeto y las circunstancias. Si no existen expertos tanto la entrevista a profundidad como la enfocada se realizará sobre las unidades de estudio, pero en grupos distintos.
Finalmente, en los casos en que el concepto aún no está definido, la exploración del concepto es el único medio para proveernos de información vital que nos permitirá, a partir de ese momento, construir el instrumento que deseamos elaborar. Siendo así el instrumento cuenta con validez de contenido y a esta forma de alcanzarlo se le conoce como validez de respuesta.
