Manuales de Reporte Técnico de TTISI: Lo Que Debes Saber

Si alguna vez has indagado en nuestros reportes técnicos, quizá te preguntes qué son y por qué son tan difíciles de leer. Aquí explicaremos lo que necesitas saber.

Nuestros reportes técnicos documentan el proceso, el progreso y los resultados actualizados de la continua mejora de nuestras evaluaciones. Todo esto se hace con el objetivo de ir más allá de las necesidades del usuario cotidiano y hacer que nuestras herramientas sean defendibles cuando las vean los expertos en evaluación.

En otras palabras, el público al que va dirigido el reporte técnico dicta el vocabulario y el estilo de redacción, por lo que suelen ser términos muy técnicos o académicos lo que los hace difíciles de leer e interpretar.

Estos requisitos no son nuevos. Oscar Buros, quien produjo el Anuario de Medición Mental en 1938, incluyó en el prólogo de su primera publicación la siguiente cita:

"Los usuarios de pruebas tienen todo el derecho a exigir que los autores y editores de éstas presenten información completa sobre los métodos utilizados en la construcción y validación de lo que ofrecen al mercado. Las pruebas que no vayan acompañadas de datos detallados sobre su construcción, validación, usos y limitaciones deben ser objeto de sospecha". (pp. xiii-xiv)

Para ayudar al público a entender mejor estos complejos reportes, el equipo de investigación (bajo la dirección del Dr. Eric Gehrig) ha publicado varios libros sobre protocolos de evaluación, todos ellos disponibles aquí.

¿Cuáles son los Requisitos de los Manuales Técnicos?

Los componentes clave de estos informes técnicos exigen que los creadores de la evaluación aporten pruebas de confiabilidad y validez. Esto parece sencillo hasta darse cuenta de que cada uno de esos requisitos de evaluación tiene varios subcomponentes.

En consecuencia, nuestros reportes deben abordar cuatro áreas de confiabilidad:

• Consistencia Interna – Consistencia de las respuestas (misma población, misma sesión).
• Consistencia Temporal – La estabilidad de las puntuaciones a lo largo del tiempo (para la misma población), es decir, la correlación.
• Consistencia de Formularios Alternativos – Diferentes formas de prueba (para la misma población), también la correlación.
• Generalización – Generalizar todo lo anterior, considera la posibilidad de múltiples fuentes de error "aleatorio".

Lo mismo ocurre con la validez, que debe incluir cinco componentes:

• Contenido de la Prueba - Base teórica, desarrollo de la evaluación, adaptación de la evaluación, dominio del contenido, relevancia del concepto, etc.
• Estructura Interna – Datos que concuerdan con los fundamentos teóricos del contenido.
• Variables Externas – Relación con el llamado “mundo real”.
• Procesamiento de las Respuestas – El cerebro está de acuerdo con lo que la prueba está midiendo.
• Consecuencias de las Pruebas – Todos los posibles resultados positivos y negativos y las estrategias de atenuación necesarias.

A medida que ampliamos nuestras evaluaciones a otros idiomas y culturas, los protocolos de distribución global de TTISI incluyen las directrices de la Comisión Internacional para la Traducción y Adaptación de Evaluaciones.

Para cumplir con estos requisitos avanzados, los componentes principales de nuestros reportes técnicos de evaluación siguen las directrices de la Asociación Americana de Psicología establecidas en su serie de tres volúmenes APA Manual de Pruebas y Evaluación en Psicología, con revisiones cruzadas contra directrices similares publicadas por organizaciones como la Federación Europea de Asociaciones de Psicólogos (EFPA) y la Sociedad Británica de Psicología (BPS), la Comisión Internacional de Pruebas y el Anuario de Mediciones del Buró Mental.

¿Por Qué es Importante?

Aunque los usuarios de toda la vida de nuestras herramientas saben que funcionan, la documentación y la transparencia son esenciales para seguir siendo líderes en nuestro campo.

“ Nuestros reportes técnicos documentan el proceso, el progreso y los resultados actualizados de la mejora continua de nuestra evaluación ”.

Debemos ser capaces de proporcionar este nivel de detalle para tener una ventaja relevante en un mercado cada vez más informado. El equipo de investigación recibe casi a diario solicitudes de este tipo de datos.

Además, estos análisis nos proporcionan una visión de nuestros modelos de evaluación y de la solidez de determinados elementos, lo que nos lleva a una mejora continua.

¿Cuáles son Algunos de los Puntos Clave que Puede Utilizar un Usuario de la Evaluación General?

Si bien la elaboración general de nuestros reportes técnicos sigue las mismas pautas para cada una de nuestras herramientas de evaluación, a continuación, presentamos algunos aspectos destacados de nuestra publicación más reciente, nuestro Reporte sobre Comportamientos DISC. Esto es lo que se incluye.

1. Pruebas Detalladas de Confiabilidad & Validez

Tenga en cuenta que se utiliza la palabra "evidencia". Esta palabra es un gran ejemplo de los problemas de mezclar dos mundos: el mundo de los negocios y el de la ciencia.

La ciencia no puede hablar en términos absolutos. Por lo tanto, tenemos pruebas, pero no se pueden hacer comentarios "en blanco y negro" en un documento científico.

2. La Historia de DISC como Nunca Antes se había Proporcionado

Una de las primeras cosas que requieren las revisiones de las evaluaciones es una base teórica detallada y el proceso de desarrollo de la evaluación empleado desde el principio.

Aunque la mayoría de nuestros usuarios podrían decir que nuestra evaluación DISC tiene sus fundamentos en Marston, una revisión crítica de cientos de documentos relacionados con el comportamiento, además de una fantástica entrevista con Peter Turner, descubrió un rico y francamente emocionante desarrollo histórico de nuestra herramienta nunca antes expuesto.

Por favor, tómese el tiempo para leer sobre la publicación de Prescott Lecky, Walter Vernon Clarke, Art Niemann, W. Clement Stone, John Cleaver, John Geier y Bill y David Bonnstetter.

3. Explicación Detallada de por qué TTISI no Utiliza el Promedio de los Gráficos

El apartado 2.7 ayuda a diferenciarnos en el mercado mostrando claramente los datos neurológicos. Estos datos explican por qué la respuesta a lo que nos "gusta" (respuestas 1 y 2) es muy diferente de nuestra aversión (respuestas 3 y 4). Esta comprensión -en términos simples- muestra claramente por qué es inadecuado promediar estas puntuaciones.

4. El Valor de Proporcionar Datos Demográficos

Gracias al acopio de datos demográficos, por fin podemos mostrar cómo nuestras evaluaciones pueden exponer elementos únicos relacionados con el puesto de trabajo.

El Apéndice B utiliza un procedimiento de modelo de regresión estadística para identificar la probabilidad de pertenencia a una clasificación de puestos de trabajo, cuando el grupo se compara con una muestra aleatoria de la población general de la evaluación.

En el momento de esta publicación, disponíamos de datos suficientes para analizar 184 puestos de trabajo diferentes. Cada una de las 184 tablas de datos proporciona una lista de elementos de evaluación clave estadísticamente significativos y el valor por encima de 0,5, conocido como área bajo la curva (ABC).

Habiendo trabajado en la enseñanza de medicina, encuentro la tabla “B. 129: Cirujanos”, especialmente interesante y acertada. No me sorprende que en esta agrupación laboral destaquen estas dos cualidades.

Avanzar con los Reportes del Manual Técnico

Puede que la gran mayoría de nuestros usuarios no necesiten estos reportes, pero todos los miembros de nuestra red deben conocerlos y reconocer el valor que aportan, tanto como documentación de vanguardia, como fuente de prueba de nuestro compromiso con la transparencia y la mejora continua.