Criterios de evaluación

Casos Bases de datos exploradas Estrategia de búsqueda electrónica Criterios de filtrado Criterios de evaluación Estructura de los resúmenes Traducción

Se utilizan distintos tipos de "checklist" para los diferentes tipos de estudio. Los checklists se usan como recordatorios de los aspectos que cada evaluador debe revisar.

Las checklists usadas para cada tipo de estudio son las siguientes:

Para artículos de frecuencia, series de casos, estudios sobre factores de riesgo y estudios de factores pronósticos:

(Elaborado por el Comité Editorial del Area Científica del Web de la Espalda considerando las recomendaciones del Centre for Review and Dissemination de la Universidad de York)
(http://www.york.ac.uk/inst/crd)

1. ¿El estudio incurre en alguno de estos sesgos de modo tal que cuestione la validez de los resultados?
   1. Sesgo de lectura. Por ej: Sesgo de referencia bibliográfica por el que el autor incluye sólo referencias que apoyan su punto de vista.
   2. Sesgo en la definición o selección de la muestra: Por ej: Sesgo de accesibilidad diagnóstica, de tasa de ingresos -Sesgo de Berkson- o de no respuesta.
   3. Sesgo en la exposición: Por ej. Sesgo de cumplimiento.
   4. Sesgo en la medición: Por ej. Sesgo de memoria, de instrumentos, o de medida no sensible.
   5. Sesgo en el análisis: Por ej. de búsqueda exhaustiva sin hipótesis previa.
   6. Sesgo en la interpretación: Por ej. confundir significación estadística y biología o equiparar correlación a causalidad.
2. ¿Son los sujetos apropiados las variables para el objetivo del estudio?
3. ¿Son apropiadas las variables para el objetivo del estudio?
4. ¿Se han medido las variables de forma apropiada?
5. Si es aplicable, ¿ha sido adecuado el período de seguimiento?
6. Si se trata de un estudio de seguimiento de individuos y hay pérdidas, ¿siguen siendo válidos los resultados a pesar de ellas?
7. ¿Se ha descrito claramente el objetivo del estudio?
8. ¿Las características de la población a estudio han sido las adecuadas para el objetivo planteado? (características temporales, geográficas, técnica de muestreo etc.)
9. Si hay más de un grupo, ¿los criterios de inclusión en cada uno han sido los adecuados?
10. ¿El tamaño muestral ha sido el adecuado para el análisis realizado?
11. ¿Las características que se describen de los individuos son relevantes y suficientes?
12. ¿Las características que se decriben de la población de la que se ha extraído la muestra son relevantes y suficientes?
13. Si se utilizan variables subjetivas (por ejemplo, interpretación de radiología o historias clínicas), ¿se referencia o analiza su variabilidad interobservador?
14. Con respecto al método usado de medición o clasificación de las variables fundamentales, ¿se menciona o referencia su precisión? (si todos son estándar, ponga "si").
15. Si es aplicable, ¿han sido ciegas las interpretaciones de las distintas valoraciones y mediciones?
16. El análisis realizado, ¿ha sido el adecuado para el objetivo planteado? (por ejemplo, en estudios de asociación, ¿se ha controlado por potenciales variables de confusión?)
17. ¿Se han presentado los resultado en suficiente detalle?
18. ¿Las conclusiones del artículo son las que se desprenden de los resultados?

Para artículos sobre tratamiento:

(Modificado por el Cómite Editorial del Area Científica de Web de la Espalda a partir de Koes BW, Scholten RJ, Mens JM, Bouter LM. Efficacy of non-steroidal anti-inflammatory drugs for low back pain: a systematic review of randomized clinical trials. 1997; 56(4):214-23)

1. ¿Se orienta el ensayo a una pregunta claramente definida. PISTAS: Una pregunta debe definirse en términos de: 1.- La población de estudio. 2.- La intervención realizada. 3.- Los resultados considerados.

2. ¿Fue aleatoria la asignación de los pacientes a los tratamientos?. PISTA: ¿Se mantuvo oculta la secuencia de aleatorización?.

3. ¿Fueron adecuadamente considerados hasta el final del estudio todos los pacientes que entraron en él?. PISTAS: 1.- ¿El seguimiento fue completo?. 2.- ¿Se analizaron los pacientes en el grupo al que fueron aleatoriamente asignados?.

4. ¿Los pacientes se mantuvieron ciegos al tratamiento?.

5. ¿Fueron ciegos quienes evaluaron la evolución de los pacientes y recogieron esa información?.

6. ¿ El personal del estudio se mantuvo ciego con respecto al tratamiento?.

7. ¿Eran similares los grupos al comienzo del ensayo?. PISTA: En términos de otros factores que pudieran tener efecto sobre el resultado: edad, sexo, etc. Si las eventuales diferencias se tuvieron en cuenta en el análisis, o van en contra de la hipótesis demostrada, contesta "Sí" .

8. ¿Las cointervenciones fueron similares en ambos grupos?. PISTAS: 1.- ¿Fueron similares los tratamientos que se usaron en ambos grupos además del que se estaba evaluando?. 2.- Si las eventuales diferencias se tuvieron en cuenta en el análisis, o van en contra de la hipótesis demostrada, contesta "Sí" .

9. ¿Cuán grande fue el efecto del tratamiento evaluado?. PISTAS: 1.- ¿Qué resultados se midieron?. 2.- ¿Qué estimadores se usaron?.

10. ¿Cómo es la precisión de la estimación del efecto del tratamiento?. PISTA: ¿Cuáles son sus intervalos de confianza?.

11. ¿Pueden aplicarse estos resultados en el medio o población de tu entorno clínico?. PISTA: ¿Crees que los pacientes incluidos en el ensayo son suficientemente parecidos a los que atienden en las consultas de tu entorno?.

12. ¿Se tuvieron en cuenta todos los resultados de importancia clínica?. PISTA: En caso negativo, ¿en qué afecta eso a la decisión a tomar con respecto al uso del tratamiento?.

13. ¿Los beneficios a obtener justifican los riesgos y los costes?. PISTA: Es improbable que pueda deducirse del ensayo pero, ¿qué piensas tú al respecto?.
    

Para artículos de correlación clínico-diagnóstica:

(Elaborado por el Comité Editorial del Área Científica del Web de la espalda considerando las recomendaciones del Centre for Review and Dissemination de la Universidad de York)
(http://www.york.ac.uk/inst/crd)

1. ¿Se han establecido dos grupos que permitan la comparación (sintomáticos / asintomáticos, con/sin hallazgos)?
2. ¿Se han llevado a cabo las pruebas y/o valoraciones de una forma adecuada?
3. ¿Ha existido un estándar de referencia adecuado?
4. ¿Ha sido adecuado el periodo de seguimiento?
5. Si hay pérdidas, ¿siguen siendo válidos los resultados a pesar de ellas?
6. ¿Se ha descrito qué se pretende con el test diagnóstico?
7. ¿Las características de la población a estudio han sido las adecuadas?
8. ¿Han sido adecuados los criterios de inclusión y exclusión? Si no se han descrito, diga "no".
9. ¿El tamaño de los grupos ha sido adecuado para el análisis realizado?
10. ¿Se han descrito las características de los pacientes?
11. ¿Se ha descrito la fuente de la población?
12. ¿Se han clasificado con claridad los resultados de las pruebas y valoraciones?
13. Si se ha usado un sistema propio de medición/clasificación, ¿se menciona o referencia su precisión? (Si todos son estándar, se considera que "si").
14. ¿Han sido ciegas las interpretaciones de las distintas valoraciones y mediciones?
15. El análisis estadístico realizado, ¿ha sido el adecuado para el objetivo planteado?
16. ¿Se han presentado los resultados en suficiente detalle?
17. ¿Se han interpretado correctamente los resultados?

Para artículos de diagnóstico:

(Modificado por el Comite del área Científica de Web de la espalda a partir de Mulrow et al. Assesing quality of a diagnostic test evaluation. Journal of General Internal Medicine. 1998;4:288-95)

1. Existió una comparación con una prueba de referencia adecuada?. PISTAS: ¿Es correcto el patrón de referencia ("gold standard")? (No siempre se puede aplicar el mismo patrón de referencia a todos los pacientes)

2. ¿Incluyó la muestra un espectro adecuado de pacientes?. PISTAS:- ¿Están adecuadamente descritos los pacientes y cómo se seleccionaron?- Casi cualquier prueba distingue entre sanos y gravemente enfermos.

3. ¿Existe una adecuada descripción de la prueba?. PISTAS: 1.- ¿Se define con claridad qué es un resultado positivo y qué es un resultado negativo?. 2.- ¿Se especifica la reproducibilidad de la prueba (éste puede ser un punto clave en pruebas que dependen del observador como las técnicas de imagen)?.

4. ¿Hubo evaluación "ciega" de los resultados?. PISTA: ¿Las personas que interpretaron la prueba conocían los resultados del patrón de referencia (y viceversa)?.

5. ¿ La decisión de realizar la prueba que constituía el patrón de referencia fue independiente del resultado de la prueba que se estaba evaluando?. PISTAS: Considerar: 1.- Si la prueba a evaluar se realizó preferentemente en pacientes a los que la prueba de referencia catalogaba como " enfermos " (y no en " sanos " ). 2.- Se utilizaron diferentes patrones de referencia en los pacientes en los que la prueba que se estaba evaluando dio resultados positivos y negativos.

6. ¿Se pueden calcular los cocientes de probabilidad (Likelihood ratios)?. PISTAS: 1.-¿Se han tenido en cuenta los pacientes con resultado "no concluyentes"?. 2.- ¿Se pueden calcular los cocientes de probabilidad para distintos niveles de la prueba, si procede?.

7. ¿Cuál es la precisión de los resultados?. PISTA: Hay que buscar o calcular intervalos de confianza de los cocientes de probabilidad.

8. ¿La reproducibilidad de la prueba y su interpretación es suficiente como para poder plantear su uso en el ámbito asistencial?. PISTA: Considera si el ámbito de la prueba es demasiado diferente al del escenario.

9. Considerando aspectos como la disponibilidad de la prueba, sus riesgos o molestias, y sus costes y utilidad práctica, ¿crees que es adecuado recomendar el uso de esta prueba?. PISTA: Considera la disponibilidad de la prueba, los riesgos/molestias de la prueba y los costes.

10. ¿Modificarán los resultados de la prueba la decisión sobre cómo actuar en la práctica clínica?. PISTAS: 1.- Desde el punto de vista clínico, si la prueba no modifica el tratamiento o pronóstico, es (al menos) inútil. 2.- Considera el umbral de acción y la probabilidad de enfermedad antes y después de la prueba.
    

Para revisiones sistemáticas y meta-análisis:

Modificado por el Cómite Editorial del Área Científica del Web de la Espalda a partir de Oxman AD, Guyatt GH. Guideliness for reading literature reviews. CMAJ. 1988; 138:698-703).

1. ¿Se hizo la revisión sobre un tema claramente definido?. PISTA: Un tema debe ser definido en términos: 1.- La población de estudio. 2.- La intervención realizada. 3.- Los resultados ("outcomes") considerados.

2. ¿Buscaron los autores el tipo de artículos adecuado?. PISTA: El mejor "tipo de estudio" es el que: 1.- Se dirige a la pregunta objeto de la revisión. 2.- Tiene un diseño apropiado para la pregunta.

3. ¿Crees que estaban incluidos los estudios importantes y relevantes?. PISTAS: Busca 1.- Qué bases de datos bibliográficas se han usado. 2.- Seguimiento de las referencias. 3.- Contacto personal con expertos.4.- Búsqueda de estudios no publicados. 5.- Búsqueda de estudios en idiomas distintos del inglés.

4. ¿Crees que los autores de la revisión han hecho suficiente esfuerzo para valorar la calidad de los estudios incluidos?. PISTA: Los autores necesitan considerar el rigor de los estudios que han identificado. La falta de rigor puede afectar al resultado de los estudios ("No es oro todo lo que reluce").

5. Si los resultados de los diferentes estudios han sido mezclados para obtener un resultado "combinado", ¿era razonable hacer eso?. PISTA: Considera si: 1.- Los resultados de los estudios están claramente presentados y eran similares entre sí. 2.- Están discutidos los aspectos por los que la combinación de los resultados de los estudios individuales puede haber modificado el resultado global de la revisión.

6. ¿Tienes claros los resultados finales de la revisión?. PISTA: Considera. ¿Cuáles son? (Numéricamente, si es apropiado)

7. ¿Cómo están expresados lo resultados?.

8. ¿Cuán precisos son los resultados?. PISTAS: 1.- Busca los intervalos de confianza de los estimadores. 2.- En caso de que no se haya realizado un metaanálisis, decide entre las tres últimas opciones.

9. ¿Se pueden aplicar los resultados en el sistema de salud, público o privado, de tu entorno?. PISTA: Considera 1.- Los pacientes incluidos en los estudios que forman la revisión ¿son similares o no a los de tu área?.

10. ¿Se han considerado todos los resultados importantes para decidir recomendar o no la aplicación de los resultados en la práctica clínica?.

11. ¿Los beneficios merecen la pena frente a los perjuicios y costes?. PISTA: Aunque no esté planteado explícitamente en la revisión, ¿qué opinas?
    

Para estudios sobre aspectos económicos:

(Elaborado por el Cómite Editorial del Área Científica del Web de la Espalda basado en M. F. Drummond "Principles of economic appraisal in health care" y McMaster Health Science Center "How to read clinical journals: VII: To understand and economic evaluation (Parts A and B) Can. Med. Asso. J. 1984).

1. ¿Queda claro el objetivo del estudio?
2. ¿Son cuantificables los objetivos?
3. ¿Queda claro si se trata de un estudio a nivel micro o macro?
4. ¿Queda claro el grupo (hospital, compañía de seguros, sociedad) desde cuyo punto de vista se plantea el estudio?
5. ¿Se ha omitido alguna alternativa importante a la tecnología propuesta? (Resultados sin aplicar la tecnología, placebo, otra tecnología, cambios en el estilo de vida, no hacer nada.)
6. ¿Se han evaluado tanto los costes como las consecuencias de la tecnología propuesta?
7. ¿Se han comparado varias alternativas?
8. ¿Ha sido completa la evaluación económica?
9. ¿Se han identificado los niveles relevantes donde se producen los costes y beneficios?
10. Si se ha realizado una estimación de los costes y los beneficios ¿quedan claras las asunciones en las que se basa?
11. ¿Se ha explicitado el modo de cálculo usado?
12. ¿Se han definido claramente las unidades de medición?
13. ¿Se han asignado valores cuantitativos (o cualitativos) adecuados a los distintos puntos del análisis?
14. ¿Se ha distinguido entre costes y consecuencias medios y marginales?
15. ¿Se ha hecho una consideración del factor tiempo en los costes y beneficios?
16. ¿Está justificado el uso de la tasa de descuento aplicada en dicha consideración?
17. ¿Se han justificado los rangos de valores de las variables relevantes en el análisis de sensibilidad?
18. ¿Se ha considerado la sensibilidad de los resultados a los cambios en las variables?
19. ¿Son las conclusiones consistentes con los resultados?
20. ¿Se discuten los resultados de una forma que resulte útil a quienes deben tomar las decisiones?
21. ¿Se discuten los resultados de una forma exhaustiva?

Para validación de instrumentos de medida:

(Creado por el Comité Editorial del Área Científica del Web de la Espalda )

1. ¿Se han descrito los criterios de inclusión y exclusión?
   
2. ¿Se han descrito las características de los sujetos de la muestra?
3. Los sujetos incluidos en el estudio ¿representan todo el espectro de gravedad con respecto a la variable que se desea medir? ( Por ejemplo, en una escala sobre incapacidad por lumbalgia para ser utilizada en el ámbito clínico correspondiente a atención primaria, ¿se han incluido pacientes con un grado alto, medio y bajo de incapacidad?)
4. ¿Los ítems fueron construidos mediante grupos de discusión o entrevistas estructuradas?
5. ¿Los ítems fueron construidos con metodología cualitativa entre futuros destinatarios de la escala?
6. ¿La escala cubre suficientemente los aspectos relevantes del concepto que se desea medir? (Por ejemplo, ¿se incluye en una escala sobre incapacidad por lumbalgia una muestra suficientemente representativa de las actividades cotidianas en las que la lumbalgia puede interferir?)
7. ¿El rango de los posibles valores de la escala es adecuado para discriminar la situación de los sujetos a los que se les va suministrar? (Por ejemplo, en una escala por incapacidad por lumbalgia , ¿el rango de los valores de la escala es suficiente para discriminar a los pacientes con un grado alto, medio o bajo de incapacidad?)
8. ¿Se valoró la comprensibilidad?
9. ¿La muestra incluye un mínimo de 50 sujetos?
10. ¿La muestra incluye 6 o más sujetos por cada ítem de la escala?
11. ¿Se ha evaluado la precisión (o concordancia)?
    1. Intraobservador
    2. Interobservador
    3. Consistencia interna
12. ¿Se evaluaron los distintos tipos de validez?
    1. De contenido
    2. De constructo
    3. De criterio
13. ¿Cada tipo de validez se analizó utilizando los métodos estadísticos adecuados?
14. ¿Cada tipo de precisión se analizó utilizando los métodos estadísticos adecuados?
15. Si existe un estándar de referencia (otra escala validada) ¿Se ha comparado la escala a evaluar con el estándar?
16. ¿Se ha valorado la sensibilidad a los cambios? (Por ejemplo, una escala que evalúa incapacidad ¿es capaz de detectar el empeoramiento o la mejoría de la incapacidad razonablemente; o no reflejar cambios si estos no se producen)
17. ¿Se recomienda administrar la escala de la manera que se hizo en el estudio de validación? (por ejemplo, autoadministrada, entrevistador, telefónica)
18. ¿Se ha utilizado un mecanismo de traducción/retrotraducción?
19. Si ha sido validada en otro ambiente cultural ¿Se ha realizado una adaptación transcultural?
20. ¿Aceptaría el artículo para su inclusión en el Web?
    

Mecanismos de control de calidad:

- Se envía automáticamente el 20% de los artículos a más de un evaluador, evaluándose la consistencia de sus evaluaciones.

- Además de ese mecanismo sistemático, se envían a más de un evaluador:

• Todos aquellos artículos en los que el Comité Editorial considera que hay un riesgo de generar evaluaciones dispares.
• Todos aquellos artículos que algún evaluador considera conveniente sean revisados por más de un evaluador.
• Todos los evaluadores mantienen reuniones periódicas para garantizar la mayor homogeneidad posible en el proceso de evaluación.
• Los criterios y la sistemática de evaluación se someten al juicio de la comunidad científica internacional mediante su publicación en revistas científicas y su discusión en los foros implicados en los sistemas de evaluación de la evidencia científica, evaluándose periódicamente los criterios de evaluación de acuerdo a las propuestas de los propios evaluadores y el criterio de la comunidad científica internacional
• El Comité Editorial supervisa periódicamente los artículos descartados y los motivos por los que lo fueron por el o los evaluadores que los revisaron.

El Comité Editorial revisa sistemáticamente el 20% de las evaluaciones de los artículos, tanto de los que han sido aprobados como de los que han sido rechazados.