El término metaanálisis fue empleado por primera vez por GV Glass en 1976, para referirse al análisis estadístico del conjunto de resultados obtenidos en diferentes ensayos clínicos sobre una misma cuestión, con la finalidad de evaluarlos de manera conjunta. Fue inicialmente aplicado en ciencias sociales y psicología.¹ A partir de la década de los ochenta se comenzó a aplicar de manera creciente en medicina, y en la actualidad son muy frecuentes los artículos que describen resultados de metaanálisis en publicaciones médicas.

En medicina el metaanálisis se aplica sobre todo en las siguientes situaciones:

• para comprobar la consistencia de los ensayos en los que se ha evaluado una intervención determinada y generar un estimador del efecto, que en principio debe tener mayor poder estadístico que el obtenido en cada ensayo por separado;
• para comprobar la consistencia de los resultados de diferentes ensayos clínicos sobre una misma intervención en una misma patología;
• para identificar con mayor precisión los subgrupos de pacientes con posibilidades de responder de manera diferente del promedio a una determinada intervención;
• para calcular cuántos pacientes sería necesario incluir en futuros ensayos clínicos sobre un problema determinado, y
• para cuantificar la incidencia de efectos indeseados, que, por ser baja, requiere un número elevado de pacientes.²

La idea de agregar los datos de diferentes ensayos para examinar este tipo de problemas es sugerente, y ha permitido grandes avances en el conocimiento de la historia natural de numerosas patologías y de sus posibles tratamientos. La Colaboración Cochrane (véase Colaboración Cochrane en el Glosario) desarrolla una labor de recopilación y análisis de ensayos clínicos tan imprescindible como ejemplar, y en su web se puede encontrar amplia información sobre sus métodos de trabajo y una extraordinaria base de datos, en forma de metaanálisis, sobre numerosísimos aspectos de la terapéutica farmacológica y de otras intervenciones preventivas y educativas en salud.

Como todo método epidemiológico, sin embargo, el metaanálisis tiene limitaciones que se comentarán a continuación.

Los dos principales problemas metodológicos de los metaanálisis son la posible heterogeneidad de los ensayos clínicos agregados y el llamado sesgo de publicación. En teoría, la agregación de datos de múltiples ensayos clínicos debe potenciar la precisión y la exactitud de cualquier resultado agregado. No obstante, combinar datos implica presuponer que las diferencias entre estudios se deben al azar, cuando en realidad se deben a otros factores, como diferencias más o menos sutiles en las poblaciones participantes, en la definición y la medición de las variables estudiadas, y en el diseño del estudio y su calidad metodológica general. Cualquier persona que haya participado en un proyecto de investigación clínica sabe cómo pueden variar los resultados obtenidos y la interpretación que de ellos se hace, sólo con ligeras variaciones (inapreciables a primera vista) en el protocolo del estudio. Por lo tanto, el metaanálisis puede generar resultados equívocos porque ignore una heterogeneidad real entre los estudios, y, de manera inadvertida, borre los sesgos de un ensayo simplemente compensándolos con los de sentido contrario de otro ensayo (véase Heterogeneidad en el Glosario).³

Una vez se ha formulado la pregunta y se ha considerado su pertinencia, el paso siguiente en un metaanálisis consiste en identificar de manera exhaustiva y sistemática todos los ensayos realizados sobre la cuestión objeto del estudio. Esto se puede hacer de manera artesanal, con la ayuda de bases de datos bibliográficos o, de manera más fiable, de las dos maneras a la vez. Además, es muy conveniente mantener comunicación con los investigadores conocidos sobre el problema de interés, para solicitarles información sobre la posible existencia de otros ensayos y otros estudios relevantes, publicados o no.^4,5 Cuando se analizan efectos de medicamentos o de productos sanitarios, es también conveniente recabar la colaboración de los laboratorios fabricantes. Sería de desear que las administraciones públicas, que en algunos países son los únicos organismos que pueden conocer de manera completa los ensayos clínicos en curso, también pusieran de manifiesto su voluntad de participar de manera activa en este tipo de iniciativas.

Es bien sabido que muchos ensayos terminados no llegan a publicarse. Esto es más frecuente cuando el resultado del ensayo es "negativo", es decir, cuando no se demuestran diferencias significativas entre los grupos comparados o bien cuando es desfavorable a un nuevo fármaco del patrocinador. En estos casos, el investigador y el patrocinador (generalmente una compañía farmacéutica) suelen tener menos interés en preparar un artículo para publicar. Por otra parte, los directores de revistas médicas (periodistas al fin y al cabo) tienen más tendencia a rechazar su publicación, porque los resultados "negativos" no suelen ser noticia. También se ha comprobado que los ensayos clínicos en los que no se hallan diferencias tardan más tiempo en ser publicados. 6,7 Por estos motivos, los metaanálisis que sólo incluyen los ensayos clínicos publicados sobre la cuestión objeto de estudio tienden a dar un resultado sesgado. También puede ocurrir que un mismo ensayo haya sido publicado más de una vez, en formas aparentemente diferentes; la publicación duplicada también puede introducir un sesgo, que favorece la tendencia de los resultados de los ensayos que han sido objeto de publicación duplicada (véase la tabla 7).^8-14 Además, se ha comprobado que en una proporción de metaanálisis se ignoran los ensayos clínicos publicados en idiomas distintos del inglés,^15-17 y se ha visto que la proporción de ensayos "negativos" es mayor en lenguas no inglesas.¹⁷ Dada su naturaleza, es muy difícil impedir el sesgo de publicación, o por lo menos hacerse una idea de su magnitud.^18-22

Se han propuesto por lo menos dos maneras de explorar la posibilidad y la cuantía del sesgo de publicación. La más simple consiste en hacer un análisis de sensibilidad, y calcular el número de ensayos clínicos negativos realizados y no publicados que debería haber para modificar el sentido de una eventual conclusión "positiva"obtenida con un metaanálisis (véase Análisis de sensibilidad en el Glosario). Si este número es muy elevado, se considera que la probabilidad de que el sesgo de publicación haya modificado sustancialmente los resultados es baja, y se acepta la existencia de las diferencias entre dos tratamientos sugeridas por el metaanálisis.

También se puede examinar la posibilidad de sesgo de publicación con el método conocido como el gráfico en embudo (funnel plot)²³ (véase este término en el Glosario). Se parte del supuesto de que los ensayos que tendrían mayor probabilidad de no ser publicados serían los que no muestran diferencias (ensayos "negativos"), tanto más si eran de pequeño tamaño. Inversamente, si hubiera sesgo de publicación, entre los ensayos pequeños (en los que hay mayor probabilidad de que se alteren los resultados por azar) se tendería a publicar los que mostraran diferencias. En principio, en una comparación entre dos opciones terapéuticas, los diferentes ensayos clínicos realizados sobre una misma cuestión deberían

producir unos estimadores de diferencias (en forma de razón de ventajas o de riesgo relativo) para cada ensayo que se agruparían alrededor de un estimador central (el "verdadero"estimador), y mostrarían tanta mayor dispersión alrededor de este valor cuanto más pequeño fuera su tamaño, de modo que si se representara una gráfica que en el eje de ordenadas indique el número de pacientes en cada ensayo y en el de abscisas la magnitud del riesgo relativo, la nube de puntos se distribuiría en forma de embudo al revés (con la base hacia abajo). Si hubiera sesgo de publicación en el sentido descrito anteriormente (de los ensayos pequeños, se tendería a haber publicado los que hubieran mostrado diferencias favorables al tratamiento evaluado), la nube de puntos resul- taría "deformada" y el embudo perdería su simetría, porque los ensayos de pequeño tamaño tenderían a disponerse hacia la parte derecha respecto al estimador central.¹⁹ De lo dicho se deduce que la principal debilidad de este razonamiento es que no se sabe qué tiende a ocurrir cuando el resultado de un ensayo clínico de pequeño tamaño sugiere que el nuevo tratamiento es peor que el de referencia. Por otra parte, la validez de este método ha sido evaluada en comparaciones de los resultados de metaanálisis sobre problemas concretos con los de grandes ensayos clínicos sobre el mismo problema; estas comparaciones no han confirmado totalmente la utilidad de este tipo de evaluación del sesgo de publicación.²⁴

Dado que el sesgo de publicación es difícil de identificar y de cuantificar, se ha propuesto que se evitaría su aparición si se pudiera acceder a bases de datos en las que se incluyan los ensayos clínicos en curso aprobados por los Comités Éticos de Investigación Clínica.^25-27 A pesar de su simplicidad conceptual, y de que se han puesto en marcha varios registros de este tipo,^28,29 esta opción no se ha materializado, probablemente debido a las dificultades organizativas para la coordinación entre los diferentes comités y a la heterogeneidad entre los objetivos y los contenidos de los diferentes registros actualmente en marcha.³⁰

Las técnicas estadísticas aplicadas en los metaanálisis presuponen que la importancia de la contribución de cada ensayo clínico depende directamente del número de pacientes incluidos, de modo que los ensayos con mayor número de pacientes contribuyen más al resultado final del metaanálisis que los de pequeño tamaño. Dado que en cada ensayo clínico se aplican criterios diferentes, su rigor metodológico también será diferente. Naturalmente, en un metaanálisis se deben predefinir los criterios de inclusión de los ensayos clínicos, de modo que siempre podrá haber ensayos excluidos. No obstante, entre los que cumplen los criterios de inclusión, la calidad puede ser variable. Por este motivo, se han propuesto métodos que ajusten el peso de la contribución de cada ensayo según su calidad metodológica. A tal fin, se han desarrollado numerosas escalas de puntuación de la "calidad" de los ensayos. El interés de estas escalas es muy relativo, pues sus componentes no sólo deben depender de criterios intrínsecos de calidad (por ej., representatividad de la población participante, calidad de la técnica de asignación aleatoria, calidad del enmascaramiento, etc.), sino también de la hipótesis examinada en cada caso.³¹ La evaluación de la calidad de cada uno de los ensayos considerados debe realizarse a ciegas, lo que implica que se deben "enmascarar" los artículos, fotocopias o documentos electrónicos examinados, de manera que no se pueda reconocer en qué revista han sido publicados.³²

El acceso electrónico a un número creciente de publicaciones médicas y la posibilidad de modificar automáticamente su formato pueden facilitar extraordinariamente esta labor.

El método ideal de análisis de los resultados de un metaanálisis no sólo tiene que permitir la obtención de un valor agregado, sino que además debe tener en cuenta el tamaño de la muestra de cada ensayo y su heterogeneidad. La premisa básica en la que se sustentan los métodos de análisis es que sólo se pueden realizar comparaciones directas entre los participantes del grupo experimental de un ensayo y los del grupo control del mismo ensayo, pero no se pueden comparar los participantes de un ensayo con los de otro.

Las técnicas estadísticas más empleadas son dos. La de Mantel y Haenszel modificada por Peto³³ combina los valores de razones de ventajas (odds ratio) de los ensayos incluidos, y por lo tanto utiliza una escala multiplicativa de la medida de los efectos. Se asume que existe homogeneidad entre los diferentes estratos, pero permite aplicar a los mismos una prueba estadística de heterogeneidad. En primer lugar, se calcula, para cada ensayo, el número de acontecimientos esperados (E) en el grupo experimental si se cumpliera la hipótesis nula (es decir, si la tasa fuera la misma que en el grupo de control). A continuación, se resta este número de esperados del número de los realmente observados (O) (véase la figura 10). Si se suman las diferencias (O-E) de cada ensayo y las varianzas de estas diferencias, se puede calcular un estadígrafo (y su varianza), que se denomina gran total (véase la figura 11). Como ya se ha dicho, el estimador empleado es la razón de ventajas (OR), con indicación de su intervalo de confianza (generalmente al 95%, pero no es raro que se presente al 99%, cuando el poder estadístico es elevado). Si el intervalo de confianza incluye la unidad, se concluye que no se puede rechazar la hipótesis nula; si no la incluye, ésta es rechazada.³³

El método de DerSimonian y Laird asume la existencia de heterogeneidad, y asigna mayor variabilidad al estimador, lo que suele traducirse en intervalos de confianza más amplios.³⁴

Cuando se realiza un metaanálisis, es muy útil examinar los resultados de cada ensayo incluido y los globales en una forma gráfica, que permita una interpretación sencilla y rápida. Véase un ejemplo en la figura 12: en ella se muestran los resultados resumidos y agregados de ensayos clínicos sobre prevención secundaria de la cardiopatía isquémica con antiagregantes plaquetarios. Se indican los resultados de cada uno de los ensayos incluidos en el metaanálisis, el valor agregado para los de prevención de patología vascular cerebral, de infarto de miocardio y de angina inestable, además de un valor agregado global para todos los ensayos clínicos incluidos en el metaanálisis. En este tipo de gráfico cada ensayo está representado por un cuadrado negro, de tamaño proporcional al tamaño de la muestra del ensayo; el intervalo de confianza del estimador está representado por la línea horizontal. Así, un ensayo con un número elevado de pacientes se representa con un cuadrado de gran tamaño, que suele acompañarse de un intervalo de confianza estrecho. En el eje de abscisas se representan los valores de OR. El valor correspondiente a la hipótesis nula (OR=1) se representa por una línea vertical continua, y el del estimador obtenido se representa en forma de línea vertical discontinua. Los valores de los resultados agregados se muestran con un rombo blanco, tanto más ancho cuanto mayor es su intervalo de confianza.

Cuando se observa que los resultados de cada ensayo son homogéneos, es apropiado aplicar un modelo estadístico de efectos fijos (véanse Modelo de efectos al azar, Modelo de efectos fijos y Modelo de efectos mixtos en el Glosario), pero si se encuentra heterogeneidad estadística y metodológica, es preferible aplicar un modelo de efectos al azar o un modelo de efectos mixtos.³⁵ Los modelos estadísticos que tienen dos términos de error estándar de la variabilidad por azar, uno para la variabilidad dentro de cada estudio y otro para la heterogeneidad entre estudios, se denominan modelos de efectos al azar; estos modelos parten de la suposición de que los verdaderos efectos de cada ensayo se sitúan al azar alrededor del mismo valor central.^35-38 Con los modelos de efectos al azar los intervalos de confianza calculados resultan más amplios que con los modelos de efectos fijos. Una limitación de los modelos de efectos al azar es que se asume que los estudios incluidos son representativos de una población hipotética de estudios, y que la heterogeneidad entre los ensayos puede ser representada por una sola varianza. Otra desventaja es que conceden un peso excesivo a los estudios pequeños.³⁵ Naturalmente, la fiabilidad de los resultados de metaanálisis mejora mucho cuando los resultados se examinan con datos individualizados de todos y cada uno de los pacientes que han participado en los ensayos clínicos incluidos,³⁹ pero raramente se ha podido reunir toda esta información en una misma base de datos.

Diversos trabajos han explorado la validez de los resultados de metaanálisis de ensayos clínicos, comparándolos con los resultados de grandes ensayos clínicos sobre la misma cuestión.^40-43

En un estudio se revisaron 30 metaanálisis de ensayos clínicos de pequeño tamaño sobre intervenciones en perinatología, y sus resultados fueron comparados con los de un ensayo único con una muestra grande (de más de 1.000 pacientes) sobre la misma cuestión. En un 80% de los casos la dirección de los resultados coincidió, pero la concordancia sobre la significación estadística de uno y otro fue menor.⁴¹

En otra revisión de 79 metaanálisis de intervenciones en perinatología realizados por la Colaboración Cochrane, se encontró una coincidencia de 80% a 90% en la dirección de los resultados. Se halló el doble de desacuerdos si se aplicaban modelos de análisis estadístico de efectos fijos. De 15 desacuerdos identificados con el modelo de efectos al azar, cinco podían atribuirse a diferencias en el pronóstico del grupo control, cuatro a diferencias en el protocolo, y uno a un posible sesgo de publicación; dos de los otros cinco desacuerdos eran clínicamente irrelevantes. Los autores concluyeron que generalmente los resultados de estudios pequeños son compatibles con los de estudios grandes, pero en ocasiones ocurren discrepancias, incluso si se consideran las diferencias de diseño entre ensayos grandes y pequeños; no obstante, es raro encontrar diferencias clínicamente importantes sin explicación. ⁴²

Una comparación de 12 ensayos clínicos de gran tamaño con 19 metaanálisis previos sobre problemas de diversas especialidades médicas llegó a conclusiones más pesimistas: a pesar de que se encontró congruencia en la dirección del efecto en un 80% de los casos, los resultados del metaanálisis hubieran conducido a la adopción de un tratamiento inefectivo en un 32% de los casos y a rechazar un tratamiento efectivo en un 33%.⁴³

Cuando existen, las discrepancias entre resultados de metaanálisis de ensayos pequeños y los de grandes ensayos clínicos sobre la misma cuestión suelen explicarse por la heterogeneidad de las poblaciones comparadas. Así por ejemplo, un metaanálisis concluyó que los suplementos de calcio durante la gestación son muy efectivos para prevenir la preeclampsia, pero un gran ensayo clínico ulterior no confirmó estos resultados. Se pudo comprobar que había una importante heterogeneidad entre las pacientes incluidas en los ensayos; cuando estos fueron diferenciados entre los que incluyeron a pacientes de alto riesgo y los que las incluyeron de bajo riesgo, se observó que los suplementos de calcio tienen un importante efecto beneficioso en las de riesgo elevado, pero en las de bajo riesgo, similares a las incluidas en el citado ensayo, el calcio no mostraba efecto protector. Así, se concluyó que los resultados del metaanálisis eran compatibles con los del ensayo clínico, y que la aparente discrepancia se debía a la heterogeneidad de los ensayos clínicos incluidos en el metaanálisis.⁴⁴

Un metaanálisis es riguroso si cumple una serie de condiciones: en primer lugar, es conveniente que participe un clínico, para no perder de vista la significación de lo que se examina. En segundo lugar, es preciso asegurar la calidad del análisis, con la participación de un bioestadístico. Es preciso definir cuidadosamente las preguntas, asegurar que no se deja de incluir ningún ensayo (evitar sobre todo los sesgos de publicación), aplicar criterios de inclusión estrictos y cuidadosamente definidos (de modo que finalmente puede que se llegue a incluir sólo un 10% de las publicaciones identificadas), expresar los resultados de los diferentes estudios en una escala común, evaluar la calidad de cada uno de los ensayos incluidos y examinar detalladamente cada uno de los estudios por separado. En términos generales, la mayor parte de las revisiones no ponen en duda la validez de los ensayos clínicos incluidos, y atribuyen las discrepancias a fallos o errores metodológicos en la realización del metaanálisis. En cualquier caso, lo más importante de los resultados de un metaanálisis no debe ser la magnitud del estimador obtenido, sino la dirección del efecto, la comparabilidad de los estudios incluidos y las posibles razones que expliquen las diferencias de resultados entre ellos.⁴⁵

En general, los metaanálisis cuidadosamente realizados pueden ofrecer un adelanto de la tendencia del efecto que será observada en ensayos clínicos con una muestra grande de pacientes. Sin embargo, cuando se usa sólo una de estas dos herramientas metodológicas, cabe preguntarse cuánta incertidumbre debe añadir el lector a la que ya indican los intervalos de confianza.

Análogamente a las directrices para la publicación de ensayos clínicos (véase el último apartado del Capítulo III), y con el fin de mejorar su calidad y facilitar su interpretación, se han publicado recomendaciones sobre la publicación de resultados de metaanálisis. Las recomendaciones del grupo QUORUM (Quality of Reporting of Meta-Analyses) son una lista de comprobación para evaluar más la mecánica de la realización de un metaanálisis que su pertinencia, coherencia o relevancia⁴⁶ (véanse CONSORT y QUORUM en el Glosario). El documento QUORUM es una lista de comprobación y un diagrama de flujos. La lista describe la manera de presentar el resumen, introducción, métodos, resultados y discusión de un artículo sobre metaanálisis. Está organizada en 21 entradas y subentradas referentes a la búsqueda, identificación y selección de los ensayos incluidos, la evaluación de su validez interna, las características de los ensayos incluidos, la síntesis cuantitativa de los resultados, y un diagrama de flujos de pacientes.⁴⁷

Índice