Conclusión breve La publicación electrónica de trabajos biomédicos en Internet es una evolución inevitable del proceso editorial que redundará en beneficio de todos los participantes: el investigador, la editorial, el suscriptor, las bibliotecas y el clínico.
En los últimos años, el mundo de las publicaciones médicas ha experimentado también la llamada del control de calidad. Debemos tener en cuenta que la ciencia es una empresa que produce información, la investigación es una actividad y un método para producirla y la forma habitual de presentación en la ciencia es el artículo científico. La publicación es el producto final de la actividad científica y cada vez preocupa más la calidad de lo que se publica. Es ésta la razón de que los indicadores basados en las publicaciones (principalmente revistas), los bibliométricos, tengan una posición fundamental en los estudios cienciométricos. Se denomina bibliometría a la ciencia que estudia la naturaleza y curso de una disciplina (en tanto y en cuanto dé lugar a publicaciones) por medio del cómputo y análisis de las varias facetas de la comunicación escrita. Dado que la ciencia está inmersa en un medio multidimensional y no puede caracterizarse sin ambigüedad mediante un indicador simple, debemos esperar que el resultado de todo proceso de evaluación sea un indicador compuesto. JM López Piñero y ML Terrada introdujeron en España los estudios bibliométricos, y han desarrollado una continua labor de análisis y difusión de los indicadores bibliométricos en la actividad médico-científica.1-4 En el área de la Pediatría, los principales estudios bibliométricos se han realizado desde esta revista.5-11Se distinguen 5 tipos básicos de indicadores bibliométricos: de calidad, de circulación, de dispersión, de consumo de información y de repercusión. Con la progresiva introducción en nuestra práctica clínica del nuevo paradigma científico conocido como Medicina Basada en la Evidencia (MBE), cabe considerar un nuevo tipo de indicador bibliométrico dentro del concepto multidimensional de la calidad científica: los de evidencia científica. Si no es fácil delimitar qué es la MBE, más complicado resultará obtener indicadores bibliométricos objetivos para medir el grado de evidencia de las publicaciones científícas. Conocedores de estas limitaciones, nos propusimos los siguientes objetivos: 1) conocer los indicadores bibliométricos cuantitativos (de producción), los indicadores bibliométricos cualitativos (procedimientos estadísticos) y los indicadores bibliométricos de evidencia científica en artículos originales pediátricos publicados en Anales Españoles de Pediatría; 2) comparar estos indicadores bibliométricos de Anales con los artículos publicados en una revista pediátrica extranjera de elevada calidad (Pediatrics).MATERIAL Y METODOS
Fuentes del estudio Estudio bibliométrico de todos los artículos científicos publicados en los números ordinarios de Anales durante un período de 6.5 años (enero 1994 - junio 2000) y de Pediatrics durante un período de 1.5 años (enero 1999 - junio 2000). Se denominan números ordinarios a los que se confeccionan con los trabajos espontáneos que los autores envían a la Redacción de la revistas; no se incluyen en el estudio los suplementos, y en el caso de Pediatrics tampoco se consideran los resúmenes de la publicación electrónica. En el estudio seleccionamos sólo los artículos originales, ya que se consideran las publicaciones que tienen mayor probabilidad de reflejar la producción científica de mayor calidad. Cada artículo original es revisado manualmente, analizando todo el artículo pero con especial interés por los apartados Material y métodos y Resultados; cada uno de los artículos originales recibió un código numérico de identificación y se efectuó la revisión de las variables sometidas a análisis según el número de orden asignado. Variables estudiadas en los artículos originales
Indicadores bibliométricos cuantitativos. Para analizar la importancia cuantitativa se consideraron los indicadores bibliométricos de producción:5,6 autores por artículo, tipo de autores (con especial atención a la colaboración de epidemiólogos y/o bioestadísticos), área temática del artículo (en relación con las diversas secciones de subespecialidades pediátricas).
Indicadores bibliométricos cualitativos. Se analizaron los procedimientos estadísticos (reflejo indirecto de la complejidad del estudio), principalmente la accesibilidad estadística (categoría máxima de análisis estadístico utilizado en cada original), según un protocolo de revisión que incluyó 19 categorías. Esta lista es una adaptación de la que fue diseñada para evaluar métodos y accesibilidad estadísticos de los artículos publicados durante 1978 - 1979 en The New England Journal of Medicine,12 y que también ha sido utilizada posteriormente en otros trabajos.9,13 Interesan dos puntos de corte:
aquellos estudios que superaban el umbral de referencia situado en la regresión simple (accesibilidad > 7), para valorar el número de originales que efectúan únicamente técnicas bivariables (contenido de un curso básico de bioestadística) respecto de los que contienen métodos más complejos y análisis multivariables (contenido de un curso avanzado de bioestadística)
aquellos estudios que no presentaban ningún contenido estadístico o sólo estadística descriptiva (accesibilidad < 2)
El propósito es identificar el número de originales que incluyen sólo análisis descriptivos en relación con los que contienen alguna técnica inferencial.
Indicadores bibliométricos de evidencia científica. Proponemos dos tipos de indicadores de evidencia científica en las publicaciones:
Primarios. Nivel de calidad de la evidencia científica de los tipos de diseño, clasificado como bueno o A (metaanálisis, ensayo clínico aleatorizado), regular o B (ensayo clínico no aleatorizado, estudio de cohorte, estudio caso-control) y malo o C (estudios transversales, series clínicas);14 consideramos como evidencia "aceptable" de una publicación el conjunto de la evidencia de grado A y B.
Secundarios. Utilización de conceptos metodológicos apropiados en MBE, dentro de lo que se conoce como valoración crítica de documentos: en la valoración de publicaciones sobre tratamiento, la medida de la fuerza de asociación se expresa mediante dos conceptos, odds ratio y riesgo relativo; mayor valor en MBE tiene su expresión como medida de impacto en la práctica clínica: reducción de riesgo relativo, reducción de riesgo absoluto y, principalmente, como número de pacientes a tratar (NNT); en MBE, todos estos estimadores deben consignarse con cierto grado de precisión, mediante intervalos de confianza, que indican la magnitud y sentido de una diferencia (en contraste con p, claramente en desuso, que sólo nos indica diferencia significativa desde el punto de vista estadístico);15en la valoración de publicaciones sobre pruebas diagnósticas, la MBE va más allá de la sensibilidad, especificidad y valores predictivos, siendo fundamental conocer el cociente de probabilidad, que nos permitirá calcular la probabilidad posprueba a partir de cualquier probabilidad preprueba, y la diferencia nos indicará la utilidad de la prueba diagnóstica (bien mediante cálculo matemático o por el normograma de Fagan); la fiabilidad de una prueba diagnóstica viene determinada por la concordancia de sus mediciones (variaciones intraobservador e interobservador), lo que se mide por el índice kappa.16
Consideramos conceptos metodológicos "fuertes" en MBE el número de pacientes a tratar y los cocientes de probabilidad, con probabilidad preprueba y posprueba; el resto los consideramos como conceptos "blandos".Análisis estadístico Para comparar las medias de las variables continuas se utilizó la prueba de la t de Student en datos paramétricos y la de Kruskall-Wallis en no paramétricos, con un nivel de significación alfa del 5%; las diferencias de medias con un valor de p < 0.05 fueron tomadas como estadísticamente significativas. Para comparar la distribución de las variables categóricas se utilizaron pruebas de Chi cuadrado, aplicando la corrección de Yates y/o la prueba exacta de Fisher cuando fue necesario. Se estimaron los odds ratio (OR) asociados a cada variable con sus intervalos de confianza del 95% (IC 95%), considerándose como estadísticamente significativos aquellos cuyo intervalo no incluya el valor nulo, OR = 1.RESULTADOS
Análisis bibliométrico de la evidencia científica en artículos originales de Anales (enero 1994 - junio 2000) Durante el período de estudio, Anales publicó 1.778 artículos, con 733 originales. Las principales áreas temáticas fueron Neonatología (177 originales), Enfermedades infecciosas (99) y Pediatría general (90). La mediana se ubicó en 6 autores/artículo, constatándose la colaboración de epidemiólogos o bioestadísticos en el 12.7% de los originales. Hubo exceso de artículos con accesibilidad estadística < 2 (39%) y escasa presencia de originales con accesibilidad > 7 (17.7%). La abrumadora mayoría (65%) de estudios descriptivos se refleja en la calidad de la evidencia científica: buena en el 3% de los artículos originales (n = 22), regular en el 30.4% (n = 223) y mala en el 66.6% (n = 488); es decir, sólo la tercera parte del total de artículos de Anales tiene evidencia "aceptable". El 10.2% de los artículos utilizan conceptos epidemiológicos apropiados en MBE, principalmente conceptos "blandos" (odds ratio, riesgo relativo, intervalo de confianza, etc) y sólo se constató un concepto "fuerte" en un artículo referido a cirugía pediátrica sobre pruebas diagnósticas, que empleó el cociente de probabilidad. Los artículos originales en que colaboran epidemiólogos y/o bioestadísticos presentan diferencias estadísticamente significativas respecto de la mayor accesibilidad estadística, mejor grado de evidencia científica y mayor uso de conceptos metodológicos apropiados en MBE. El área temática de Neumonología presenta los mejores indicadores bibliométricos cualitativos y de evidencia científica. Diferencias temporales entre los artículos originales publicados en Anales en el período enero 94 - junio 95 frente al período enero 99 - junio 00. Mayor complejidad de los estudios estadísticos (accesibilidad > 7 en 12.3% vs. 23.1%) y mayor uso de conceptos metodológicos apropiados en MBE (4.8% vs. 12.5%), que no se han reflejado en mejora de la calidad de la evidencia científica (evidencia "aceptable" en 29.4% vs. 25.6%).Comparación de la evidencia científica en artículos originales de Anales y Pediatrics (enero 1999 - junio 2000). Durante el período de estudio, Anales publica un total de 402 artículos y Pediatrics 705, pero con diferente distribución en el tipo de los trabajos. Anales publica, de forma estadísticamente significativa, mayor número de notas clínicas y artículos especiales y Pediatrics mayor número de editoriales, cartas al director e informes; sin embargo, el porcentaje de originales (motivo del estudio) es similar (39.8% en Anales y 42.5% en Pediatrics).Al analizar las diez principales temáticas en los artículos originales de Anales (n = 160) y de Pediatrics (n = 300) encontramos una similar distribución para las distintas áreas: en ambas revistas Neonatología es la más importante, y las áreas Pediatría general y Enfermedades infecciosas le siguen en importancia. De este modo, las tres áreas temáticas abarcan el 47% del total de originales de Anales y el 60% del total de Pediatrics.No se observan diferencias significativas respecto de la autoría de los originales en los aspectos cuantitativos, pero sí diferencias cualitativas: la colaboración de epidemiólogos o bioestadísticos se constata en el 31.3% de los artículos originales de Pediatrics, frente al 11.9% de Anales (OR = 3.39; IC 95%: 1.92-6.02; p = 0.000003). Se detectan diferencias muy significativas en relación con el grado de calidad de la evidencia científica de los artículos originales: las evidencias grado A y grado B en Pediatrics son, respectivamente, 10 y 2 veces más frecuentes que en Anales. Globalmente encontramos un nivel de evidencia "aceptable" en Pediatrics en el 67%, frente a sólo un 25.7% en Anales. Y también encontramos diferencias en el uso de conceptos metodológicos de la MBE: en el 38.3% de los originales de Pediatrics, frente al 12.5 % de Anales (OR = 4.35; IC 95%: 2.51-7.61; p = 0.00000). Estas últimas diferencias no sólo son cuantitativas, sino también cualitativas: como conceptos "fuertes" en Pediatrics detectamos 12 estudios de costo-eficacia, 5 metaanálisis y/o revisiones sistemáticas, 3 estudios de pruebas diagnósticas que utilizan cocientes de probabilidad y un estudio sobre tratamiento que expresa el NNT; en cambio, en Anales no detectamos ningún concepto metodólogico "fuerte" propio de la MBE en el período de estudio. DISCUSION
Limitaciones del estudio. Todo análisis que pretenda objetivar el valor de la ciencia y las publicaciones está sometido a una serie de limitaciones, que en nuestro estudio se pueden agrupar en tres aspectos fundamentales:
Limitación con respecto a los indicadores bibliométricos de calidad científica (si bien barajamos un indicador compuesto, basado en aspectos cuantitativos, cualitativos y de evidencia científica, intentando abarcar un aspecto multidimensional).
Limitación respecto a la fuente de estudio (la revista Anales como órgano oficial de la Asociación Española de Pediatría y por ser la revista pediátrica con mayor visibilidad en lengua castellana; la revista Pediatrics como órgano oficial de la Asociación Americana de Pediatría y por ser la revista pediátrica con mayor factor de impacto internacional).
Limitación respecto al revisor (los posibles sesgos de interpretación que hayan podido ocurrir al constar sólo un único revisor se habrán distribuido de forma equiparable en ambas revistas).
Aunque, evolutivamente en el tiempo, Anales presenta mayor complejidad estadística y uso de conceptos metodológicos propios de la MBE, no han sido elementos suficientes para mejorar la calidad de la evidencia científica: evidencia "aceptable" en un tercio de los originales. Recurrir a la colaboración de epidemiólogos o bioestadísticos constituye el primer paso razonable para mejorar la evidencia científica en Anales. Desde el punto de vista de los indicadores bibliométricos cuantitativos se destacan las áreas temáticas de Neonatología, Enfermedades infecciosas y Pediatría general, y desde el punto de vista de los indicadores bibliométricos cualitativos (mejor calidad de la evidencia científica, mayor uso de conceptos metodológicos de MBE, mayor nivel de accesibilidad estadística) se destaca el área temática de Neumonología. Las diferencias bibliométricas detectadas con Pediatrics marcan un buen patrón de referencia para mejorar la calidad científica de nuestras publicaciones. La inclusión de una revista en repertorios internacionales (principalmente en Science Citation Index, SCI) debe apoyarse en criterios de calidad científica; si estos criterios de calidad se orientan a través de la MBE, convierten a esa publicación en una buena guía para facilitar la toma de decisiones y, consiguientemente, racionalizar la práctica clínica.La evolución de los indicadores bibliométricos de calidad científica en Anales es positiva a lo largo de los años, pero queda camino por recorrer. Ese camino de excelencia es labor conjunta de todos los que contribuimos a mantener la revista viva: equipo editorial, revisores, autores y lectores.ACTUALIZACIÓN DEL ARTÍCULO
En el número de agosto de 2002 se publicaron varios artículos en relación con la evaluación de la actividad científica de Anales Españoles de Pediatría,17-21 todos los cuales se han hecho eco de los resultados del estudio presentado:
En el artículo "Análisis de la repercusión de Anales Españoles de Pediatría a través del Science Citation Index durante el período 1997-2001"18 se obtiene un factor de impacto de la revista que oscila entre 0.052 y 0.101, con un factor de impacto ponderado (en relación con la revista de mayor impacto del área Pediatría) que osciló entre 0.014 y 0.028. Se constata considerable dispersión de la revistas fuentes o citadoras incluidas en SCI, pero se aprecia un predominio de Revista de Neurología (22%) y Medicina Clínica (6.7%); resulta llamativo que las citas procedentes de revistas nacionales de Medicina interna y especialidades médicas suponen el 34.3% de las recibidas por Anales, mientras que las originadas en revistas contenidas en la sección Pediatría del Journal Citation Reports sólo representan el 22.2%. Más de un tercio de las citas recibidas por Anales procedían de revistas en España (35.6%), seguida por las revistas editadas en Estados Unidos (28.4%) y Reino Unido (11.7%). Es patente que la mayoría de las citas realizadas a nuestra revista proceden de artículos publicados por autores españoles; poco más de un tercio proviene de otros países. Pese al predominio de citas nacionales, en su mayoría no son atribuibles a un fenómeno de autocitación (14.3% durante el período de estudio). De las distintas áreas temáticas, han tenido un protagonismo especial las de Neurología (16.9% de las citas recibidas), Enfermedades infecciosas (16.2%) y Neonatología (14.8%); la llamativa repercusión del área de Neurología podría ser atribuida a un fenómeno de cocitación con Revista de Neurología.El factor de impacto de Anales resulta discreto, pero muy similar al de otras publicaciones seleccionadas entre las 71 que en el año 2000 configuran la sección Pediatría del SCI, e incluso superior al de revistas de otras áreas biomédicas. A partir de estos resultados, se plantean la conveniencia de potenciar la citación de Anales y los efectos tan favorecedores que supondría su inclusión en el SCI.
En el artículo "Evaluación de la calidad de Anales Españoles de Pediatría frente a Medicina Clínica"19 se analiza la valoración crítica de los artículos originales de Anales (21 ítems) en los años 1999, 2000 y 2001 (se constata una mejoría metodológica evolutiva), y también se comparan 40 originales de Anales con 40 originales de Medicina Clínica publicados en el año 2001 (Medicina Clínica publica, significativamente, artículos originales con mayor evidencia científica, utiliza mayores tamaño muestrales y mayor complejidad estadística en sus publicaciones).
En el artículo "Publicaciones pediátricas españolas en PubMed en los años 1996 y 2001"20 se estima que en los últimos 5 años han aumentado en 37.5% las publicaciones pediátricas españolas de PubMed incluidas en el SCI. En el año 2001, el 33% de los artículos tenían un factor de impacto < 1, el 16% entre 1-2, el 20% entre 2-3 y el 8.5% > 3. La característica de los artículos relacionados con haber sido publicados en revistas con factor de impacto >2 fueron las siguientes: publicaciones realizadas en revistas de difusión general no pediátricas (OR = 3; IC 95%: 1.17-7.69) y existencia de análisis de regresión múltiple en la estadística (OR = 3.27; IC95% 1.12-9.56), estudios multicéntricos (OR= 4.2; IC 95%: 1.1-22.4) y artículos relacionados con Inmunología o Biología molecular (OR = 2.45; IC 95%: 1.01-5.92).
En el artículo "Anales Españoles de Pediatría 2001: evolución de los indicadores bibliométricos de calidad científica"21 se profundiza en los aspectos previamente referidos en el artículo motivo de análisis. Uno de los resultados más importantes de este artículo es valorar las diferencias temporales entre los artículos originales publicados en Anales durante el período 2001 y el período 1994-junio 2000: con el paso del tiempo encontramos diferencias significativas respecto de la mayor colaboración de epidemiólogos o bioestadísticos (19.7%) en la autoría del trabajo, que se traduce en mayor complejidad de los estudios estadísticos (accesibilidad > 7 = 25%) y mayor uso de conceptos metodológicos propios de la MBE (19.7%), pero que no se ha reflejado en mejoría de la calidad de la evidencia científica en Anales. Destacamos dos aspectos llamativos en el año 2001: el menor porcentaje de originales (por aumento de otras secciones, como cartas al director y artículos especiales) y el especial interés por artículos que versan específicamente sobre MBE o su metodología, lo que sin duda es un claro ejemplo del interés de la comunidad pediátrica de nuestro país por este paradigma de pensamiento científico que se refleja en distintos ámbitos (reuniones científicas, cursos de formación, foros de Internet, etc). También se destacan dos aspectos novedosos en Anales durante este período de estudio, que han contribuido a mejorar la difusión y visibilidad de la revista: en primer lugar, la distribución gratuita de la publicación en formato en papel a todos los socios de la Asociación Española de Pediatría; y, en segundo lugar, el acceso gratuito a la versión electrónica en Internet (www.doyma.es/anpediatr), con la posibilidad de descargar los artículos en formato pdf. Toda revista biomédica de prestigio ofrece, hoy día, de manera simultánea la versión en papel y la versión electrónica en Internet (con acceso gratuito a los contenidos o previa suscripción). En conjunto, la publicación electrónica de trabajos biomédicos en Internet es una evolución inevitable del proceso editorial que redundará en beneficio de todos los participantes: el investigador, la editorial, el suscriptor, las bibliotecas y el clínico.Las diferencias detectadas con Pediatrics siguen siendo un buen patrón de referencia para mejorar la calidad científica de Anales: volver a alcanzar un porcentaje de originales de alrededor del 40% del total de artículos publicados, y cuyo diseño corresponda a estudios analíticos o experimentales (limitando, en lo posible, los estudios descriptivos).
Bibliografía del artículo
López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (I) Usos y abusos de la bibliometría. Med Clin (Barc) 1992; 98:64-68.
López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (II) La comunicación científica en las distintas áreas de las ciencias médicas. Med Clin (Barc) 1992; 98:101-106.
López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evalución de la actividad médico-científica. (III) Los indicadores de producción, circulación y dispersión, consumo de la información y repercusión. Med Clin (Barc) 1992; 98:142-148.
López Piñero JM, Terrada ML. Los indicadores bibliométricos y la evaluación de la actividad médico-científica. (IV) La aplicación de los indicadores. Med Clin (Barc) 1992; 98:384-388.
González de Dios J, Moya M. Estudio bibliométrico de "Anales Españoles de Pediatría" (Década 1.984-1.993) I: Análisis de los artículos publicados. An Esp Pediatr 1.995; 42: 2-10.
González de Dios J, Moya M. Estudio bibliométrico de "Anales Españoles de Pediatría" (Década 1.984-1.993) II: Análisis de las referencias bibliográficas. An Esp Pediatr 1.995; 42: 11-18.
Aleixandre Benavent R, Giménez Sánchez JV, Terrada Ferrandis ML, López Piñero JM. Análisis del consumo de información en la revista Anales Españoles de Pediatría. An Esp Pediatr 1.995; 43: 399-406.
González de Dios J. Cartas al director: la vitalidad científica de una revista biomédica. An Esp Pediatr 1.995; 43: 221-222.
González de Dios J, Moya M. Evaluación del uso de procedimientos estadísticos en los artículos Originales de "Anales Españoles de Pediatría": Comparación de dos períodos (1.989-90 y 1.994-95). An Esp Pediatr 1.996; 45: 351-360.
González de Dios J, Moya M, Mateo MA. Indicadores bibliométricos: características y limitaciones en el análisis de la actividad científica. An Esp Pediatr 1.997; 47: 235-244.
González de Dios J, Pérez-Aytes A. Genética y dismorfología en el contexto de las subespecialidades pediátricas. An Esp Pediatr 1.999; 51: 222-229.
Emerson JD, Colditz GA. Use of statistical analysis in The New England Journal of Medicine. N Engl J Med 1983; 309:709-713.
Mora Ripoll R, Ascaso Terren C, Sentis Vilalta J. Uso actual de la estadística en investigación biomédica: una comparación entre revistas de medicina general. Med Clín (Barc) 1.996; 106: 451-456.
González de Dios J. Niveles de calidad de la evidencia científica. Pediatr Integral 1.999; 4:108-113.
Guyatt GH, Sackett DL, Cook DJ. User´s guide to the medical literature. II. How to use an article about therapy of prevention. B. What were the results and will they help me in caring for my patients. JAMA 1994; 271:59-63.
Jaeschker R, Guyatt G, Sackett DL. User´s guide to the medical literature. III. How to use an article about a diagnostic test. B. What are the results and will they help me in caring for my patients. JAMA 1994; 271:703-707.
García del Río F. Evaluación de la actividad científica de Anales Españoles de Pediatría. An Esp Pediatr 2002; 57: 107-109.
García del Río F, Mayoralas Alises S, Esparza Paz P, González Pérez-Yarza E. Análisis de la repercusión de Anales Españoles de Pediatría a través del Science Citation Index durante el período 1997-2001. An Esp Pediatr 2002; 57: 131-137.
Bonillo Perales A. Evaluación de calidad de Anales Españoles de Pediatría frente a Medicina Clínica. An Esp Pediatr 2002; 57: 138-140.
Bonillo Perales A. Publicaciones pediátricas españolas en PubMed en los años 1996 y 2001. An Esp Pediatr 2002; 57: 152-156.
González de Dios J. Anales Españoles de Pediatría 2001: evolución de los indicadores bibliométricos de calidad científica. An Esp Pediatr 2002; 57: 141-151.
Conclusión breve
Principal: Pediatría, 