Publique un comentario ARTÍCULO ORIGINAL
Validez y fiabilidad de indicadores sintéticos para la vigilancia y control de la tuberculosis
Validity and reliability of synthetics indicators for tuberculosis surveillance and control
MSc. Luisa Armas Pérez, Dra.C. Dennis Pérez Chacón, Dra. Marta Castro Peraza, MSc. Alexander González Díaz, Dr.C. Edilberto González Ochoa
Instituto de Medicina Tropical “Pedro Kourí”. La Habana, Cuba.
RESUMEN
Introducción:
se considera necesaria la aplicación de nuevos indicadores sintéticos
que permitan evaluar la calidad del trabajo de los servicios de salud en la
etapa de posible eliminación de la tuberculosis en Cuba.
Objetivos:
apreciar la validez, fiabilidad, asequibilidad y factibilidad de dos indicadores
sobre intensidad y calidad de la detección de casos de tuberculosis.
Métodos:
estudio descriptivo-cualitativo. La validación se realizó en distintos
momentos entre marzo del 2009 y diciembre del 2011, mediante valoraciones de
expertos. Se elaboraron escalas numéricas ordinales para las categorías
valorativas de las variables intermedias de los indicadores, calculamos sus
medias aritméticas y el índice de posición. Para el indicador
sintético de la localización de casos, evaluamos la validez de aspecto,
contenido, capacidad predictiva, consistencia, coherencia, constructo, asequibilidad
y factibilidad mediante el mínimo =1 y el máximo =5. Las variables
del indicador sintético de detección de casos se calificaron según
su validez, fiabilidad y comparabilidad marcando 1 = nada, hasta 5 = muy. Ambos
indicadores se sometieron a una aproximación a la calificación de
válidos, reproducibles y factibles con 3 = sí; 2 = en parte y 1 =
0. Adicionalmente, se aplicó un cuestionario semiestructurado para explorar
opiniones de los usuarios sobre su utilidad, factibilidad y limitaciones.
Resultados:
el indicador sintético de detección de casos obtuvo calificación
máxima 5 para cinco criterios evaluados y 4,7 y 4,8 para otros dos criterios.
La mayoría de los criterios obtuvieron promedios entre 4 y 5 (IP ≥
0,90) para las variables del indicador sintético de detección de casos,
y entre 4,2 y 4,9 (IP 0,80 a 0,95) para las variables intermedias. Ambos
indicadores en una tercera evaluación obtuvieron la calificación máxima
5 y, en general, se consideran útiles y fáciles de manejar, sin embargo
su aplicación está limitada por falta de habilidades y de recursos
de los usuarios.
Conclusión:
en general los indicadores fueron considerados útiles y factibles.
Palabras clave: tuberculosis, indicadores sintéticos, eliminación, control, Cuba.
ABSTRAT
Objectives:
to appreciate the validity, reliability, accessibility and feasibility of two
composite indicators reflecting intensity and quality of tuberculosis case detection.
Methods:
is it a descriptive-qualitative study. The Indicators validation was carried
out in different moments between March of 2009 and December of 2011, by expert’s
evaluations. Ordinal numerical scales for the evaluative categories of the indicators
intermediate variables were elaborated, calculating their arithmetical means
and the position index (PI). For the cases finding indicator (Isiloc), were
evaluate the aspect validity, context, predictive capacity, consistency, coherence,
construct, accessibility and feasibility (minimum = 1 and maximum = 5). The
variables for cases detection indicator (Isidec) were rated in terms of validity,
reliability, comparability, specificity, sensibility, operability, affordability
and feasibility (1= none to 5 = very). Both indicators were valued to the grade
of valid, reproducible and feasible (3 = yes, 2 = partly and 1 = 0). Furthermore,
we applied a semi-structured questionnaire to explore opinions of the users
about their usefulness, feasibility and limitations.
Results:
isiloc obtained highest rating (5, PI = 1) for five evaluated approaches and
4,7 and 4,8 (PI 0,93 and 0,95) for other two approaches. For Isidec most of
the approaches obtained averages between 4 and 5 (P≥0,90, and the intermediate
variables obtained mostly averages between 4,2 and 4,9 (IP 0,80 to 0,95). Both
indicators in a third approaches obtained the highest rating (5, PI = 1) and
were generally considered useful and feasible, although its application was
limited by the lack of skills and resources of the users.
Conclusion:
validation of these indicators has been satisfactory and should continue to
apply its field test.
Key words: tuberculosis, composite indicators, elimination, control, Cuba.
INTRODUCCIÓN
Los objetivos del Ministerio de Salud Pública (MINSAP) de la República de Cuba se dirigen al incremento del estado de salud de la población, al aumento de la calidad y eficiencia de los servicios junto con una alta satisfacción de la población.1,2 En el campo de la tuberculosis (TB), el Plan Regional de las Américas3 insiste en los aspectos de la calidad de los procesos de control de esta enfermedad, sobreentendida como “hacer lo establecido y hacerlo bien, produciendo beneficios y la satisfacción de la población con el desempeño del programa y los servicios”.4 Para esto se aplican los estándares mundiales de calidad del desempeño del personal de salud.5-8 Para evaluar los progresos en este sentido se utilizan indicadores que pretenden medir la intensidad y calidad de los procesos; un buen indicador debe ser: válido, confiable, reproducible, específico, sensible, operacional, asequible, factible y comprensible.7 Así, el Programa Nacional de Control de la Tuberculosis (PNCT)8 cuenta con un conjunto de indicadores para su monitoreo y evaluación, pero necesita ajustarlos a las transformaciones incluidas en las políticas y estrategias actuales del MINSAP.1,2 En este sentido se ha desarrollado y propuesto el uso del indicador sintético de localización (Isiloc) y del indicador sintético de detección de casos de TB (Isidec), teniendo presente que un indicador sintético (o compuesto) es una variable-indicador que expresa en una cifra la conjunción de las dimensiones de otras variables-indicadores intermedios,9 favoreciendo la comparación y precisión del análisis de lo que se pretende evaluar. Durante sus pruebas iniciales10-15 surgieron las preguntas siguientes: ¿Cuán válidos son estos indicadores? ¿Cuán factible sería su aplicación extensiva? ¿Serían útiles y comprensibles para los responsables del PNCT y los dirigentes tomadores de decisiones? Para responderlas nos planteamos el objetivo de apreciar la validez, fiabilidad, asequibilidad, factibilidad y utilidad potencial de estos indicadores.
MÉTODOS
Se trató de un estudio mixto descriptivo-cualitativo, desarrollado para probar inicialmente los indicadores sintéticos Isiloc e Isidec con la finalidad de apreciar la comprensión y la disponibilidad de los datos de sus variables intermedias, bajo diferentes contextos provinciales y en manos de distintos especialistas ligados al control de la tuberculosis.
Isiloc e Isidec fueron probados inicialmente para apreciar su comprensión y la disponibilidad de los datos de sus variables intermedias, bajo diferentes contextos provinciales y en manos de distintos especialistas ligados al control de la TB.11-15 Ambos indicadores fueron suficientemente comprensibles y los datos necesarios estuvieron disponibles, salvo alguno en la primera prueba realizada.11 Los resultados de sus aplicaciones subsiguientes fueron muy favorables; no obstante, se detectaron pequeñas imprecisiones en la denominación de algunas variables y sus interpretaciones y fueron realizados los ajustes para las aplicaciones ulteriores. Por esta causa se necesitaron ligeras modificaciones (tabla 1).
Validación
de los indicadores sintéticos (IS)
La validación de Isiloc e Isidec se realizó en distintos momentos y provincias entre marzo del 2009 y diciembre del 2011. Participaron neumólogos, enfermeros, médicos generales y administradores de salud. Se tuvieron en cuenta criterios comunes para ambos indicadores y criterios específicos acorde a las características de cada uno. Se utilizaron escalas numéricas ordinales para medir estos criterios, los cuales fueron sometidos a valoración de expertos de diferentes especialidades médicas y coordinadores del PNCT en distintos territorios del país y de los diferentes niveles del Sistema Nacional de Salud. Los expertos fueron seleccionados teniendo en cuenta el tipo de indicador, los criterios a evaluar, sus funciones en el PNCT y su disposición a participar en el estudio.
Isiloc fue sometido a validación de aspecto, contenido, capacidad predictiva, y constructo9,11-12 mediante la consulta a seis jefes del programa de TB en La Habana, marzo del 2009. Los expertos otorgaron valores entre 1 (mínimo) y 5 (máximo) a los enunciados siguientes: a) parece medir lo que se desea; b) contiene las variables que recorren todos los conceptos involucrados; c) su resultado permite deducir el desarrollo o desenlace de la unidad que se ha medido; d) su resultado es coherente y consistente con la situación, escenario o entorno evaluado. Además, se precisó la información sobre la asequibilidad de los datos de las variables y la simplicidad de los cálculos de Isiloc.
En las fórmulas de Isiloc e Isidec, el valor 8 (como denominador) es una constante que expresa la suma de los valores máximos posibles de las variables A+B y C+D.
Para evaluar las variables C, D, J, K, y L que conforman Isidec, descritas en la tabla 1, en abril del 2010 se obtuvieron las opiniones de nueve especialistas expertos en TB (de niveles nacional, provincial y municipal), tomando en cuenta las definiciones siguientes:9 válido (mide la condición que se intenta medir); confiable (produce igual resultado cuando se aplica al mismo objeto en ocasiones sucesivas); específico (mide sólo la condición o evento que se intenta medir); sensible (refleja los cambios de la condición o evento medido); operacional (debe basarse en definiciones estandarizadas del programa o estudio en curso); asequible (los costos para su aplicación son razonablemente justos); factible (su recolección es posible en las circunstancias del contexto existente); y comparable (permite comparaciones en el tiempo y los lugares). Se tomaron como criterios valorativos entre 1= nada (mínimo) y 5= muy (máximo)
En junio del 2010 se realizó en Santiago de Cuba un taller de validación de Isiloc e Isidec con la participación de 11 expertos (neumólogos y mayoritariamente médicos y enfermeras de la familia del nivel municipal). En dicha sesión de tres horas de trabajo se explicaron los fundamentos, constitución y operación de los indicadores, enfatizando en las fuentes y características de las variables componentes. Posteriormente, los expertos expresaron su criterio sobre ambos indicadores en cuanto a: válido (que expresa bien lo que se desea); reproducible (permite obtener valores iguales o similares al aplicarlos en distintos momentos al propio objeto); factible (los datos pueden obtenerse fácilmente en los distintos territorios y momentos). Los criterios valorativos sobre los indicadores fueron expresados en una escala con tres opciones de respuesta (3 = sí, 2 = en parte; 1= no).
Adicionalmente, en diciembre de 2011, se utilizó un cuestionario semiestructurado para obtener la opinión de los usuarios principales (jefes del programa de tuberculosis), sobre la utilidad, factibilidad y limitaciones en la aplicación de los
Indicadores Isiloc e Isidec. Este se envió vía correo electrónico a los 14 jefes del PNCT a nivel provincial para garantizar la accesibilidad a personas residentes en las diferentes provincias del país.
Procesamiento y análisis de la información
Para los valores
otorgados a cada variable por los especialistas consultados, en la validación
de los indicadores Isiloc e Isidec, se calcularon en el programa Excel las medias
aritméticas (M) y el índice de posición (IP).9 Este
cuantifica la posición de la muestra respecto a una escala ordinal sin
necesidad de tener en cuenta el número de clases que la componen. 
,
donde M=media de puntos obtenidos para cada respuesta y K= cantidad de
respuestas posibles para calificar la variable. IP toma valores entre 0 y 1;
resulta nulo (IP = 0) cuando toda la muestra está ubicada en el extremo
inferior, y toma su valor máximo (IP = 1) cuando todos los elementos de
la muestra se encuentran en el extremo superior.9
Para el análisis de los datos cualitativos se creó una base de datos que fue importada y analizada con el programa QSR Nvivo versión 7.0. Se utilizó la técnica de análisis de contenido cualitativo16 para la clasificación de la información en categorías inductivas y deductivas. Estas últimas creadas a partir de las preguntas de investigación.
El protocolo de investigación fue discutido y aprobado por el grupo de Investigación y Vigilancia de TB-Lepra-IRA, la Comisión Científica de la vice dirección de Epidemiología y del Comité de Ética institucional, todos del Instituto Pedro Kourí (IPK), así como por la dirección del PNCT. Se obtuvo el consentimiento informado de todos los participantes en el estudio.
RESULTADOS
En el caso específico de Isiloc, todos los criterios de validación fueron calificados por los expertos con valor de 5 (máximo), IP=1. Los criterios de asequibilidad y factibilidad de los cálculos fueron calificados con valor ≥ 4, IP=0,95 y 0,93 respectivamente, es decir ≈1 (Tabla 2).
La validez de Isidec para las cinco variables fue ratificada con medias entre 4 y 4,8, es decir, entre válidas y muy válidas con IP entre 0,90 y 0,95 o sea entre 90 % y 95 % válido. Las opiniones sobre la confiabilidad presentaron medias desde 4,2 a 4,6, con IP entre 0,80 y 0,90, dicho de otro modo entre 80 y 90 % de confiabilidad (Tabla 3).
Isidec fue considerado como específico, con promedios que fluctuaron entre 4,3 y 4,8 con IP entre 0,80 y 0,92, interpretable también como 80 % a 92 %; sensible, con promedios entre 4,4 y 4,9 y con IP entre 0,77 y 0,92, o sea entre 77 % y 92 %. Fue considerado operacional con medias entre 4,3 y 4,8, IP de 0,81 a 0,90, es decir entre 81 % y 92 %.
Se valoró como asequible, con promedios que oscilaron entre 4,3 y 4,8, mostrando un IP desde 0,87 % a 92 %, vale decir 87 % a 92 %. Isidec fue calificado factible con medias entre 4,2 y 4,8, con IP de 0,75 a 0,92 (75 % a 92 %).
Por otra parte fue calificado comparable con valores medios entre 4,3 y 4,9 y el IP entre 0,80 y 0,95. Todas y cada una de las variables muestran opiniones sobre los ocho criterios calificados entre 4 (suficientemente) y 5 (completamente), por lo que Isidec resultó valorado suficiente o muy válido y fiable. Solo la variable L obtuvo valor de IP = 0,75, es decir < 0,80.
En la valoración conjunta de Isiloc e Isidec, los especialistas de nivel municipal calificaron a ambos IS como válidos, fiables y factibles en un 100 %, sin excepción (IP=1) (Tabla 4).
Opiniones de los entrevistados sobre la utilidad y factibilidad de Isiloc e Isidec.
Fueron recibidos y analizados ocho cuestionarios de los 14 solicitados a los jefes provinciales del PNCT. Con relación al tiempo de trabajo en esta dirección, seis llevan más de 1 año y dentro de este grupo, tres por más de 4 años. Solo uno llevaba menos de un año en esta actividad.
Todos los participantes consideraron útil la aplicación de los indicadores, así como una evaluación rápida e integral. Un ejemplo de ello se ilustra en la siguiente cita:
“ Mi opinión, bien modesta, es que en pequeños momentos de análisis puedes tener la idea de los resultados de la evaluación de los indicadores generales del programa de forma integral, porque muchas veces nos encasillamos en la vigilancia y olvidamos la evaluación de calidad del programa, que hasta ahora solo se hacía para tener conocimientos, cuando se hicieron en nuestra provincia arrojó en un golpe de vista que la estabilidad del programa se ha venido perdiendo por años resultados de calidad y realmente así ha sucedido,..”( Jefe provincial del PNCT)
Otros hacen énfasis en su utilidad como herramienta para el seguimiento del programa, como se ilustra en el siguiente fragmento:
..“ La aplicación de los indicadores sintéticos nos es de utilidad ya que es una herramienta más para dar seguimiento y evaluar cómo marcha el programa, en cuanto a la búsqueda de casos y la calidad del diagnóstico, así como la determinación de la transmisión en los municipios y en la provincia. ” (Jefe provincial del PNCT)
El análisis inductivo del contenido de las respuestas al cuestionario también reveló que hay criterios de utilidad de los indicadores que los entrevistados señalan de manera especial, como son la integralidad, la rapidez con que se calculan y la mirada cuali-cuantitativa que ofrece para la evaluación del PNCT.
La aplicación de ambos indicadores se consideró factible por todos los encuestados, expresándolo en términos como:
…“ es un trabajo útil y factible, pues se precisa cualitativamente cómo está cada municipio en el cumplimiento de estos indicadores .” (Jefe provincial del PNCT)
...“ nos permite evaluar de forma rápida cómo se realiza el proceso de detección de casos en cada uno de los municipios y áreas de salud, nos permite evaluarlo no solo cuantitativamente, sino también cualitativamente y, de esta forma, elaborar estrategias para yugular esta problemática, mejorar la calidad de la pesquisa y el control de foco de los enfermos, por lo que lo considero muy factible... ” (Jefe provincial del PNCT)
Sin embargo, también fueron reconocidas algunas dificultades para la introducción de los indicadores en el PNCT. Estas dificultades son: carencia de habilidades, recursos (equipamiento, tiempo, etc.), así como la necesidad de contar con datos recogidos previamente, como de ilustra a continuación:
“… resultó algo trabajoso porque tuve que elaborar las bases de datos y no me corren de manera directa las conversiones matemáticas, como no domino el Excel ...” (Jefe provincial del PNCT)
…“ al ser algo nuevo, hay veces que se le debe dedicar tiempo para comprenderlo y ejecutarlo, pero indudablemente después de realizarlo y analizarlo, las bondades que brindan los resultados son apreciables y al final no es tan complejo y sí útil, por dar una visión rápida del cumplimiento de las acciones planteadas por el Programa ”. (Jefe provincial del PNCT)
DISCUSIÓN
Con la información obtenida se constata nuevamente que ambos indicadores sintéticos son considerados válidos, fiables, específicos, sensibles, asequibles y factibles, en una medida que los haría útiles para los fines del PNCT. Además, la validación de los IS en la propia práctica de rutina del programa, desde la perspectiva del usuario, permitió identificar las posibles brechas en su implementación dentro del PNCT.
Haber realizado este estudio inicial con distintos grupos de personas involucradas con el control de la TB, en diferentes momentos y con categorías valorativas de diferentes modalidades pero dentro de un enfoque similar, favorece la fortaleza de los resultados. La valoración de la validez mediante grupos de expertos es un procedimiento recomendado para la apreciación de las preguntas o variables de un formulario o cuestionario que pretenda medir un evento de salud. De este modo se recomiendan las escalas y procedimientos para el procesamiento, análisis e interpretación.17-19
Pueden existir objeciones críticas por el uso de los valores de los pesos ponderantes para el cálculo del valor del IS. Sin embargo, se trata de un valor seleccionado por expertos dentro del conjunto de valores continuos desde 0 hasta 4, y desde 0 hasta 1, con los cuales es lícito realizar los cálculos planteados.18 Al aplicar el valor del peso a un solo elemento, por ejemplo 3*1 =3, se convierte en un puntaje. La práctica inicial de campo en manos de los jefes provinciales del PNCT revela la comprensión y facilidad de estos cálculos aritméticos simples. Así es lícito realizar los cálculos de las categorías valorativas de los criterios exploratorios con la media aritmética y el IP que facilitan la interpretación.18 No conocemos sobre la aplicación de este tipo de IS en otros países para la vigilancia y el control de la TB. Se trata de un camino que es importante recorrer de cara a un mejor control de esta enfermedad TB.9-14
Es interesante destacar que en general las opiniones sobre la asequibilidad y factibilidad son ligeramente menos favorables para Isidec que en Isiloc. Esto pude deberse a que no se recoge rutinaria ni uniformemente el grupo vulnerable de TB a que pertenece cada sintomático detectado e investigado; así como tampoco los datos de los contactos que cumplen adecuadamente con las investigaciones que orienta el PNCT. Por consiguiente esta información debe obtenerse de la ficha clínica y de la encuesta epidemiológica rápida.
Isiloc e Isidec no fueron concebidos para ser aplicados mes tras mes. Más bien son idóneos para ser utilizados semestralmente como parte de las investigaciones de seguimientos evaluativos de las cohortes de sintomáticos respiratorios, entre los grupos vulnerables de TB, la detección de casos y el aseguramiento de su calidad. La obtención de estos indicadores mediante evaluaciones periódicas deviene un instrumento valioso para el mejoramiento del desempeño del personal de salud en el proceso de la detección de casos de TB, sobre todo en los momentos en que el departamento de tuberculosis de la Organización Mundial de la Salud recomienda fortalecer extensivamente la pesquisa sistemática de los SR (TB suspects en inglés) entre los grupos vulnerables (GV) de TB.17-19
En conclusión, la valoración de Isiloc e Isidec ha resultado satisfactoria, en general los indicadores fueron considerados útiles y factibles, y deben continuar aplicándose las pruebas de campo.
REFERENCIAS BIBLIOGRÁFICAS
1. Ministerio de Salud Pública. Objetivos de trabajo e indicadores. La Habana: MINSAP; 2011.
2. Ministerio de Salud Pública. Objetivos de trabajo y lineamientos para el año 2012. Área de Higiene y Epidemiología Ministerio de Salud Pública. La Habana, Cuba: MINSAP; Feb 2012.
3. Organización Panamericana de la Salud. Plan regional de tuberculosis 2006-2015. Washington DC: OPS; 2006.
4. Arnadottir Th. Tuberculosis and Public Health. Policy and Principles in tuberculosis Control. Paris, France: International Union Against Tuberculosis and Lung Disease; 2009.
5. Hopewell PC, Pai M, Maher D, Uplekar M, Raviglione MC. Internacional Standard for tuberculosis care. Lancet Infect. Dis 2006;6:710-25.
6. WHO. Marco ampliado del DOTS. Un Marco ampliado para el control eficaz de la tuberculosis. Ginebra: OMS; 2002.
7. WHO. Compendium of indicators for monitoring and evaluating nacional tuberculosis programs. Geneva: WHO; 2004.
8. Minsap. Programa Nacional de Control de la Tuberculosis. Manual de normas y procedimientos. Primera reimpresión. La Habana: ECIMED; 2010.
10. González E, Armas L. New Indicators Proposed to Assess Tuberculosis Control and Elimination in Cuba. MEDICC Review 2012;14(4):40-4.
11. Armas L, Medina NL, Peralta M, González E. Una propuesta de indicador sintético (Isiloc) para valorar la calidad de la detección de casos de tuberculosis. Rev Cubana Med Trop. 2009;61(1):63-9.
12. Gómez P, Méndez J, Armas L, Gonzalez E. Evaluación de la detección de casos de tuberculosis mediante un indicador sintético (Isiloc). Provincia de Matanzas. Rev Médica Electrónica. 2009 [citado 15 May 2011];31(4):[aprox 9 p.]. Disponible en : http://www.revmatanzas.sld.cu/revista%20medica/año%202009/en205.htm
13. Jordán T, Oramas R, Díaz O, González E, Armas L. Evaluación de la detección de casos de tuberculosis mediante un indicador sintético en dos municipios de Ciudad de la Habana. Rev Cubana Hig Epidemiol. 2008 [citado 7 Mar 2012];46(3):1-9. Disponible en: http://redalyc.uaemex.mx/src/inicio/ArtPdfRed.jsp?iCve=223217511004
14. González E, Armas L. Evaluación de la detección de casos de tuberculosis: una alternativa renovada. BOLIPK. 2010;20(27):209-12.
15. González E, Jordán T, Armas L. Aplicación de un indicador sintético de la detección de casos de tuberculosis (ISIDEC). Bol IPK 2011 [citado 15 May. 2011];21:105-7. Disponible en: http://files.sld.cu/ipk/files/2011/06/bol14-11.pdf
16. Milles MB, Huberman AM, Saldaña J. Qualitative data analysis. A methods sourcebook. 3rd edition. London: Sage publications; 2013.
17. Caraballoso Hernández M, Rojo Pérez N, Martínez Calvo S, Pérez Masa B, Bayarre-Vear H, Hernández Menéndez E. Investigación en sistemas y servicios de salud. Escuela Nacional de Salud Pública. La Habana: Ministerio de Salud Pública; 2006.
18. Golub JE, Dowdy DW. Screening for active tuberculosis: methodological challenges in implementation and evaluation. Int J Tuberc Lung Dis. 2013;17:856-65.
19. Organización Mundial de la Salud. Consejo ejecutivo. Estrategia mundial y notas para la prevención, la atención y el control de la tuberculosis después de 2015. Ginebra. Suiza: OMS; 2013.
Este trabajo ha sido apoyado mediante una subvención parcial del proyecto de Fondo Mundial de lucha contra la tuberculosis y la malaria en su Ronda 7.
Recibido: Agosto
21, 2014.
Aprobado: Febrero 13, 2015.
Edilberto González
Ochoa. Doctor en Medicina. Especialista de Segundo Grado en Epidemiología.
Doctor en Ciencias de la Salud. Investigador Titular. Profesor Titular Consultante.
Instituto
"Pedro Kourí". Autopista Novia del Mediodía Km. 6 ½.
Apdo. Postal 601. La Lisa. Ciudad de la Habana. FAX: 53 7 2046051. Tfno. 202
0652.
Correo electrónico: ochoa@ipk.sld.cu.
Enlaces refback
- No hay ningún enlace refback.
Copyright (c) 2015 Luisa Armas Pérez, Dennis Pérez Chacón, Marta Castro Peraza, Alexander González DÃaz, Edilberto González Ochoa
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.
La revista está: Certificada por el CITMA
La revista es de acceso abierto y gratuito.