Indicadores para medir la eficacia de los procesos en el Centro Nacional Coordinador de Ensayos Clínicos

Sandra Álvarez Guerra; Maytee Robaina García

Indicadores para medir la eficacia de los procesos en el Centro Nacional Coordinador de Ensayos Clínicos

ARTÍCULO ORIGINAL

Indicadores para medir la eficacia de los procesos en el Centro Nacional Coordinador de Ensayos Clínicos

Effectiveness measurement indicators for processes in the National Coordinating Center of Clinical Trials

Sandra Álvarez Guerra, Maytee Robaina García

Centro Nacional Coordinador de Ensayos Clínicos (CENCEC). Playa, La Habana, Cuba.

RESUMEN

Introducción: el Centro Nacional Coordinador de Ensayos Clínicos, centro de investigación por contrato, destinado al diseño y conducción de ensayos clínicos a productos en investigación, cumpliendo con los requisitos de las Buenas Prácticas Clínicas, no contaba con indicadores para medir la eficacia de sus procesos en su sistema de gestión de calidad.
Objetivo: crear un sistema de indicadores para medir la eficacia del proceso de ensayo clínico conducido por el Centro Nacional Coordinador de Ensayos Clínicos.
Métodos: se elaboraron indicadores para medir la calidad y el tiempo de las actividades de los 21 procesos declarados en el mapa de procesos de la organización. Los valores estándares consideraron las tendencias de resultados en los años de prestación de servicios de la organización. El sistema inicial de indicadores se recogió en una encuesta que se entregó a los expertos para su evaluación. La validación por expertos siguió la metodología Delphi modificado. Como medida de concordancia entre expertos, se calculó el coeficiente de confiabilidad alfa de Krippendor para datos ordinales.
Resultados: se efectuaron dos rondas de evaluación hasta que se logró, por consenso, un sistema con 38 indicadores establecidos por la organización en su sistema de gestión de la calidad.
Conclusiones: se creó un sistema de indicadores que permite medir la eficacia de los procesos clave, estratégicos y de apoyo.

Palabras claves: indicadores de eficacia; ensayos clínicos.

ABSTRACT

The National Coordinator Center of Clinical Trials is a contract research organization, for the design and management of research products in clinical trials fulfilling Good Clinical Practice requirements. It had not the indicators to measure the effectiveness of their system quality management processes. This led to: Create a system of indicators to measure the effectiveness of the clinical trial management process by the National Coordinator Center of Clinical Trials. The indicators were develop in order to measure the quality and timing of the events for the 21 processes declared in the process map of the organization. The standard values were based on the trends results during the years of the organization service. The initial set of indicators was collected in a survey that the experts used for evaluation. Experts´ validation followed the modified Delphi methodology and they calculated the alpha reliability coefficient for ordinal data Krippendor as a result of a measure of concordance among them. After two rounds of evaluation the organization achieved to establish (by consensus) a system with 38 indicators for its quality management system which allow to measure the effectiveness of key, strategic and support processes.

Keywords: performance indicators; clinical trials.

INTRODUCCIÓN

Desde la antigüedad el hombre se ha preocupado por dar solución a los problemas de salud que le aquejan. En este sentido, la creación de nuevos medicamentos ha transitado por diversos estadios, y alcanza un desarrollo vertiginoso en la actualidad.

El proceso de diseño y desarrollo de un fármaco hasta su aplicación en la práctica médica, requiere de su evaluación previa en animales y luego en humanos. En la etapa clínica, se llevan a cabo los ensayos clínicos (EC), investigación dirigida a descubrir o verificar los efectos clínicos, farmacológicos u otros efectos farmacodinámicos de un producto(s) en investigación en seres humanos.

En los años ochenta comienzan a emerger en Estados Unidos y en Europa diversas organizaciones de investigaciones por contrato Contract Research Organization (CRO), en su mayoría privadas y destinadas a realizar el servicio de EC.¹

En Latinoamérica se destaca Cuba por realizar EC a través del Centro Nacional Coordinador de Ensayos Clínicos (CENCEC) creado en 1991 por el Ministerio de Salud Pública (MINSAP). Su función es el diseño y conducción de EC a nuevos productos en investigación, provenientes de la industria farmacéutica y biotecnológica cubana (clientes), cumpliendo con las normas de Buenas Prácticas Clínicas (BPC)² contribuyendo al registro de los productos dentro y fuera del país.³

El CENCEC, centraliza las actividades del EC a través del diseño y confección de los protocolos de la investigación, la conducción y coordinación en las instituciones asistenciales de salud, el Manejo de Datos (MD), el Procesamiento Estadístico (PE) y la redacción del informe final del ensayo terminado. Se vincula para lograrlo a diversos proveedores del Sistema Nacional de Salud (SNS) entre los que se encuentran las instituciones de los diferentes niveles de atención de salud con sus equipos de investigadores.

La búsqueda de la calidad y una actitud de avance hacia la mejora continua, son factores que propician en el ámbito de la salud, un acentuado interés, particularmente cuando se trata de realizar EC a nuevos productos farmacéuticos, donde garantizar la calidad en la fase clínica es insoslayable.⁴

En Cuba, es un hecho la aplicación en instituciones de diversos sectores de la economía del modelo de Sistema de Gestión de la Calidad (SGC) de la Norma NC−ISO 9001,⁵ mundialmente difundido y aplicado por sus ventajas y carácter genérico, ya que "es un sistema de gestión para dirigir y controlar una organización respecto a la calidad",⁶ por lo que en los centros coordinadores de EC estos SGC deben estar basados en la armonización entre la NC−ISO 9001 y las BPC.

Existen instrumentos que permiten medir la eficacia de los procesos dentro de un SGC, es el caso de los indicadores, que según la Organización Mundial de la Salud (OMS) es una "Variable con características de calidad, cantidad y tiempo, utilizada para medir, directa o indirectamente, los cambios en una situación y apreciar el progreso alcanzado en abordarla. Provee también una base para desarrollar planes adecuados para su mejoría".^7,8 Los indicadores son utilizados para monitorizar los aspectos más importantes de las diferentes áreas y procesos del sistema, se expresan generalmente en forma de proporción y muestran una valoración objetiva de lo que se está haciendo al compararlo con estandares previamente definidos como deseables.^9,10

Hasta el 2007, en el CENCEC, no existían indicadores para medir la eficacia de las actividades. Esta situación generó la necesidad de definirlos, ya que los resultados de estas mediciones le permiten a la organización predecir las tendencias de los procesos, establecer objetivos medibles y tomar acciones encaminadas a la mejora. Es por ello que el objetivo del presente trabajo fue crear un sistema de indicadores para medir la eficacia del proceso de ensayo clínico conducido por el Centro Nacional Coordinador de Ensayos Clínicos.

MÉTODOS

Para la confección del sistema de indicadores para medir la eficacia de las actividades se utilizó el enfoque planteado por Donabedian.¹¹ Se construyeron indicadores para medir la calidad y el tiempo de las actividades de los 21 procesos declarados en el mapa de procesos de la organización. Los valores estándares consideraron las tendencias de resultados en los años de prestación de servicios de la organización.¹²

El sistema inicial de indicadores se recogió en una encuesta que se entregó a los expertos para su evaluación. La validación por expertos siguió la metodología Delphi modificado.^13,14 Se consideró un número fijo de siete expertos y se utilizó el método de selección muestral no probabilístico de criterio razonado de autoridades en la materia.^15,16 Se definió que en la muestra quedaran representadas las áreas principales del proceso de EC y se establecieron los siguientes criterios de selección: grado de conocimiento del tema a tratar (Licenciados en Ciencias Farmacéuticas, Doctores en Medicina o Especialistas en Calidad, con título de Doctor o Máster; experiencia práctica (10 años o más en el ejercicio de EC o en gestión de calidad); elevado juicio autocrítico y ética en la discusión (referencias emitidas sobre la persona por sus compañeros de trabajo); elevada creatividad (referencias emitidas sobre la persona por sus compañeros de trabajo); capacidad de análisis para la solución de los problemas (referencias emitidas sobre la persona por sus compañeros de trabajo) y posibilidad real de participación.

La encuesta entregada a los expertos en la primera ronda abarcó dos preguntas. En la primera los expertos debían ofrecer su criterio sobre cada indicador y otorgar una puntuación de entre cinco valores posibles, donde el más bajo correspondió a un indicador "No adecuado" (1), "Poco adecuado" (2), "Adecuado" (3), "Bastante adecuado" (4) y el máximo a "Muy adecuado" (5). La segunda pregunta solicitó la valoración general del sistema mediante una escala de valores (1-10), donde 10 correspondió al máximo acuerdo con el sistema.

En la Pregunta 1 se estableció como criterio de aceptación del indicador, si las frecuencias acumuladas para las categorías de: "Adecuado", "Bastante adecuado" y "Muy adecuado", sobrepasaba el 80 %. Los indicadores que obtuvieron porcentajes inferiores fueron modificados. Como medida de concordancia entre expertos, se calculó el coeficiente de confiabilidad alfa de Krippendor para datos ordinales, cuyo valor, si resulta ≥0,8, implica elevada concordancia.¹⁷

En la Pregunta 2 se consideró como respuesta favorable si la totalidad de las puntuaciones dadas estaban en nueve y 10 en la escala propuesta.

Se realizaron tantas rondas de evaluación como fueron necesarias, hasta que se logró el consenso. En la segunda ronda se envió otra encuesta que incluyó los cambios sugeridos por los expertos en la ronda anterior. El tratamiento de la información fue similar a la primera ronda. Una vez demostrada la concordancia de criterios, se presentó la lista final de los indicadores con las especificaciones de cada uno.

Posteriormente para poder efectuar el monitoreo, se incorporaron a una base de datos que permitió clasificar el resultado de cada uno como, "Eficaz" o "No Eficaz" de acuerdo a si cumplía o no el criterio estándar establecido y como "No evaluable" si la actividad no se realizaba en el período analizado.

RESULTADOS

El sistema de indicadores quedó conformado en un inicio por 42 indicadores. En la primera ronda de evaluación por expertos, ninguno fue evaluado como "No adecuado". Sin embargo en el proceso 17 "Satisfacción del cliente" no se alcanzó el criterio de aceptación en seis indicadores.

En la primera ronda la concordancia entre expertos no fue elevada, al resultar un coeficiente de confiabilidad alfa de Krippendor igual a 0,76, respaldado por los indicadores comentados.

La opinión sobre el sistema de indicadores (resultado de la pregunta 2) no fue favorable. Reveló puntuaciones en la escala que fueron de ocho a 10 puntos.

En la segunda ronda de evaluación, el sistema de indicadores quedó conformado por 38 indicadores. Ningún indicador fue rechazado. La moda tuvo valores de cuatro "Bastante adecuado" y cinco "Muy adecuado". Las frecuencias acumuladas en todos los casos sobrepasaron el 80 %. El coeficiente de confiabilidad alfa de Krippendor alcanzó el valor de 0,80 lo que evidenció elevada concordancia de criterios. La opinión expresada en la pregunta dos resultó satisfactoria (9 y 10 puntos); con lo que queda aprobado el sistema de indicadores con sus especificaciones técnicas (cuadro).

Cuadro. Descripción de los indicadores para medir la eficacia de los procesos

Numerador	Denominador	Fundamento	Tiempo de medición	Valor de referencia		Criterio de evaluación
# de Ensayos Clínicos(EC) que se aceptan	Total de EC que se solicitan	Mide la capacidad de dar servicios de la organización	1 año	≥80 %	Eficaz No eficaz No evaluable
# de EC contratados en tiempo, <= 30 días hábiles)	Total de EC contratados	Mide el tiempo en que se realiza el proceso de contratación	1 año	100 %	Eficaz No eficaz No evaluable
# de protocolos emitidos aptos en revisión por el Comité de Calidad	Total de protocolos revisados por el Comité de Calidad	Mide calidad del diseño del protocolo	1 año	≥90 %	Eficaz No eficaz No evaluable
# de protocolos emitidos aptos en revisión por el equipo de trabajo	Total de protocolos revisados por el equipo de trabajo	Mide calidad del diseño del protocolo	1 año	≥90 %	Eficaz No eficaz No evaluable
# de protocolos emitidos aptos por el Consejo Científico	Total de protocolos presentados al Consejo Científico	Verifica la calidad del protocolo	1 año	≥90 %	Eficaz No eficaz No evaluable
# de protocolos aprobados por la agencia reguladora	Total de protocolos presentados a la agencia reguladora	Verifica la calidad del protocolo por externos	1 año	≥90 %	Eficaz No eficaz No evaluable
# de planificaciones para EC en tiempo	Total de planificaciones para EC	Mide calidad del proceso de planificación del EC	1 año	100 %	Eficaz No eficaz No evaluable
# de ensayos que cumple ≥ 80% el plan de inclusión	Total de ensayos que están en inclusión activa	Mide cumplimiento del plan de inclusión establecido en protocolo	1 año	≥80 %	Eficaz No eficaz No evaluable
# de dificultades debidas al CENCEC detectadas en auditorías de sitio	Total de dificultades detectadas en auditorías de sitio	Calidad de la ejecución del EC en los sitios	1 año	≤10	Eficaz No eficaz No evaluable
# de visitas realizadas a sitios en la Habana	Total de visitas planificadas en la Habana - No. de visitas no realizadas por causas ajenas al CENCEC	Mide cumplimiento del plan de visitas de monitoreo	1 año	100 %	Eficaz No eficaz No evaluable
# de modelos del Cuaderno de Recogida de Datos (CRD) recolectados	Total de modelos a recolectar	Mide cumplimiento de la recolección de los datos de los EC	1 año	≥80%	Eficaz No eficaz No evaluable
# de Manejo de Datos terminados seis semanas después de tener el último CRD	Total de MD terminados	Mide cumplimiento de los tiempos para el manejo de datos	1 año	100 %	Eficaz No eficaz No evaluable
# de Bases de Datos liberadas en el primer control de calidad	Total de BD terminadas	Mide calidad del proceso de manejo de datos	1 año	≥80 %	Eficaz No eficaz No evaluable
# de Procesamientos Estadísticos (PE) terminados un mes después de tener la BD	Total de PE terminados después de tener la BD	Mide cumplimiento de los tiempos para el PE	1 año	100 %	Eficaz No eficaz No evaluable
# de informes finales no conformes debido al PE	Total de informes finales	Mide calidad del PE	1 año	≤20 %	Eficaz No eficaz No evaluable
# de informes finales emitidos aptos por el Consejo Científico	Total de informes finales presentados al Consejo Científico	Mide calidad del informe final del EC	1 año	≥80 %	Eficaz No eficaz No evaluable
# de informes finales con validez interna revisados por Consejo Científico	Total de informes finales revisados por Consejo Científico	Mide concordancia entre lo planificado en el protocolo y los resultados obtenidos	1 año	≥80 %	Eficaz No eficaz No evaluable
# de productos con impactos en la salud	Total de productos con EC realizados por el CENCEC	Mide el impacto del servicio de EC realizado	1 año	≥50 %	Eficaz No eficaz No evaluable
# de pedidos realizados incorrectamente	Total de pedidos realizados	Mide calidad de las compras	1 año	≤1%	Eficaz No eficaz No evaluable
# de actividades formativas eficaces	Total de actividades formativas	Mide calidad de la formación de los Recursos humanos	1 año	≥90%	Eficaz No eficaz No evaluable
# de servicios de reproducción solicitados para EC conformes	Total de servicios solicitados para EC	Mide calidad del servicio de reproducción de los documentos del EC	1 año	≥90 %	Eficaz No eficaz No evaluable
# de servicios solicitados para búsqueda de información para EC conformes	Total de servicios solicitados para EC	Mide calidad del servicio de búsqueda de información para el servicio de EC	1 año	≥90 %	Eficaz No eficaz No evaluable
# de EC en preparación de la ejecución con insumos a suministrar por el CENCEC conformes	Total de EC en preparación de la ejecución con insumos a suministrar por el CENCEC	Mide calidad en la adquisición de recursos para los EC	1 año	≥90 %	Eficaz No eficaz No evaluable
# de no conformidades detectadas en el proceso de mantenimiento de equipos	−	Mide calidad de los equipos necesarios para el servicio brindado. (Calidad en la infraestructura)	1 año	≤2	Eficaz No eficaz No evaluable
# de no conformidades detectadas en el proceso de limpieza	−	Calidad de las condiciones de trabajo.	semanal	≤2	Eficaz No eficaz No evaluable
# de estados financieros entregados conformes	Total de estados financieros entregados	Calidad de los estados financieros para brindar los servicios.	1 año	≥90 %	Eficaz No eficaz No evaluable
# de auditorías realizadas	Total de auditorías planificadas en el CENCEC	Cumplimiento en las planificaciones del aseguramiento de la calidad del servicio brindado	1 año	100 %	Eficaz No eficaz No evaluable
# de incidencias inaceptables por proveedor	−	Calidad del servicio de los proveedores	1 año	≤7	Eficaz No eficaz No evaluable
% de proveedores rechazados	−	Calidad del servicio de los proveedores	1 año	≤10 %	Eficaz No eficaz No evaluable
# de equipos de medición cuya incertidumbre se encuentre por debajo de la incertidumbre máxima admisible	Total de equipos de medición en el CENCEC	Calidad del funcionamiento de los equipos de medición	1 año	100 %	Eficaz No eficaz No evaluable
# de programas informáticos verificados en computadoras (PC) activas en el CENCEC	Total de programas informáticos en PC activas en el CENCEC	Calidad de los programas para dar el servicio de EC.	1 año	100%	Eficaz No eficaz No evaluable
# de reclamaciones cerradas eficazmente	Total de reclamaciones totales	Mide la Atención a las reclamaciones de los clientes.	1 año	≥80 %	Eficaz No eficaz No evaluable
% respuestas de cliente satisfecho o muy satisfecho con el servicio brindado	−	Medición de la satisfacción del cliente	1 año	≥90 %	Eficaz No eficaz No evaluable
# de soluciones efectivas en el tratamiento al producto no conforme	Total de soluciones en el tratamiento al producto no conforme	Capacidad de solución a los problemas detectados	1 año	≥90 %	Eficaz No eficaz No evaluable
# de soluciones efectivas de las acciones correctivas / preventivas	Total de acciones totales	Capacidad de solución y prevención de los problemas	1 año	≥90 %	Eficaz No eficaz No evaluable
# de objetivos alcanzados	Total de objetivos establecidos	Cumplimento de los objetivos de mejora	1 año	≥90 %	Eficaz No eficaz No evaluable
# de tareas realizadas	Total de tareas establecidas	Cumplimento de las acciones de mejora para cumplir el objetivo	1 año	≥90 %	Eficaz No eficaz No evaluable
# de indicadores que cumplen con el valor de referencia establecido	Total de indicadores evaluables	Mide integralmente la eficacia de los procesos del SGC.	1 año	≥90 %	Eficaz No eficaz No evaluable

DISCUSIÓN

Respecto a los seis indicadores donde en la primera ronda no se alcanzó el criterio de aceptación, en los cuestionarios se reportaron comentarios sobre la necesidad de reagruparlos en uno para disminuir la cantidad. Se propuso además, incluir un indicador al proceso de "Terminación del EC". Los resultados de la pregunta uno y dos condujeron a la realización de la segunda ronda de evaluación, pues no fueron consistentes con los esperados.

Los resultados de la segunda ronda en la dos preguntas de la encuesta a expertos fueron satisfactorios, lográndose el consenso ya que se tuvo en cuenta las recomendaciones que emitieron en la primera ronda de evaluación, resultados que fueron validados por los resultados estadísticos alcanzados a través del coeficiente alfa de Krippendor.

Los resultados del presente trabajo permitieron establecer un sistema de 38 indicadores para medir la eficacia del proceso de ensayo clínico conducido por el Centro Nacional Coordinador de Ensayos Clínicos.

CONFLICTO DE INTERESES

No declarado por los autores

REFERENCIAS BIBLIOGRÁFICAS

1. Schuchman M. Comercializing Clinical Trials-Risks and Benefits of the CRO Boom. New.Eng.J.Med. 2007;357(14):1365.

2. CECMED. Directrices sobre Buenas Prácticas Clínicas en Cuba. La Habana, Cuba: MINSAP; 2000.

3. Pascual M, Jiménez G, Torres A, Fors M, López I. Cuba's National Clinical Trials Coordinating Center: Emergence, Evolution, and Main Results. Medic. Rev. 2011;13(1):46-51.

4. Telstar life science solutions [Internet]. Madrid: Azbil telstar; 2 dic. 2013 [Citado el 20 abril 2015]. Indicadores cuantitativos de calidad en investigación clínica y farmacovigilancia. [Aproxi. 1 pantalla]. Disponible en URL:

http://www.telstarlifesciences.com/News/Noticias/Indicadores%20cuantitativos%20de%20calidad%20%28KPIs%29%20en%20investigaci%C3%B3n%20cl%C3%ADnica%20y%20farmacovigilancia.htm?language=es

5. NC-ISO 9001. Sistemas de Gestión de la Calidad-Requisitos. La Habana: ONN; 2015.

6. NC-ISO 9000. Sistemas de Gestión de la Calidad-Fundamentos y Vocabulario. La Habana: ONN; 2015.

7. World Health Organization. Guidelines for good clinical practice (GCP) for trials on pharmaceutical products. Switzerland: Gineva: WHO;1995.

8. Jiménez PR. Indicadores de calidad y eficiencia de los servicios hospitalarios: Una mirada actual. Rev. Cubana Sal. Púb. 2004;30(1):17-36.

9. Beltrán J, Camona M, Carrasco R, Rivas M A, Tejedor F. Guía para una gestión basada en procesos. [Internet]. Sevilla, España; 2002. [citado 28 abr. 2013]. Disponible en: http:// www.centrosdeexcelencia.com

10. Guerra B, Meizoso V. Gestión de la calidad. Conceptos, modelos y herramientas. La Habana: UH; 2012.

11. Donabedian A. Explorations in quality assessment and monitoring. The definition of quality and approaches to its assessment. Ann Arbor Mich; 1988,260(12):1743-8.

12. Román M, Guasp E. Evaluación y mejora de la calidad: sistemas de monitorización. Indicadores de calidad asistencial en el ámbito hospitalario socio sanitario. Tesina diplomado de calidad; 2008.

13. Lindstone H, Turoff M. The Delphis Method: techniques and applications. [Internet].1ra ed. Portland, EE.UU: Portland State University; 2000. [citado 23 feb. 2016]. Disponible en: http://is.njit.edu/pubs/delphibook/

14. Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and reporting the Delphi method for selecting healthcare quality indicators: a systematic review. PLoS One. 2011;6(6):1-6.

15. Silva LC. Escalas e indicadores. En: Silva LC. Cultura estadística e investigación científica en el campo de la salud. Una mirada crítica. 1ra ed. Madrid, España: Editorial Madrid; 1997. p. 43-58.

16. Silva LC. Diseño razonado de muestras y captación de datos para la investigación sanitaria. Madrid, España: Ediciones Díaz de Santos; 2000.

17. Krippendor K. Computing Krippendor's Alpha-Reliability. 1ra edic. EE.UU: University of Pennsylvania; 2011.

Recibido: 30 de agosto de 2016.
Aprobado: 20 de octubre de 2016.

Sandra Álvarez Guerra. Centro Nacional Coordinador de Ensayos Clínicos (CENCEC). Calle 5ta A e/ 60 y 62. Miramar. Playa. La Habana. Cuba. Teléfono: 72164116. Correo electrónico: sandra@cencec.sld.cu

Enlaces refback

No hay ningún enlace refback.

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.