Página principal

Auditoria sobre calidad de datos


Descargar 1.19 Mb.
Página1/14
Fecha de conversión18.07.2016
Tamaño1.19 Mb.
  1   2   3   4   5   6   7   8   9   ...   14




AUDITORIA SOBRE CALIDAD DE DATOS

GUÍAS PARA SU APLICACIÓN



MS-08-29 Septiembre de 2008

La presente herramienta de auditoria se hizo posible mediante el apoyo de la Agencia de Desarrollo Internacional de los Estados Unidos (U.S. Agency for International Development [USAID]) en de conformidad con los términos del Acuerdo de Colaboración GPO-A-00-03-00003-00.


El Plan de Emergencia del Presidente para el Alivio del SIDA (President’s Emergency Plan for AIDS Relief [PEPFAR]) y el Fondo Mundial de Lucha contra el SIDA, la Tuberculosis y la Malaria (Global Fund to Fight AIDS, TB and Malaria) han proporcionado apoyo financiero adicional.
Las opiniones del autor expresadas en esta publicación no reflejan necesariamente las opiniones de USAID o del Gobierno de los Estados Unidos. Esta publicación se puede acceder en línea en el sitio Web de MEASURE Evaluation: http://www.cpc.unc.edu/measure.

Agradecimientos

Esta herramienta fue desarrollada con la ayuda de representantes de varias organizaciones. Los que participaron más directamente en el desarrollo de la herramienta fueron, Ronald Tran Ba Huy del Fondo Mundial de Lucha contra el SIDA, Tuberculosis y Malaria, y Karen Hardee, J. Win Brown, Ron Stouffer, Sonja Schmidt, Yoko Shimada, David Boone y Philip Setel del Proyecto MEASURE Evaluation. Einar Heldal, Consultor de TB, y Charlotte Kristiansson del Instituto Tropical Suizo también contribuyeron en el desarrollo de la herramienta. Otras personas que apoyaron en su desarrollo incluyen: Bernhard Schwartländer, Bernard Nahlen, Daniel Low-Beer, Linden Morrison, John Cutler, Itamar Katz, Gulshod Allabergenova, Marton Sziraczki y George Shakarishvili del Fondo Mundial de Lucha contra el SIDA, Tuberculosis y Malaria; Kathy Marconi, Michelle Sherlock y Annie La Tour de la oficina del Coordinador Mundial de SIDA. Malgosia Grzemska, Christian Gunneberg, Pierre-Yves Norval, Catherine Bilger, Robert Makombe, Yves Souteyrand, Tisha Mitsunaga, Cyril Pervilhac, Chika Hayashi, Abdikamal Alisalad, Evelyn Isaacs, Thuy Nguyen Thi Thanh, Spes C. Ntabangana, Andrea Godfrey y Mehran Hosseini de la Organización Mundial de la Salud (OMS); Bilali Camara de OPS/OMS, Deborah Rugg y Saba Moussavi de ONUSIDA, Bob Pond de Health Metrics Network (HMN), Pepukai Chikudwa de la International HIV/AIDS Alliance (la Alianza), Arnaud Trebucq de la Unión Internacional Contra la Tuberculosis y las Enfermedades Pulmonares, Rene L’Herminez de KNCV Tuberculosis Foundation, Rick Steketee de PATH, Verne Kemerer de MEASURE Evaluation, Abdallah Bchir y Anshu Banerjee de Global Alliance for Vaccines and Immunization (Alianza GAVI); John Novak de USAID; Scott McGill y Gloria Sanigwa de Family Health International (FHI); Matthew Lynch de la Universidad de Johns Hopkins, y Lee Yerkes de Elizabeth Glaser Pediatrics AIDS Foundation proporcionaron información y revisión técnica. Además, el desarrollo de la herramienta se benefició por la participación de varias personas durante las pruebas piloto en Tanzanía, Ruanda, Vietnam y Madagascar.



Contenido
INTRODUCCIÓN

A. ANTECEDENTES
Los programas nacionales y proyectos por donación están trabajado en el logro de ambiisosos objetivos en la lucha contra el síndrome de inmunodeficiencia adquirida (SIDA), la tuberculosis (TB) y la Malaria. Para medir el éxito y mejorar la administración de estas iniciativas, se deben contar con sistemas de monitoreo y evaluación (M y E) sólidos y que produzcan datos de calidad sobre el proceso de implementación.
Bajo el principio de los “Tres unos”, las estrategias “Alto a la Tuberculosis” y la “Alianza Global para Retroceder la Malaria”, varias organizaciones multilaterales y bilaterales han colaborado para desarrollar conjuntamente una herramienta para auditar la calidad de la información (Data Quality Assessment [DQA]). El objetivo de esta iniciativa es proveer un método común para evaluar y mejorar la calidad general de los datos y la información. Una herramienta única garantizaría la armonización de la normas y permitiría una aplicación conjunta entre socios y responsables de programas nacionales.
El enfoque exclusivo de la herramienta DQA es (1) la verificación de la calidad de los datos reportados, y (2) la evaluación de los sistemas subyacentes en el procesamiento de datos y presentación de informes sobre los indicadores de resultado a nivel del programa. La herramienta DQA no fue diseñada para evaluar todo el sistema de M y E de la respuesta nacional contra el VIH/SIDA, la tuberculosis o malaria. Dentro del contexto del VIH/SIDA, DQA se relaciona al componente 10 (es decir, supervisión capacitante y control o auditoria de datos) en el “Marco organizacional del sistema nacional de M y E del programa de VIH”.1



E


Figura 1. Marco de organización de un sistema nacional de M y E funcional del VIH – 12 componentes.
xisten dos versiones de la herramienta DQA: (1) La “Herramienta para la auditoria de la calidad de la información” (cuyas siglas en inglés, DQA, se usarán de aquí en adelante) establece pautas para que un equipo de auditoria externa evalúe la capacidad de un programa/proyecto de producir informes con datos de calidad; y (2) La “Herramienta de evaluación rutinaria de la calidad de los datos” (cuyas siglas en inglés, RDQA, que se usarán de aquí en adelante) es una versión simplificada de la herramienta DQA para realizar auditorias internas para que los programas y proyectos evalúen la calidad de sus datos, fortalezcan sus sistemas de procesamiento y manejo de datos y presentación de informes.

L


    • Verificar la calidad de los datos de los informes sobre indicadores claves en puntos selectos; y

    • Evaluar la capacidad de los sistemas en la recopilación, manejo de datos y presentación de informes con datos de calidad.
os objetivos de la herramienta DQA para auditoria de datos son:
En adición, los hallazgos de DQA también pueden ser muy útiles para fortalecer los sistemas de administración de datos y sistemas de presentación de informes de los programas/proyectos que están siendo auditados

B. OBJETIVOS
La herramienta DQA para realizar auditorias provee procesos, protocolos y plantillas sobre cómo:


  • Determinar el alcance del control de la calidad de los datos. La herramienta DQA se inicia en base a criterios para seleccionar el país, el programa/proyecto y los indicadores que habrán de auditarse. En la mayoría de los casos, la organización que solicitó la herramienta DQA definirá estos parámetros.




  • Involucrar al programa/proyecto y preparar la misión de auditoria. La herramienta DQA incluye ejemplos de cartas para notificar al programa/proyecto que se realizará una auditoria de de la calidad de los datos (y para obtener las autorizaciones necesarias), así como guías para preparar la misión en el país.




  • Evaluar el diseño y la aplicación de los sistemas de manejo de datos y presentación de informes del programa/proyecto. La herramienta DQA provee pasos y un protocolo para identificar posibles sesgos que afecten la calidad de los datos creados por el sistema de manejo de datos y presentación de informes del programa/proyecto.




  • Rastrear y verificar (volver a contar) los resultados de indicadores selectos. La herramienta DQA provee protocolos con instrucciones especiales de acuerdo a los indicadores y el tipo de servicio de salud (por ejemplo, centros de salud o servicios basados en la comunidad). Estos protocolos guiarán al equipo de auditoria a medida que se verifiquen los datos del indicador seleccionado de las fuentes de información y comparándolos con los informes y reportes del programa/proyecto.




  • Desarrollar y presentar los hallazgos y recomendaciones del equipo de auditoria. La herramienta DQA provee instrucciones sobre cómo y cuándo presentar los hallazgos y las recomendaciones de DQA a los funcionarios del programa/proyecto y cómo planificar las actividades de seguimiento y así garantizar los pasos necesarios para mejorar los sistemas de información y la calidad de los datos.


Nota: Aunque la herramienta de control de la calidad de los datos no fue diseñada para evaluar la calidad de los servicios, su aplicación podría facilitar mejoras en la calidad de los servicios a través de de datos de mejor calidad sobre el desempeño del programa.
C. MARCO CONCEPTUAL
El marco conceptual de DQA y RDQA esta ilustrado en la Figura 1 a continuación. En términos generales, la calidad de los datos depende de los sistemas subyacentes en el manejo de la información y presentación de informes. En otras palabras, los sistemas sólidos producen datos de calidad. Para que se produzcan datos de calidad y fluyan por un sistema de manejo de datos, es necesario tener componentes funcionales clave en todos los niveles del sistema – desde los puntos de entrega de servicios, a los niveles intermedios, donde se consolida la información en los distritos o regiones de salud, hasta la unidad de M y E en el nivel central. Las herramientas DQA y RDQA fueron, por lo tanto, diseñadas para:
(1) verificar la calidad de los datos,

(2) evaluar el sistema de procesamiento y manejo de datos, y



(3) desarrollar planes para mejorar ambos.

Introducción – Figura 1. Marco conceptual de (R)DQA: Sistemas de manejo de datos y presentación de informes, áreas funcionales y calidad de los datos.



D. METODOLOGÍA
Las herramientas DQA y RDQA se fundamentan en los componentes de calidad de los datos, es decir, los programas y proyectos necesitan informes con datos exactos, fiables, precisos, completos y a tiempo, para los gerentes puedan usarlos en la asignación de recursos y evaluar el progreso hacia el logro de los objetivos (véase Introducción, Tabla 1 en la próxima página). Además, los datos deben tener integridad para poder considerarse creíbles y deben garantizar las normas de confidencialidad.

Dimensión de la calidad de los datos

Definición operativa

Exactitud

También se podría llamar validez. Se puede decir exactitud en los datos cuando; mide lo que se supone debe medir; minimiza los errores (por ejemplo, sesgos en el registro, transcripciones, en el muestreo o parcialidad del entrevistador) hasta el punto que sean insignificantes.

Fiabilidad

Los datos generados por el sistema de información de un programa se basan en protocolos y procedimientos que no deberían cambiar de acuerdo a quién los use, en que momento o cuán a menudo se usen. Los datos son fiables porque se miden y se recopilan de manera consistente.

Precisión

Significa que los datos tienen el detalle suficiente. Por ejemplo, un indicador que requiere que la cantidad de personas que recibieron consejería, se tomaron la prueba de VIH y recibieron los resultados, se reporte por el sexo de la persona. Un sistema de información es no es preciso si el los datos no están diseñados para registrar el sexo de la personas.

Totalidad

Totalidad significa que el sistema de información del que se derivan los resultados es debidamente inclusivo; es decir, representa la lista total de personas o unidades elegibles y no sólo una fracción de ella.

Puntualidad

Los datos son puntuales cuando están actualizados (al día) y cuando la información está disponible a tiempo. La puntualidad se ve afectada por: (1) la frecuencia con la cual se actualiza el sistema de información del programa; (2) la frecuencia de cambio de las actividades reales del programa; y (3) cuándo realmente se usa o requiere la información.

Integridad

Los datos tienen integridad cuando el sistema esta protegido contra prejuicios y sesgos, parcialidad o manipulación por motivos políticos o personales.

Confidencialidad

Confidencialidad significa que los clientes tienen la garantía de que su información personal se mantendrá de conformidad con normas nacionales y/o internacionales de protección de datos. Eso significa que los datos personales no se revelan de manera inapropiada y que los datos en documentos impresos y formatos electrónicos se manejan con los niveles adecuados de seguridad (por ejemplo, se mantienen en ficheros bajo llave y en archivos electrónicos protegidos por contraseñas).
Introducción – Tabla 1. Dimensiones de la calidad de los datos
Basándose en estas dimensiones de calidad de los datos, la herramienta DQA consta de dos componentes: (1) evaluación de los sistemas de manejo de datos y presentación de informes; y (2) verificación de los datos informados sobre los indicadores clave en instalaciones selectas.
Por consiguiente, la implementación del DQA recibe apoyo de dos protocolos (véase el ANEXO 1):

Protocolo 1: Protocolo de evaluación del sistema;

Protocolo 2: Protocolo de verificación de los datos.
Estos protocolos se administran a cada nivel del sistema de recopilación de datos y presentación de informes (es decir, la unidad de M y E del programa/proyecto, Puestos de entrega de servicios y, según corresponda, cualquier nivel intermedio de agregación de datos – regiones o distritos).
Protocolo 1 – Evaluación de los sistemas de manejo de datos y presentación de informes:
El propósito del Protocolo 1 es identificar las posibles dificultades de calidad de los datos en los sistemas de información y presentación de informes en tres niveles: (1) la unidad de M y E del programa/proyecto, (2) las instalaciones proveedoras de servicios, y (3) en el nivel intermedio de agregación de datos (en el cual los informes de los servicios se agregan antes de enviarlos a la unidad de M y E del programa/proyecto o a cualquier otro nivel)
La evaluación de los sistemas de manejo de datos y presentación de informes tendrá lugar en dos etapas:

  1. Revisión de documentos del proyecto/programa, sin visitar los servicios;

  2. Evaluaciones de seguimiento en servicios seleccionados y en la unidad de M y E del programa y en los niveles intermedios de agregación de datos (por ejemplo, distritos o regiones).

La evaluación cubrirá 5 áreas funcionales, según se muestra en la Tabla 2 - Introducción.
Introducción – Tabla 2. Preguntas de evaluación de los sistemas por área funcional


Áreas funcionales

Preguntas de resumen

I

Estructuras, funciones y capacidades de M y E

1

¿Está el personal clave de M y E y manejo de datos identificado con descripción clara de sus responsabilidades?

2

¿Ha recibido la capacitación necesaria la mayoría del personal clave de M y E y manejo de datos?

II

Definiciones de los indicadores y pautas para la presentación de informes

3

¿Siguen los servicios de salud en forma sistemática indicadores con definiciones operacionales estándares?

4

¿Documenta claramente (por escrito) el programa/proyecto lo que se informa, a quién, cómo, y la frecuencia con la que se requiere presentar el informe?

III

Formularios y herramientas de recopilación de datos y preparación de informes

5

¿Existen formularios estándar de recopilación de datos y preparación de informes que se usan sistemáticamente?

6

¿Se registran los datos con precisión/detalles suficientes para medir los indicadores clave?

7

¿Se mantienen los datos de conformidad con normas de confidencialidad nacional o internacional?

8

¿Se mantienen y se hacen disponibles los documentos y sus fuentes conforme a una política escrita?

IV


Procesos de manejo de datos

9

¿Existe documentación clara de los pasos de recopilación, agregación y manipulación?

10

¿Se identifican las dificultades en la calidad de los datos y hay mecanismos establecidos para abordarlas?

11

¿Existen procedimientos claramente definidos y seguidos para identificar y conciliar las discrepancias en los informes?

12

¿Existen procedimientos claramente definidos y seguidos para verificar periódicamente los datos y sus fuentes?

V

Enlaces al sistema nacional de presentación de informes

13

¿Está ligado el sistema de recopilación de datos y preparación de informes del programa/proyecto con el sistema nacional de presentación información?

El resultado de esta evaluación será la identificación de las fortalezas y debilidades de cada área funcional del sistema de manejo de datos y presentación de informes.



Introducción – Figura 2. Evaluación de los sistemas de manejo de datos (Grafica)

Clave de código de color

verde

2.5 - 3.0

Sí, completamente

amarillo

1.5 - 2.5

En parte

rojo

< 1.5

No - nada




Protocolo 2 – Verificación de los datos informados sobre los indicadores clave:
El propósito del Protocolo 2 es evaluar, en una escala limitada, si los servicios y niveles intermedios de agregación de datos están recopilando e informando datos sobre indicadores clave en una manera precisa y a tiempo - y si hay un proceso de verificación a través de la comparación con resultados de otras fuentes. Para esto, el DQA determinará en una muestra de servicios si se han registrado con exactitud los indicadores seleccionados en documentos oficiales. Se rastreará esos datos para ver si se han agregado y/o manejado correctamente desde los servicios, niveles intermedios hasta la unidad de M y E del proyecto.
El ejercicio de verificación de los datos tendrá lugar en dos etapas:


  1. Trabajo de gabinete sobre los documentos recibidos del programa/proyecto; y

  2. Verificaciones de seguimiento en los niveles intermedios de agregación de datos y en la unidad de M y E del programa/proyecto.


Introducción – Figura 3. Rastreo y verificación de los datos reportados de los servicios de salud, a los niveles intermedios de consolidación de datos y a unidad de M y E del programa/proyecto

La primera etapa de verificación de los datos ocurre en las instalaciones proveedoras de servicios. Hay cinco tipos de pasos estándar de verificación de datos que pueden realizarse en este nivel (Introducción – Tabla 3):


Introducción – Tabla 3. Instalación proveedora de servicios: Cinco tipos de verificaciones de los datos


Verificaciones

Descripción

Se requiere

  1. Descripción

Describir la conexión entre la entrega de los servicios y/o suministros y cómo se registro la información en las formas de ese servicio.

En todos los casos

  1. Revisión de la documentación

Revisar si están disponibles y completas las formas para todos indicadores para el período del informe.

En todos los casos

  1. Rastreo y verificación

Rastrear y verificar los datos reportados: (1) Volver a contar las cantidades informadas de las formas originales; (2) Comparar las cifras verificadas con la cantidad informada por el servicio; (3) Describir las causas de cualquier diferencia.

En todos los casos

  1. Verificaciones cruzadas

Realizar "verificaciones cruzadas" de los totales de informes verificados con otras fuentes de datos (por ejemplo, expedientes de inventario, informes de laboratorio, registros, etc.).

En todos los casos

  1. Inspecciones al azar

Realizar "inspecciones al azar" para verificar la entrega de los servicios y/o suministros a la población beneficiaria.

De ser posible

Debido a que existen diferencias significativas entre ciertos tipos de indicadores y servicios – por ejemplo, servicios médicos (clínicas) y servicios de base comunitaria – el DQA incluye protocolos específicos a los indicadores para verificar los datos en una forma estandarizada (por ejemplo, protocolo de terapia antirretroviral [TAR]; protocolo de consejería y pruebas voluntarias [APV]; protocolos sobre los resultados del tratamiento de TB; protocolo de mosquiteros impregnados con insecticida, etc.). Estos protocolos específicos a los indicadores se basan en protocolos genéricos que fueron desarrollados para fuentes de datos en instalaciones y en la comunidad. Las Hojas de cálculo de instalaciones proveedoras de servicios de estos protocolos genéricos de verificación de los datos se muestran en el ANEXO 1.


La segunda etapa de la verificación de los datos ocurre en los niveles intermedios de agregación de datos (distritos y regiones) y en la unidad de M y E del programa/proyecto. Según se ilustra en Introducción – Figura 3, el DQA evalúa la habilidad de un nivel intermedio de agregar, procesar con precisión los datos provenientes de las instalaciones proveedoras de servicios y de reportar al siguiente nivel puntualmente. De igual manera, la unidad de M y E del programa/proyecto debe agregar de manera precisa los datos provenientes de los niveles intermedios, reportar y diseminar los resultados del programa nacional las partes interesadas (por ejemplo agencias donantes).
Por lo tanto, las siguientes verificaciones (Introducción – Tabla 4) se realizarán en los niveles intermedios de agregación. Una verificación similar que se realizara en la unidad de M y E.
Introducción – Tabla 4. Niveles intermedios de agregación: Dos tipos de verificaciones de los datos


Verificaciones

Descripción

Se requiere

  1. Revisión de la documentación

Revisar la disponibilidad, puntualidad e integridad los informes esperados de servicios para el presente período.

En todos los casos

  1. Rastreo y verificación

Rastrear y verificar los datos: (1) Volver a sumar las cantidades reportadas por los servicios; (2) Comparar los totales verificados con las cantidades presentadas al siguiente nivel (unidad de M y E del programa/proyecto); (3) Explicar las causas de cualquier diferencia encontrada.

En todos los casos

El resultado de estas verificaciones serán estadísticas sobre la precisión, disponibilidad, integridad y puntualidad de los datos informados.


Introducción – Figura 4. Estadísticas de la calidad de los datos (Ilustración).

E. SELECCIÓN DE LOS SERVICIOS
Hay cuatro métodos para seleccionar los servicios para aplicar la herramienta de auditoria de datos:


  1. Selección por propósito: Los servicios que se visitarán se seleccionan con un propósito; por ejemplo, según el tamaño del servicio, la ubicación geográfica o para examinar aspectos específicos relacionados con la los datos reportados. En este caso, no hay necesidad de un marco muestral. Sin embargo, los resultados de la auditoria de tal muestra no pueden usarse para hacer deducciones o generalizaciones sobre todas los servicios de una región o país.




  1. Diseño restringido a una instalación: Se selecciona sólo una instalación para realizar el DQA. El beneficio de este método es que el equipo puede aumentar al máximo sus esfuerzos en una instalación y ejercer un alto nivel de control sobre la implementación de los protocolos de auditoria, así como adquirir conocimientos de los sistemas específicos de la instalación de donde se obtuvieron los datos. Este método es ideal para medir los cambios de calidad de los datos que pueden atribuirse a alguna intervención (por ejemplo, capacitación de manejo de datos). En este método, el control de la calidad de los datos se implementa en una instalación seleccionada, se realiza la intervención y ésta se sigue con otro control de la calidad de los datos en la misma instalación. Cualquier cambio de calidad de los datos podría, por lo tanto, ser muy probablemente un resultado de la intervención.




  1. Muestreo aleatorio estratificado: Éste consiste en tomar una muestra aleatoria estratificada de un grupo de instalaciones subnacionales en las que una variable de interés particular es la base para visitar instalaciones. Ejemplos de tales variables incluyen instalaciones rurales, extremadamente grandes, instalaciones operadas por ciertos tipos de organizaciones (por ejemplo ONGs), o instalaciones especificas en una región o distrito. Un muestreo aleatorio estratificado permite que el equipo de auditoria proyecte los resultados de la a todas las instalaciones del sub grupo de estratificación (como a todas las instalaciones rurales, todas las instalaciones muy grandes, todas las ONG, etc.).




  1. Muestreo aleatorio simple: A menudo, es deseable hacer juicios sobre la calidad de los datos de un programa o nivel nacional. No obstante, en la mayoría de los países, sería demasiado costoso y tomaría demasiado tiempo realizar auditorias a todas las instalaciones de un programa. Además, podría resultar impreciso y engañoso llegar a conclusiones sobre todas las instalaciones de implementación basándose en las experiencias de sólo algunas. Las técnicas de muestreo aleatorio simple nos permiten seleccionar una cantidad relativamente pequeña de instalaciones de las cuales llegar a conclusiones que pueden generalizarse a todas las instalaciones de un programa/proyecto. Ese muestreo depende de propiedades estadísticas (por ejemplo, el tamaño de la muestra y la variabilidad de los parámetros a examinar) que deben tomarse en cuenta al decidir cuál método de DQA aplicar. Algunas veces, la cantidad mínima aceptable de instalaciones (en términos de validez estadística) exigida por la metodología de muestreo comprende aún demasiadas instalaciones en términos de costo y personal disponible. Si se compromete la metodología al incluir menos instalaciones de las necesarias, o al reemplazar una instalación por otra por motivos de conveniencia, se podrían producir estimaciones erróneas o sesgar calidad de los datos. No obstante, con los recursos adecuados, el muestreo aleatorio ofrece el método más sólido de llegar a conclusiones sobre la calidad de los datos de un programa o país. Este método conlleva seleccionar aleatoriamente una cantidad de instalaciones que, en conjunto, son representativas de TODAS las instalaciones en las que se están implementando actividades que apoyan los indicadores bajo estudio. Representatividad significa que las instalaciones seleccionadas son semejantes a la población entera de instalaciones en términos de los atributos que pueden afectar la calidad de los datos (por ejemplo, el tamaño, volumen de servicios y ubicación). El propósito de este método es producir estimaciones cuantitativas de la calidad de los datos que puedan interpretarse como indicativas de la calidad del programa/proyecto total, y no sólo de las instalaciones seleccionadas.



La cantidad de instalaciones seleccionadas para un DQA en particular dependerá de los recursos disponibles para realizar la auditoria , con el nivel de precisión deseado para la estimación del factor de verificación a nivel nacional. Una estimación más precisa necesita una muestra más grande de instalaciones. Los equipos de auditoria deberán colaborar con la organización que solicitó el DQA para determinar la cantidad correcta de instalaciones de un programa e indicador en específico.
F. PRODUCTOS
Al aplicar el DQA, el equipo de auditoria recopilará y documentará: (1) pruebas relacionadas con la revisión del sistema de manejo de datos y presentación de informes del programa/proyecto y (2) pruebas relacionadas con la verificación de datos. La documentación incluirá:


  • Completar los protocolos y plantillas de la herramienta DQA.

  • Tomar notas de las observaciones, entrevistas y conversaciones con funcionarios clave de calidad de los datos en la unidad de M y E, niveles intermedios y en instalaciones proveedoras de servicios.

  • Hallazgos preliminares y recomendaciones preliminares basadas en las pruebas recopiladas mediante los protocolos;

  • Informe de auditoria final. El Informe de auditoria final resumirá las pruebas recopiladas por el equipo de auditoria, identificará hallazgos o faltantes específicos a esas pruebas e incluirá recomendaciones para mejorar la calidad de los datos. El informe también incluirá los siguientes resúmenes de estadísticas que se calculan a partir de los protocolos de evaluación de sistemas y verificación de los datos;


1. Solidez del sistema de manejo de datos y presentación de informes basándose en una revisión del sistema de recopilación de datos y presentación de informes del programa/proyecto, incluyendo respuestas a preguntas sobre cuán bien se diseñó y se implementó el sistema;
2. Precisión de los datos informados mediante el cálculo de factores de verificación2 generados a partir del ejercicio de recuento de rastreo y verificación realizado en cada nivel del sistema de presentación de informes (es decir, la relación del valor de recuento del indicador al valor informado); y
3. Informes de disponibilidad, totalidad y puntualidad mediante porcentajes calculados en los niveles intermedios de agregación y la unidad de M y E.
Estos resúmenes de estadísticas, que son generados automáticamente en los archivos en Excel, son desarrollados a partir de los protocolos de evaluación del sistema y verificación de los datos de esta herramienta.


  • Toda la comunicación de seguimiento con el programa/proyecto y la organización que solicitó el DQA relacionada con los resultados y las recomendaciones del la auditoria de datos de la calidad de los datos.


G. CONSIDERACIONES DE ÉTICA
Los controles de la calidad de los datos deben realizarse con el apego más estricto a las normas de ética del país y, según corresponda, la organización que solicitó el DQA. Si bien los equipos de auditoria pueden requerir acceso a información personal (por ejemplo, expedientes médicos) para fines del recuento y la verificación cruzada de los resultados informados, en ninguna circunstancia podrá revelarse ninguna información personal relacionada con la realización de la auditoria o la preparación de informes de los hallazgos y recomendaciones. El equipo de auditoria no deberá ni fotocopiar ni sacar los documentos de las instalaciones.
Además, el auditor no deberá aceptar ni solicitar, directa o indirectamente, ningún objeto de valor económico, como obsequios, propinas, favores, entretenimiento o préstamos, que sea o pueda dar la impresión de haber sido diseñado para influenciar de alguna manera la conducta del funcionario, particularmente por parte de una persona que tenga intereses que puedan verse sustancialmente afectados por el desempeño o la falta de desempeño de los deberes del auditor.

Esta disposición no prohíbe la aceptación de alimentos y refrigerios de valor insignificante en ocasiones infrecuentes y durante el transcurso regular de reuniones, conferencias u otras ocasiones en las que el auditor esté presente, ni la aceptación de material promocional no solicitado, como bolígrafos, calendarios y/u otros artículos de un valor intrínseco nominal.


H. IMPLEMENTACIÓN
El control de la calidad de los datos se implementará cronológicamente en 18 pasos realizados en seis fases, según se ilustra en la Figura 5 de la Introducción.



  • FASE 1 – Los pasos 1 a 5 son realizados en la organización que solicitó el DQA y en las oficinas del equipo de auditoria.

    • La organización que solicitó el DQA determina el país y los programas/proyectos que serán auditados. El equipo de auditoria y/o la organización que solicitó el DQA luego seleccionan los indicadores correspondientes, así como el período de informe (Paso 1).

    • La organización que solicitó el DQA es responsable de obtener la autorización oficial del país para realizar la auditoria, según el protocolo, y para notificar formalmente al programa/proyecto que se aplicará el DQA. El equipo de auditoria da seguimiento mediante una solicitud de documentación, incluyendo información para definir el marco muestral de las instalaciones, antes de su visita al país (Paso 2).

    • En colaboración con la organización que solicitó el DQA, el equipo de auditoria identifica y ubica las instalaciones proveedoras de servicios y los niveles intermedios de agregación (por ejemplo, distritos o regiones) en los cuales se realizarán la auditoria de los sistemas y verificación de datos (Paso 3).

    • El equipo de auditoria se prepara para las visitas a las instalaciones, incluyendo el horario de visitas, la composición del equipo y el apoyo logístico necesario (Paso 4).

    • Revisión de la documentación proporcionada por el programa/proyecto (Paso 5).



  • FASE 2 – Los pasos 6 y 7 son realizados en la unidad de M y E del programa/proyecto.

    • El equipo de auditoria evalúa el sistema de manejo de datos y presentación de informes en la unidad de M y E (Paso 6). Esta evaluación tiene el fin de identificar sesgos potenciales que afectarían la calidad de los datos del sistema de manejo de datos y presentación de informes del programa/proyecto.

    • El equipo de auditoria rastrea y verifica los datos de indicadores claves a través de los reportes seleccionados de los niveles primarios (distrito o región) (Paso 7).



  • FASE 3 – Los pasos 8 y 9 son realizados en los niveles intermedios de agregación (como ser una oficina de distrito o región), en caso de que el programa tenga estos niveles.

    • El equipo de auditoria evalúa el sistema de manejo de datos y presentación de informes a través de los reportes de los niveles primarios (instalaciones proveedoras de servicios), como agregan y como se reportan a la unidad de M y E (Paso 8).

    • El equipo de auditoria continúa rastreando y verificando las cifras informadas por las instalaciones proveedoras de servicios al nivel intermedio (Paso 9).



  • FASE 4 – Los pasos 10 y 11 se realizan en las instalaciones proveedoras de servicios (servicios de salud o comunidad)

    • El equipo de auditoria continúa su evaluación en instalaciones selectas (muestra) a través de la auditoria de formas y reportes a los niveles de agregación de datos (Paso 10).

    • Además, el equipo de auditoria rastrea y verifica los datos de indicadores claves desde las formas para la recolección de datos hasta los reportes de los servicios prestados (Paso 11).



  • FASE 5 – Los pasos 12 a 14 son realizados en la unidad de M y E del programa/proyecto.

    • El equipo de auditoria finaliza la evaluación del sistema de manejo de datos y presentación de informes, llenando el resumen final de auditoria (Paso 12).

    • Luego, el equipo de auditoria redacta sus hallazgos y recomendaciones preliminares de DQA (Paso 13) y los comparte con los funcionarios de M y E del programa/proyecto durante una reunión de retroalimentación (Paso 14). Se busca consenso con los funcionarios de M y E sobre las medidas para mejorar la calidad de los datos.



  • FASE 6 – Los pasos 15 a 19 son realizados en la oficina del equipo de auditoria con la organización que solicitó el DQA y la oficina del programa/proyecto.

    • El equipo de auditoria completa un informe de auditoria preliminar (Paso 15) que se transmite a la organización que solicitó el DQA y al programa/proyecto (Paso 16).

    • Según la retroalimentación que reciba, el equipo de auditoria completa el informe de auditoria final y lo transmite al programa/proyecto (Paso 17).

    • En el paso final de la auditoria, es posible que se le solicite al equipo de auditoria que esboce un plan de seguimiento para garantizar que las mejoras identificadas en el informe final sean implementadas (Paso 18).



FASE 1: PREPARACIÓN E INICIO



1. Selección del país, los programas/ proyectos, indicadores y el período de informe

5. Revisión de la documentación

2. Notificación al programa, solicitud de documentación y obtención de las autorizaciones nacionales

3. Selección de las instalaciones que serán auditadas

4. Preparación de visitas de auditoría en las instalaciones: 1) Cronograma, 2) Composición del equipo, 3) Logística

La primera fase del DQA ocurre antes de la reunión del equipo de auditoria en el país o lugar del programa/proyecto. La responsabilidad de la FASE 1 recae en parte en la organización que solicitó el DQA y en parte en la agencia auditora. Los pasos de la FASE 1 son:




  1. Identificar el país y el programa/proyecto, y seleccionar los indicadores y el período de presentación de informes que serán el enfoque del trabajo de verificación de datos en algunas instalaciones proveedoras de servicios.




  1. Notificar a los programas/proyectos seleccionados sobre la auditoria de la calidad de datos y solicitar la documentación relacionada con el sistema de manejo de datos y presentación de informes, que el equipo de auditoria revisará antes de visitar las instalaciones y niveles seleccionados. De acuerdo al protocolo, obtener autorizaciones oficiales para realizar la auditoria y notificar a los funcionarios a cargo en país y coordinar con otras organizaciones interesadas, tales como donantes y agencias de cooperación.




  1. Determinar el tipo de muestra y la cantidad de instalaciones que se visitaran durante la auditoria de datos.




  1. Prepararse para las visitas a las instalaciones, incluyendo un cronograma de actividades, la composición del equipo de auditoria y apoyo logístico.




  1. Trabajo de gabinete para revisar la documentación antes de la visita de auditoria y ver si la calidad de los datos e informes esta de acuerdo con el diseño del sistema.


Se estima que los pasos de la FASE 1 tomarían de cuatro a seis semanas.

  1   2   3   4   5   6   7   8   9   ...   14


La base de datos está protegida por derechos de autor ©espanito.com 2016
enviar mensaje