Índice de Estado de Derecho

Sección 5: Detrás de los números

Metodología

El Índice de Estado de Derecho del WJP es el primer ejercicio que sirve para cuantificar el Estado de Derecho en el mundo de forma sistemática y exhaustiva, y es el único que define las dimensiones del Estado de Derecho con preguntas concretas.

El reporte del Índice de Estado de Derecho 2017-2018 presenta información sobre ocho factores que, a su vez, se desagregan en 44 sub-factores (ver páginas 12–13). El factor 9, justicia informal, se incluye en el marco conceptual, pero se excluye de las puntuaciones y los rankings del Índice, para permitir comparativos internacionales. Para presentar una imagen precisa del Estado de Derecho desde la experiencia de las personas, cada puntuación en el Índice se calcula utilizando información que proviene de dos fuentes de datos originales, que son encuestas recolectadas por el WJP en cada país: una Encuesta a Población General (GPP, por sus siglas en inglés), y cuatro Cuestionarios para Expertos (QRQs, por sus siglas en inglés).

Estas dos fuentes de datos contienen información oportuna y de primera mano, que está disponible a nivel global, por lo cual representa la base de datos más comprehensiva del mundo en temas de Estado de Derecho. Estas bases capturan la experiencia y percepciones de la población general, y de expertos en cada país, en cuanto al desempeño del Estado y de sus agentes, así como la operación del marco legal. Los puntajes para los países se construyen utilizando más de 500 variables, que son resultado de más de 110,000 encuestas administradas en 113 países y jurisdicciones, con lo cual el Índice es el retrato más acertado de los factores que contribuyen a dar forma al Estado de Derecho en cada país.

El Índice de Estado de Derecho del WJP cuantifica de forma sistemática y comprehensiva el Estado de Derecho en

113 países alrededor del mundo. La producción del Índice se puede resumir en los siguientes 11 pasos:

1. WJP desarrolló un marco conceptual, tras consultas exhaustivas con académicos, expertos, y líderes alrededor del mundo. El marco conceptual se compone de nueve factores y 47 sub-factores, aunque para calcular los puntajes solamente se utilizan ocho factores y 44 sub-factores.

2. El equipo del WJP desarrolló cinco cuestionarios con base en el marco conceptual del índice, para ser administrados al público general (GPP) y a expertos (cuatro cuestionarios QRQ). Después, estos cuestionarios se tradujeron a distintos idiomas y se adaptaron para incluir términos y expresiones utilizados coloquialmente en cada país.

3. El equipo del WJP identificó, en promedio, a más de 300 expertos locales de cada país, para invitarlos a responder los cuestionarios especializados (QRQ). Además, el WJP contrató a compañías líderes en hacer encuestas de opinión para aplicar la encuesta a población general (GPP).

4. Las compañías encuestadoras llevaron a cabo un ejercicio piloto y, tras consultar con el equipo del WJP, administraron la encuesta a una muestra completa.

5. WJP envió cuestionarios a expertos locales y mantuvo una comunicación constante con ellos, para monitorear que respondieran las encuestas.

6. El equipo del WJP recolectó y organizó los datos en 44 sub-factores que son comparables a nivel global.2017–2018 WJP Índice de Estado de Derecho I 163

7. El equipo del WJP construyó los puntajes finales siguiendo cinco pasos:

a. Codificar las preguntas de los cuestionarios como valores numéricos.

b. Agregar las respuestas para producir puntajes.

c. Normalizar los puntajes.

d. Agregar los puntajes normalizados para calcular sub-factores y factores utilizando promedios simples.

e. Producir el ranking final utilizando los puntajes normalizados.

8. Los datos estuvieron sujetos a pruebas para identificar posibles sesgos y errores. Por ejemplo, comparamos todos los factores con más de 70 indicadores de otras organizaciones (fuentes terciarias o third-party sources), incluyendo datos cuantitativos y evaluaciones cualitativas provenientes de organizaciones locales e internacionales.

9. Se llevó a cabo un análisis de sensibilidad en colaboración con el Econometrics and Applied Statistics Unit of the European Commission’s Joint Research Centre para probar la validez estadística de los resultados.

10. Para ilustrar cambios significativos en las puntuaciones de los países, se produjo una medida de cambio con base en la diferencia anual de los factores, los errores estándar de las calificaciones (que se estimó utilizando 100 muestras elegidas usando bootstrapping), y los resultados de pruebas-t.

11. El equipo del WJP organizó los datos en reportes, tablas, y gráficas para elaborar fichas para cada país, para facilitar su presentación e interpretación.

En la siguiente sección se detalla el proceso para recolectar datos y medir el Estado de Derecho.

Fuentes de datos

Cada año, el WJP recopila datos de muestras representativas de la población general (Encuesta a Población General, o GPP, por sus siglas en inglés) y de profesionales legales (cuestionarios de respondientes calificados o expertos, o QRQ) para calcular los puntajes del índice y los rankings. La encuesta a población general (GPP) proporciona información de primera mano sobre las experiencias y percepciones de personas comunes sobre distintos temas del Estado de Derecho, como sus experiencias con la burocracia, los grados de corrupción y sobornos, la disponibilidad de mecanismos de resolución de conflictos, y la prevalencia de delitos comunes. El cuestionario GPP incluye 153 preguntas sobre percepción, y 191 preguntas sobre experiencia, además de preguntas sociodemográficas. El cuestionario se tradujo a los idiomas locales, y se adaptó para incluir expresiones comunes a cada lugar, y después se administró por compañías encuestadoras líderes, utilizando una muestra probabilística de 1,000 personas en las tres ciudades principales de cada país.3 Se utilizaron tres metodologías para encuestar, dependiendo de las características de cada país: entrevistas cara a cara, entrevistas telefónicas, o entrevistas en línea. Las encuestas a población general (GPP) se realizan cada dos años en cada país. Los datos utilizados para el reporte de este año se recolectaron durante el otoño de 2017 (para 52 países), otoño de 2016 (para 57 países), otoño de 2014 (para 3 países) y otoño de 2011 (para 1 país). Información detallada sobre las ciudades incluidas, las compañías encuestadoras contratadas para administrar el cuestionario, y la metodología utilizada en cada uno de los 113 países, se incluye en la página 167.

...