-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathcriterios.qmd
107 lines (80 loc) · 11.6 KB
/
criterios.qmd
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
# Critérios de validação dos indicadores
::: {style="text-align: justify;"}
> Esta subseção finaliza a fundamentação teórica necessária, por meio da disposição dos critérios utilizados, para avaliar a qualidade dos indicadores, bem como validá-los.
Para atingir seus objetivos e proporcionar os benefícios citados no Capítulo 2, os indicadores de desempenho devem ser precisos, inteligíveis, coerentes e relevantes para os gestores (Mustea; Mihiţ; Lobonţ, 2021), sendo necessário avaliá-los em relação a quesitos que permitem aferir sua qualidade e também atuam como critérios de seleção perante uma certa quantidade de indicadores propostos (Ambrozewicz, 2015; ENAP, 2021b). **A ratificação dos indicadores por esses critérios, evitarão muitos dos efeitos negativos** **provenientes de implantações errôneas**, esses apresentados no Capítulo 3.
::: callout-important
## Alerta
Indicadores sem qualidade, bem como em excesso, são prejudiciais aos SMD e à gestão dos órgãos que os implantam.
:::
Assim como os atributos de um indicador, os critérios utilizados para sua validação também podem ser divididos conforme a cronologia de sua construção entre aqueles que validam:
1. a elaboração do indicador;
2. os elementos relativos ao cálculo do indicador;
3. a apresentação dos resultados.
Os cartões abaixo apresentam esses critérios de validação em ordem alfabética, sendo importante ater-se mais à descrição do que aos seus nomes, que podem variar conforme o autor: como exemplo, Francischini e Francischini (2017) os denominam por características dos indicadores de desempenho
:::
## **Critérios relativos à elaboração dos indicadores**
| **CRITÉRIO** | **DESCRIÇÃO** |
|:-------------------------|----------------------------------------------|
| [NÃO SOBREPOSIÇÃO]{style="color: blue"} | Não deve existir mais de um indicador para a medição do mesmo objeto sob a mesma dimensão. |
| [REPRESENTATIVIDADE]{style="color: blue"} | Demonstra as etapas mais importantes e críticas daquilo que se mede. |
| [SELETIVIDADE OU IMPORTÂNCIA]{style="color: blue"} | O objeto de medição é significativo para a instituição. |
| [SIMPLICIDADE]{style="color: blue"} | De fácil e simples elaboração. |
| [UTILIDADE OU RELEVÂNCIA]{style="color: blue"} | Apoia as decisões em diversos níveis, considerando as necessidades das partes interessadas. |
| [VALIDADE]{style="color: blue"} | Representa a realidade do que mede com a maior proximidade possível. |
: {.striped .hover}
::: {style="text-align: justify;"}
Muitos dos critérios apresentados funcionam como contornos ou soluções a determinados [fatores limitantes à medição de desempenho no setor público](https://tallens-junior.gitbook.io/guia_indicadores_orgaos_publicos/1.-apresentacao/1.4-consequencias-indesejadas-e-limitacoes-da-medicao-de-desempenho#fatores-limitantes-a-medicao-de-desempenho-no-setor-publico). Como por exemplo, a **significância da medição** pode ser evitado por meio dos critérios **seletividade**, **representatividade** e **utilidade**.
:::
## **Critérios referentes ao cálculo dos indicadores**
| **CRITÉRIO** | **DESCRIÇÃO** |
|----------------------------------|--------------------------------------|
| [COBERTURA]{style="color: orange"} | Capacidade de abrangência da medição (territorial, temporal, populacional ou por outra perspectiva). |
| [COMPARABILIDADE]{style="color: orange"} | Proporciona comparações com outras referências, sejam internas, externas, territoriais ou temporais. |
| [CONFIABILIDADE DA FONTE]{style="color: orange"} | Os dados para geração do indicador provêm de fontes confiáveis. |
| [CONFIABILIDADE METODOLÓGICA, RASTREABILIDADE OU AUDITABILIDADE]{style="color: orange"} | Os processos de geração do indicador estão definidos e formalizados, permitindo replicação. |
| [DISPONIBILIDADE, VIABILIDADE OU FACTIBILIDADE]{style="color: orange"} | Os dados para o cálculo do indicador são facilmente obtidos. |
| [ECONOMICIDADE]{style="color: orange"} | Os benefícios da geração do indicador superam os custos para sua elaboração. |
| [ESTABILIDADE]{style="color: orange"} | O objeto de medição possui constância para proporcionar medições estáveis ao longo do tempo. |
| [INDEPENDÊNCIA]{style="color: orange"} | Fatores não controláveis possuem baixa influência nos resultados do indicador. |
| [SUPORTE TÉCNICO]{style="color: orange"} | Há suporte para a elaboração e medição do indicador. |
| [TEMPESTIVIDADE]{style="color: orange"} | O resultado pode ser apurado em tempo hábil para a adoção das medidas corretivas. |
: {.striped .hover}
## **Critérios para a apresentação dos resultados**
| **CRITÉRIO** | **DESCRIÇÃO** |
|--------------------------------|----------------------------------------|
| [DESAGREGABILIDADE]{style="color: green"} | Permite fornecer resultados em diversos níveis conforme segmentos específicos. |
| [OBJETIVIDADE, CLAREZA OU COMUNICABILIDADE]{style="color: green"} | Apresenta facilmente os resultados e de maneira inequívoca. |
| [PUBLICIDADE]{style="color: green"} | Os resultados do indicador devem estar disponíveis a todas as partes interessadas. |
| [SENSIBILIDADE]{style="color: green"} | Os resultados repercutem as variações do fenômeno que mede. |
: {.striped .hover}
## **Seleção de critérios de qualidade e validação de indicadores**
::: {style="text-align: justify;"}
Para Brasil (2020b) e Uchoa (2013) não atender a todos os critérios não implica imediata exclusão do indicador; algumas fontes selecionam, entre os próprios critérios que apresentam, aqueles que consideram **essenciais**, como validade, confiabilidade metodológica e da fonte (Brasil, 2010; 2012; Rio de Janeiro, 2020), utilidade, disponibilidade (Brasil, 2012; Rio de Janeiro, 2020), publicidade (Rio de Janeiro, 2020) e simplicidade (Brasil, 2010). Brasil (2010) sugere dividir os critérios existentes entre aqueles considerados essenciais para a organização - denominados **eliminatórios** e outros que embora sejam importantes, não são essenciais - esses são denominados como **classificatórios**.
A disposição dos 20 critérios de validação conforme a frequência de citação entre as 39 fontes da pesquisa bibliográfica, de onde esses foram identificados e extraídos, pode facilitar a divisão proposta. Nessa ordenação, aqueles [**critérios relativos à validação da elaboração dos indicadores**]{style="color: blue"} estão apresentados na cor [**azul e em negrito**]{style="color: blue"}; os referentes à [validação dos elementos e procedimentos de cálculo]{style="color: orange"} estão apresentados na cor [[laranja e sublinhado]{.underline}]{style="color: orange"}; por fim, os [*critérios utilizados para validação dos resultados*]{style="color: green"} estão dispostos na [*cor verde e em itálico*]{style="color: green"}.
| Ordem | Critério | Frequência absoluta (n=39) |
|:----------------:|:-----------------------------------:|:----------------:|
| 1 | [[Confiabilidade da fonte]{.underline}]{style="color: orange"} | 26 |
| 2 | [[Disponibilidade]{.underline}]{style="color: orange"} | 23 |
| 3 | [**Representatividade**]{style="color: blue"} | 23 |
| 4 | [[Tempestividade]{.underline}]{style="color: orange"} | 22 |
| 5 | [**Utilidade ou relevância**]{style="color: blue"} | 22 |
| 6 | [*Objetividade*]{style="color: green"} | 22 |
| 7 | [[Confiabilidade metodológica]{.underline}]{style="color: orange"} | 20 |
| 8 | [[Estabilidade]{.underline}]{style="color: orange"} | 18 |
| 9 | [[Economicidade]{.underline}]{style="color: orange"} | 16 |
| 10 | [*Sensibilidade*]{style="color: green"} | 14 |
| 11 | [**Simplicidade**]{style="color: blue"} | 12 |
| 12 | [**Validade**]{style="color: blue"} | 11 |
| 13 | [*Publicidade*]{style="color: green"} | 10 |
| 14 | [**Seletividade**]{style="color: blue"} | 9 |
| 15 | [*Desagregabilidade*]{style="color: green"} | 8 |
| 16 | [[Comparabilidade]{.underline}]{style="color: orange"} | 6 |
| 17 | [[Independência]{.underline}]{style="color: orange"} | 4 |
| 18 | [**Não sobreposição**]{style="color: blue"} | 2 |
| 19 | [[Cobertura]{.underline}]{style="color: orange"} | 1 |
| 20 | [[Suporte técnico]{.underline}]{style="color: orange"} | 1 |
: Ordenação dos critérios de validação dos indicadores pesquisados {.striped .hover}
Os 12 primeiros critérios mais citados estão ordenados nessa importância tanto para as fontes que visam a medição de programas dos Planos Plurianuais governamentais, quanto para a medição de desempenho organizacional, bem como para a avaliação da performance de processos.
Esta subseção apresentou os critérios utilizados para **validar os indicadores construídos ou em processo de construção**, pois **aferem a qualidade dos indicadores**, bem como **permitem sua seleção diante de um grupo**. Esses critérios podem ser divididos entre aqueles relativos à **elaboração, cálculo e apresentação dos resultados dos indicadores**, sendo considerados de duas formas distintas: a instituição pode apontar aqueles critérios que lhe são **essenciais** e aqueles que, embora sejam importantes, não vão eliminar um indicador, mas avaliá-lo e **classificá-lo** para futura escolha.
No capítulo seguinte tem-se a síntese de todo o capítulo de fundamentação que proporcionou as condições necessárias para se iniciar o processo de criação de indicadores de desempenho, tema da terceira seção deste guia.
:::