RODRIGO FALCÃO LOPES DE LIMA.pdf
RODRIGO FALCÃO LOPES DE LIMA.pdf
Documento PDF (375.4KB)
Documento PDF (375.4KB)
RELATÓRIO TÉCNICO ACERCA DA EFICIÊNCIA TÉCNICA DOS
TRIBUNAIS DE CONTAS DO BRASIL UTILIZANDO A ANÁLISE
ENVOLTÓRIA DE DADOS
Discente: Rodrigo Falcão Lopes de Lima (PROFIAP/UFAL)
Orientador: Prof. Dr. Madson Bruno da Silva Monte (PROFIAP/UFAL)
Maceió/AL
2023
RESUMO
O controle sobre a administração pública ocorre em diversos aspectos, seja entre os
Poderes da República (Executivo, Legislativa e Judiciário) ou de um órgão fiscalizador
sobre um gestor público. Os Tribunais de Contas do Brasil são instituições centenárias
que desempenham o papel constitucional de fiscalizar as contas dos gestores
públicos, emitindo, assim, pareceres prévios. A fiscalização sobre os órgãos
fiscalizadores também deve existir, principalmente pela sociedade. Assim, esta deve
cobrar daqueles a eficiência na utilização dos recursos públicos a eles confiados. Para
aferir a eficiência dos Tribunais de Contas do Brasil, foi utilizada a Análise Envoltória
de Dados (DEA), técnica não-paramétrica que permite a comparação entre Unidades
Tomadoras de Decisão (DMUs), que neste estudo são os Tribunais de Contas
brasileiros, que compartilham o mesmo rol de recursos e produtos, sendo utilizada
tanto na iniciativa privada quando no setor público. Os resultados apontaram uma
queda da média e da mediana da eficiência dos Tribunais de Contas no ano de 2020,
quebrando uma sequência de crescimento entre os anos de 2017 e 2019; a tendência
de crescimento foi retomada no ano de 2021. Utilizando os alvos (projeções eficientes)
de todas as DMUs, foi elaborado um Modelo Linear Generalizado (MLG) para nortear
os Tribunais de Contas na definição de suas metas anuais, buscando o alcance da
eficiência na utilização dos recursos públicos. Por fim, foram propostas
recomendações com o objetivo de auxiliar os Tribunais de Contas na busca pela
eficiência.
SUMÁRIO
Entidade de Estudo ........................................................................................... 01
Público-Alvo dos Resultados do Estudo ......................................................... 01
1. CONTEXTUALIZAÇÃO .................................................................................. 01
2. OBJETIVOS .................................................................................................... 02
3. MÉTODO UTILIZADO ..................................................................................... 02
4. RESULTADOS ................................................................................................ 06
4.1 DA COLETA E DO TRATAMENTO DE DADOS ........................................... 06
4.2 ANÁLISE DESCRITIVA DOS DADOS COLETADOS .................................... 07
4.3 DO RESULTADO DA EFICIÊNCIA ................................................................ 10
4.4 MODELO LINEAR GENERALIZADO (MLG) ................................................. 15
5. RECOMENDAÇÕES ....................................................................................... 17
6. REFERÊNCIAS ............................................................................................... 19
Entidade de Estudo
O presente estudo teve como objeto os Tribunais de Contas do Brasil de abrangência
nacional, estadual, distrital e municipal.
Público-Alvo dos Resultados do Estudo
De maneira direta, os gestores que compõem os quadros dos Tribunais de Contas do
Brasil; de maneira indireta, toda a sociedade brasileira.
1. CONTEXTUALIZAÇÃO
Os Tribunais de Contas (TCs) são instituições centenárias, criadas ainda no
Brasil Império, com atribuições inicialmente contábeis, controlando receitas e
despesas. Com a proclamação da República, os TCs ganham funções fiscalizatórias
alinhadas com as atuais atribuições. Segundo Lopes e Bringel (2016), após ter sua
autonomia ampliada, os Tribunais de Contas passaram a poder fiscalizar a gestão dos
recursos públicos além da legalidade, avaliando-a também sob a luz dos princípios
constitucionais; além disso, passou também a poder, por iniciativa própria, realizar
auditorias e inspeções em todas as unidades administrativas dos três poderes.
O controle dos órgãos públicos deve envolver, também, os próprios órgãos
fiscalizadores, cobrando-os a eficiência. Entende-se eficiência técnica como aquela
definida por Farrell (1957), sendo a maior produção possível para uma determinada
quantidade de insumos, medidos pela razão entre eles.
A busca pela eficiência está presente tanto na iniciativa privada (DOGAN;
KAYGISIZ; ALTINEL, 2018; RAMOS REAL; TOVAR, 2020), quanto em diversas áreas
na administração pública (SYLVESTRE; HAIYAN; YIYI, 2018; TABANERA; MARTÍN;
GONZÁLEZ, 2015; BANDEIRA; REYES JUNIOR, 2021; LIMA et al., 2022).
A análise da eficiência é importante para a elaboração e controle de políticas
públicas, uma vez que permite avaliar se os recursos públicos estão sendo utilizados
da maneira mais eficiente possível para alcançar os objetivos estabelecidos pela
política pública, ajudando a identificar áreas em que os recursos estão sendo
desperdiçados ou mal utilizados, permitindo que sejam tomadas medidas para corrigir
esses problemas.
1
Apesar de diversas áreas e órgãos já terem sido objeto análise em diversos
estudos, a análise da eficiência dos Tribunais de Contas do Brasil ainda não foi
realizada, como sugerem Camelo e Franca Filho (2016).
2. OBJETIVOS
Com a finalidade de fortalecer o controle social sobre essas instituições públicas, o
objetivo deste estudo é realizar uma análise sobre a eficiência técnica dos Tribunais
de Contas do Brasil.
3. MÉTODO UTILIZADO
A Análise Envoltória de Dados é uma técnica utilizada para mensurar a
eficiência técnica das Unidades Tomadoras de Decisão (DMUs) que possuem
entradas (inputs) e saídas (outputs) em comum para um determinado programa
(CHARNES; COOPER; RHODES, 1978).
O modelo DEA-CCR considera que existe uma razão proporcionalizada entre
os inputs e os outputs, ou seja, considera que existem retornos constantes de escala.
Já na década seguinte, Banker, Charnes e Cooper (1984) desenvolveram uma nova
abordagem para a DEA, passando a considerar os retornos variáveis de escala
(CHEN; CHANG, 2021), assim, não havia mais a necessidade de se considerar a
proporcionalidade entre os inputs e os outputs. Esse modelo ficou conhecido como
DEA-BCC.
O modelo de análise envoltória de dados permite a adequação tanto às suas
entradas quanto às suas saídas, a depender das características próprias de cada
situação real em estudo (PEIXOTO; MUSETTI; MENDONÇA, 2020). Ou seja, a
depender de qual parâmetro seja de melhor manipulação por parte do pesquisador
e/ou gestor, deve-se ajustar a orientação para as entradas (quando o objetivo for a
minimização dos recursos) ou para as saídas (quando o objetivo for a maximização
dos produtos).
Tal métrica é considerada por Silva (2009) a mais apropriada para avaliação da
eficiência da alocação dos recursos municipais em seus diversos serviços prestados,
dado que busca identificar o desempenho das unidades de análises, além de poder
realizar a comparação entre elas, o que acaba possibilitando a identificação das
2
melhores práticas de políticas públicas adotadas, além da promoção de melhorias na
qualidade de bens e serviços prestados.
Além dos escores de eficiência, com a DEA também é possível formar a
fronteira invertida, que consiste em inverter as posições dos outputs e os inputs,
gerando uma fronteira com as DMUs que possuem as piores práticas gerenciais
(NEVES JUNIOR et al., 2012).
Com os conceitos de eficiência padrão e eficiência invertida, é possível chegar
ao conceito de eficiência composta, que consiste na média simples da eficiência
padrão com a diferença da eficiência invertida para uma unidade (NEVES JUNIOR et
al., 2012).
𝐸𝑓𝑖𝑐𝑖ê𝑛𝑐𝑖𝑎 𝐶𝑜𝑚𝑝𝑜𝑠𝑡𝑎 =
𝐸𝑓𝑖𝑐𝑖ê𝑛𝑐𝑖𝑎 𝑃𝑎𝑑𝑟ã𝑜 + (1 − 𝐸𝑓𝑖𝑐𝑖ê𝑛𝑐𝑖𝑎 𝐼𝑛𝑣𝑒𝑟𝑡𝑖𝑑𝑎)
2
Por fim, também existe o conceito de eficiência composta normalizada, que é
obtida pela razão da eficiência composta de cada DMU pela maior eficiência composta
do grupo (NEVES JUNIOR et al., 2012).
Uma das grandes vantagens da utilização da DEA é a sua flexibilidade, haja
vista a não necessidade de satisfação de um conjunto de propriedades formais exigido
por outras técnicas (CORDERO et al., 2021), tais como a normalidade dos dados.
Diante de sua característica de modelo matemático não-paramétrico e por ter a
possibilidade de escolha da orientação a qual será mensurada a eficiência das DMUs,
a DEA se mostra como um modelo adequado à mensuração da eficiência na
Administração Pública.
O modelo utilizado no estudo foi o DEA-BCC, considerando retornos variáveis
de escalda, sendo este orientado aos produtos, assim como nos trabalhos de
Ponciano, Motta e Marinho (2019) e Tupper e Resende (2004), uma vez que a gestão
de custos no setor público é mais difícil, prevalecendo a expansão dos produtos; já o
retorno variável de escala foi considerado por, em geral, não haver retornos
constantes de escala nas execuções de programas e políticas públicas (BANDEIRA;
REYS JUNIOR, 2021), juntamente com a dificuldade de mudança (redução) de
tamanho (PONCIANO; MOTTA; MARINHO, 2019; SAMPAIO; SAMPAIO, 2007).
3
As variáveis de entrada utilizadas na pesquisa foram baseadas na visão inicial
de Penrose (2009), utilizando recursos mensuráveis e comum a todos os TCs: físicos
(investimentos) e humanos (quantidade de servidores), controlados pelos TCs.
Entende-se como investimento a execução de obras, a aquisição de imóveis,
instalações, equipamentos e material permanente e a participação no capital social de
empresas que não possuam caráter comercial ou financeiro (BRASIL, 1964). Foram
utilizados os valores liquidados, uma vez que esta fase representa a verificação do
direito adquirido pelo credor (BRASIL, 1964), i. e., é nesta fase que se garante que os
serviços foram prestados e que os produtos foram recebidos pela administração
pública.
Quanto às variáveis de saída, foram utilizadas variáveis que representassem a
atividades-fim dos Tribunais de Contas. A emissão de pareceres prévios é a opinião
do TC sobre as contas dos Chefes do Poder Executivo (prefeitos, governadores e
presidente). Função semelhante (a de julgamento), é encontrada nos Tribunais de
Justiça, órgãos do Poder Judiciário, que, quando submetidos à análise de eficiência
por meio da DEA, têm o quantitativo de sentenças como variável de saída (GOMES;
ARAUJO; DIAS, 2018; NOGUEIRA et al., 2012; YEUNG; AZEVEDO, 2012).
Além da emissão de pareceres prévios, também está constitucionalmente
prevista como atividade-fim dos TCs a realização de fiscalizações (inspeções e
auditorias) sobre seus entes fiscalizados, sendo elas de ordem contábil, operacional,
financeira, orçamentária e patrimonial. Estas são responsáveis por dar embasamento
à emissão dos pareceres prévios, definitivos e demais julgamentos pelos TCs. Não
apenas para este fim, mas também para embasar demais decisões dos TCs quanto
as contas públicas.
O Quadro 1 traz o resumo das variáveis, incluindo a referência de outros
trabalhos que as utilizaram em suas respectivas pesquisas, ou as utilizaram com
sugestão de pesquisa.
Quadro 1 – Das Variáveis
Nome
Servidores
Tipo
Input
Descrição
Referências
Quantidade de
Nogueira et al. (2012)
servidores ativos no
ano
Saquetto e Araujo
(2019);
4
Souza, Scatena e
Kehrig (2016);
Gomes, Araujo e Dias
(2018).
Valor da despesa
Investimentos
liquidada em
Input
Çaglar Onbasioglu
(2021);
investimentos no
Diop; Fall (2022);
exercício financeiro
Silva et al. (2022).
Quantidade de
pareceres prévios
emitidos no ano,
Pareceres Prévios
dividida pela
Output
quantidade de
Poderes Executivos
dentro da jurisdição do
Gomes, Araujo e Dias
(2018);
Nogueira et al., (2012);
Yeung e Azevedo
(2012).
TC
Quantidade de
inspeções e auditorias
realizadas no ano,
Fiscalizações
(Inspeções e
Output
Auditorias)
dividida pela
Brasil (1988);
quantidade de
Nogueira et al., (2012)
Poderes Executivos
dentro da jurisdição do
TC
Fonte: o autor
Os
dados
da
pesquisa
foram
obtidos
através
dos
relatórios
de
atividades/gestão disponibilizados nos sites dos respectivos TCs, bem como nos
portais da transparência. Nos casos em que não houve a disponibilização ativa desses
dados, os mesmos foram solicitados via Lei de Acesso à Informação (Lei
12.527/2011), onde os Tribunais tiveram até vinte dias (prorrogáveis por mais dez)
para responder às solicitações.
Os dados coletados foram para um período de cinco anos (2017 a 2021). Para
a análise desses dados, foi utilizado o software Sistema Integrado de Apoio à Decisão
(SIAD), versão 3.0, que realizou a análise de forma global (todas as DMUs em uma
única análise, sem separação ano a ano), evidenciado quais DMUs se mostraram
5
eficiente ao longo de todo o período (MEZA et al., 2005), aumentando a precisão sobre
qual relação input x output é a eficiente.
4. RESULTADOS
4.1 DA COLETA E DO TRATAMENTO DE DADOS
A coleta de dados foi encerrada dia 10 de fevereiro de 2023, mais de dois
meses após o término do prazo para o envio das respostas pelos TCs. Durante o
processo de coleta de dados, estes foram organizados em planilhas eletrônicas.
Alguns TCs não forneceram dados suficientes para a formação de DMUs, a
saber: TCE-AL, TCE-AM, TCM-BA, TCE-CE, TCE-MA, TCM-PA, TCE-PI, TCE-RR,
TCE-SE, TCE-SP e TCE-TO. Os demais TCs forneceram dados suficientes para a
formação de pelo menos uma DMU.
Foi considerado como DMU cada TC a cada ano. Ao todo, foram coletados
dados suficientes para a formação de 77 (setenta e sete) DMUs, representando
apenas 46,67% das DMUs possíveis (165) para o período de 2017 a 2021.
Cumpre ressaltar que foi identificada uma falta de padronização na forma de
disponibilização dos dados por parte dos TCs. O TCE-PE classifica em duas espécies
(de acompanhamento e especiais concomitantes); já o TCE-PA, em 2017, considera
as auditorias de três espécies (especiais, operacionais e coordenadas); em 2021, o
mesmo TCE-PA ao mudar o seu relatório de atividades, classificando as auditorias
em operacionais, monitoramento, auditoria especial e inspeção extraordinária;
diversas classificações que talvez não sejam consideradas nos demais TCs. O TCEAC considera as auditorias e fiscalizações quando apreciado/julgado o processo. O
TCDF contabiliza como mais de uma fiscalização a realizada em mais de um ente
jurisdicionado.
Em relação à variável “pareceres prévios”, estes são emitidos apenas sobre as
contas dos Chefes de Poder Executivo (BRASIL, 1988). Logo, se um TC só tem sob
sua jurisdição apenas um Chefe de Poder Executivo, o máximo de pareceres prévios
por exercício é um. Contudo, foi detectado que o TCM-SP emitiu dois pareceres
prévios por ano, pois ao julgar suas próprias contas, emitiu parecer prévio, quando
deveria ter emitido parecer definitivo. Os dados foram tomados como válidos, sem
emissão de juízo de valor.
6
Essa assimetria de informações quanto às variáveis de saída pode
comprometer a comparabilidade entre os TCs, uma vez que é possível que alguns
TCs consideram determinados procedimentos diferentemente dos demais.
Todas as DMUs foram tomadas como aptas à análise de eficiência, uma vez
que todas possuem a mesma finalidade institucional (controle das contas públicas),
ainda que, entre elas, haja variações de tamanho. Ter uma estrutura maior não
significa necessariamente esta será considerada ineficiente, uma vez que ter uma
estrutura maior pressupõe uma maior possibilidade de produção de fiscalizações, por
exemplo.
4.2 ANÁLISE DESCRITIVA DOS DADOS COLETADOS
As Tabelas de 01 a 04 apresentam as estatísticas descritivas das quatro
variáveis utilizadas na pesquisa para as DMUs válidas.
Tabela 1 – Análise Descritiva dos Dados Coletados (Servidores)
2017
2018
2019
2020
2021
Geral
Média
649,38
671,06
694,88
668,54
688,13
674,40
Desvio Padrão
533,77
498,40
475,92
524,99
478,72
489,11
Mediana
501,00
524,00
524,50
477,00
530,00
524,00
Mínimo
206,00
210,00
270,00
289,00
299,00
206,00
Máximo
2.449,00
2.368,00
2.269,00
2.241,00
2.225,00
2.449,00
Fonte: o autor
Entre os anos de 2017 e 2019, a média de servidores ativos apresentou
sucessivos aumentos (variações de +3,34% e 3,55%, respectivamente). Em 2020, a
média sofreu uma queda (-3,79%), voltando a crescer em 2021 (+2,93%). O TCU é o
TC que possui a maior quantidade de servidores em todo o período. Por outro lado, o
TCE-AC é quem possui a menor quantidade de servidores ativos em 2017 e 2018;
para os anos seguintes, o valor mínimo se refere ao TCE-AP.
Tabela 2 – Análise Descritiva dos Dados Coletados (Investimentos)
2017
2018
2019
2020
2021
Geral
7
Média
3.282.798,59
3.227.734,22
3.196.095,64
3.064.409,16
3.988.198,23
3.353.169,90
Desvio
Padrão
5.562.444,32
6.161.412,85
2.862.138,35
4.834.454,30
5.287.522,61
4.965.864,73
Mediana
1.411.032,70
1.495.461,29
2.450.888,13
1.892.167,13
2.420.153,84
1.816.595,28
Mínimo
68.145,16
7.430,00
19.500,00
96.000,00
0,00
0,00
Máximo
20.668.960,61
26.436.689,28
10.284.301,10
18.097.579,31
18.970.192,38
26.436.689,28
Fonte: o autor
De maneira diferente em relação ao número de servidores, a média dos
investimentos entre 2017 e 2020 apresentou queda (variações de -1,68%, -0,98% e 4,12%, respectivamente). Em 2021, houve um considerável aumento da média de
investimentos (+30,15%).
Quanto aos valores mínimos investidos no período, destaca-se o TCE-AP em
2021, que apresentou investimentos em sua estrutura. Já sobre os valores máximos,
destaca-se o TCU em 2018, que investiu mais de 08 (oito) vezes o valor da média no
respectivo ano. Também se destaca o ano valor máximo em 2017, que pertence ao
TCE-PE, superando os investimentos do TCU, que possui campo de atuação
nacional.
Tabela 3 - Estatísticas Descritivas das Variáveis (Pareceres Prévios)
2017
2018
2019
2020
2021
Geral
Média
101,94
134,88
190,88
126,54
155,87
142,35
Desvio Padrão
155,26
202,30
284,81
221,33
222,11
217,11
Mediana
37,50
74,00
74,50
44,00
77,00
49,00
Mínimo
0,00
1,00
1,00
1,00
1,00
0,00
Máximo
592
742,00
1045,00
794,00
822,00
1045,00
Fonte: o autor
Dos elementos coletados para a variável “pareceres prévios”, destaca-se
negativamente o fato de o valor mínimo para o ano de 2017 ser zero, ou seja, neste
ano, houve DMU (TCE-PA 2017) que não publicou a emissão de qualquer parecer
prévio sobre as contas do respectivo Chefe do Poder Executivo. Para os anos
seguintes, existem sucessos valores iguais a 1,00, valor este esperado para os TCs
que possuem apenas um Poder Executivo sob sua jurisdição (TCE-BA, TCDF, TCU e
os demais anos do TCE-PA).
8
Tabela 4 - Estatísticas Descritivas das Variáveis (Fiscalizações)
2017
2018
2019
2020
2021
Geral
Média
224,13
247,18
243,69
162,62
186,60
215,58
Desvio Padrão
211,76
288,96
254,95
165,47
229,41
233,08
Mediana
148,00
142,00
155,00
114,00
126,00
142,00
Mínimo
11,00
10,00
5,00
4,00
2,00
2,00
Máximo
692
1.033,00
947,00
575,00
930,00
1.033,00
Fonte: o autor
Para a variável “fiscalizações”, destaca-se que a média do período sofreu uma
considerável queda (-33,27%) de 2019 para 2020, voltando a crescer no ano de 2021
(+14,75%). Nota-se uma grande amplitude da quantidade de fiscalizações realizadas
no período, tendo os valores mínimos em todos os anos referentes ao TCE-PA, e os
valores máximos referentes aos seguintes TCs, respectivamente: TCE-RO, TCE-RJ,
TCE-RJ, TCE-RJ e TCE-PE.
Visualmente, é possível verificar o que o ano de 2020 apresentou queda em
todas as variáveis, tanto na média, como na mediana, em relação ao ano anterior. No
ano seguinte, houve aumento em todas as variáveis.
Figura 1 - Médias e Medianas das Variáveis da Pesquisa
9
Fonte: o autor
Apesar de estudos (BARROS et al., 2021; VILARINHO; PASCHOAL; DEMO,
2021) apontarem que durante a pandemia da Covid-19 houve aumento de
produtividade com a adoção do regime de teletrabalho (home office), é possível que
esse aumento não se aplique perfeitamente aos TCs, uma vez que a função
fiscalizatória ocorre, em diversas situações, in loco, sendo prejudicada pelo regime de
home office, o que explicaria a queda da média e da mediana das variáveis de saída,
especialmente nas variáveis de saída.
4.3 DO RESULTADO DA EFICIÊNCIA
As 77 (setenta e sete) DMUs foram submetidas à análise de eficiência por meio
do software SIAD 3.0, modelo DEA-BCC orientado às saídas. Os resultados
apontaram catorze DMUs eficientes para o período, o que representa 18,18% de todas
as DMUs analisadas. Em sequência, serão apresentadas as estatísticas dos índices
de eficiência.
10
Tabela 5 - Estatísticas Descritivas dos Índices de Eficiência
2017
2018
2019
2020
2021
Geral
Média
0,51384
0,53591
0,57099
0,42390
0,51736
0,51609
Desvio Padrão
0,35483
0,32301
0,35377
0,31525
0,37070
0,33867
Mediana
0,45928
0,53727
0,47159
0,29266
0,61930
0,48762
Mínimo
0,01636
0,01434
0,00715
0,00882
0,00373
0,00373
Máximo
1,00000
1,00000
1,00000
1,00000
1,00000
1,00000
Fonte: o autor
A média dos índices de eficiência apresentou aumentos sucessivos entre os
anos de 2017 e 2019 (+4,30% e 6,54%, respectivamente); no ano de 2020, a média
sofreu uma considerável queda (-25,76%), voltando a subir em 2021 (+22,05%),
voltando ao mesmo patamar do ano de 2017.
Os valores máximos são iguais a um em todos os anos, o que significa que,
mesmo realizando a DEA de modo geral e de uma única vez, em todos os anos houve
pelo menos uma DMU eficiente. Os valores mínimos estão muito próximos ao menor
valor possível (zero), o que demonstra que a respectiva DMU se mostrou bastante
ineficiente. Em todos os anos, o TCE-PA foi quem apresentou os menores índices de
eficiência.
Outras três DMUs apresentaram índices de eficiência abaixo de 0,1, a saber:
TCE-BA 2017, 2020 e 2021 (0,09814; 0,05370; e 0,04378, respectivamente) e TCMRJ 2021 (0,01840). Entre esses três tribunais existe uma semelhança: são
responsáveis por fiscalizar as contas de apenas um Poder Executivo.
11
Figura 2 - Média e Mediana da Eficiência
Eficiência
0,70000
0,60000
0,50000
0,40000
0,30000
0,20000
0,10000
0,00000
2017
2018
2019
Média
2020
2021
Mediana
Fonte: o autor
Como pode ser observado, em linhas gerais, tantos as variáveis quanto os
índices de eficiência apresentaram comportamento semelhante: tendência de
crescimento até o ano de 2020, com forte queda neste ano, com retomada do
crescimento em 2021.
No de 2020, a mediana da Eficiência foi de 0,29266, o que significa que metade
das DMUs deste ano ficaram abaixo deste valor, a menor no período analisado. Como
demonstrado anteriormente, as quedas dos valores das variáveis de saída foram
maiores que as quedas das variáveis de entrada, o que explica a queda abruta dos
índices de eficiência para este ano.
No ano seguinte (2021), o valor da média de assemelha ao valor da média do
ano de 2017, o que demostra uma retomada aos padrões anteriormente aplicados aos
TCs. Apesar de uma média semelhante, a mediana de 2021 é superior à mediana de
2017.
A Tabela 06 contém as DMUs que compõem o benchmark para o período
analisado, ano a ano.
12
Tabela 6 - Benchmark de DMUs Eficientes
Benchmark
2017
2018
2019
2020
2021
TCE-AC
TCE-AP
TCE-AP
TCE-MG
TCE-AP
TCE-PB
TCE-RJ
TCE-MG
TCE-PE
TCE-PR
TCE-PB
TCE-RN
TCE-RO
TCE-RJ
Fonte: o autor
O benchmark é composto por 09 (nove) diferentes TCs, sendo que cinco deles
se mostraram eficientes em apenas um dos anos analisados (TCE-AC, TCE-PR, TCERO, TCE-PE e TCE-RN). Os outros quatro TCs se destacam por figurarem como
eficientes em mais de um período, são eles: TCE-PB, TCE-AP, TCE-RJ e TCE-MG.
Apesar de não terem sido consideradas eficientes, merecem destaque as
seguintes DMUs, que tiveram eficiência acima de 0,9, são elas: TCE-PE 2018
(0,95466), TCE-PR 2019 (0,94151) e TCE-SC 2020 (0,90128).
Com a exceção da região centro-oeste, todas as regiões brasileiras tiveram
DMUs eficientes. O benchmark de eficiência é composto por DMUs de tamanhos
consideravelmente diferentes; por exemplo, o TCE-MG tinha mais de 09 (nove) vezes
o número de servidores em relação ao TCE-AP, ambos em 2019; o investimento do
TCE-PE foi, em 2021, quase 05 (cinco) vezes maior que o investimento do TCE-RN
no mesmo ano.
A variedade de tamanho entre as DMUs eficientes demonstra que as variáveis
escolhidas permitem a comparabilidade entre os trabalhos desenvolvidos pelos TCs.
É possível concluir, portanto, que atingir a fronteira de eficiência não depende do
tamanho do TC, mas, sim, do uso dos recursos disponíveis.
A Tabela 07 traz as DMUs ineficientes, ou seja, aquelas que obtiveram
resultado igual a um na fronteira invertida.
13
Tabela 7 - DMUs Menos Eficientes
DMUs da Fronteira Invertida
2017
2018
2019
TCU
TCU
TCU
TCU
TCE-PA
TCE-PA
TCE-PA
TCE-RJ
2020
2021
TCE-BA
TCM-RJ
Fonte: o autor
A lista com as DMUs com os maiores índices na fronteira invertida possui uma
caraterística em comum (com a exceção do TCE-RJ), ela é composta por TCs que
possuem apenas um Poder Executivo sob as respectivas jurisdições, o que pode ter
impactado pelo fato de a variável “pareceres prévios” ser limitada, teoricamente, a um
por ano.
Diferentemente da fronteira de eficiência padrão, apenas as regiões norte,
nordeste e sudeste apresentaram DMUs ineficientes. Destaque para o TCU, que, por
possuir uma estrutura bem acima dos demais TCs, não obteve desempenho
satisfatório em quatro dos cinco anos analisados. Por outro lado, é importante
mencionar que o TCU não obteve os piores quanto aos índices de eficiência padrão,
o que demonstra que, apesar de seu tamanho, é possível o alcance da eficiência.
Também foi realizado o cálculo da eficiência normalizada, que leva em
consideração os índices de eficiência padrão e da fronteira invertida. A DMU que
obteve índice igual a 1,0 na eficiência normalizada foi o TCE-PB 2017, seguido do
TCE-PB 2019 (0,99973) e do TCE-RO 2017 (0,99659). A DMU eficiente na fronteira
composta normalizada pode ser considerada a DMU com o melhor resultado de todo
o período estudado.
A Tabela 08 contém os resultados dos testes de correlação entre as variáveis
utilizando as correlações não-paramétricas anteriormente mencionadas por meio do
software SPSS.
14
Tabela 8 - Dos Índices de Correlação entre as Variáveis
Variáveis de Saída
Pareceres
Variáveis de Entrada
Fiscalizações
Rô de Spearman
Tau de Kendall
Rô de Spearman
Tau de Kendall
Servidores
0,065
0,054
0,394**
0,282**
Investimentos
0,038
0,033
0,463**
0,307**
**A correlação é significativa no nível 0,01 (2 extremidades)
Fonte: o autor
Os resultados dos índices de correlação mostram, em ambos os testes, que as
variáveis possuem relação positiva entre si, ou seja, o crescimento de uma implica no
crescimento da outra. Contudo, apenas a variável de saída “fiscalizações” possui
correlação significativa com ambas as variáveis de entrada.
A variável “pareceres”, apesar de apresentar correlação positiva, esta está
muito próxima a zero, não sendo estatisticamente significativa. Uma possível
explicação para não haver correlação estatisticamente significativa entre as variáveis
de entrada a variável “pareceres” é a natural limitação de pareceres prévios para cada
Tribunal de Contas.
4.4 MODELO LINEAR GENERALIZADO (MLG)
Apesar de não ser um pressuposto para o MLG, foram realizados testes de
normalidade para as variáveis do modelo. Observou-se que nenhuma delas possui
distribuição normal para um nível de confiança α = 0,05.
Tabela 9 - Teste de Normalidade das Variáveis Independentes
Teste de Normalidade
Variáveis
Significância
Kolmogorov-Smirnov
Shapiro-Wilk
Servidores
0,000
0,000
Investimentos
0,010
0,000
Pareceres
0,000
0,000
Fiscalizações
0,010
0,002
Fonte: o autor
A proposta de um MLG por este trabalho surge da limitação teórica da emissão
anual de pareceres prévios pelos TCs, uma vez que existe um “teto” de Chefes de
15
Poderes Executivos sob a jurisdição de cada órgão, e o alvo determinado pela DEA
não considera esta limitação. Busca-se, portanto, definir um modelo linear
generalizado em que seja possível determinar o quantitativo de servidores, o valor do
investimento e a quantidade de pareceres prévios emitidos para a obtenção do
número de fiscalizações necessárias para o atingimento da eficiência.
Para o modelo, foram utilizados como dados os alvos de 73 (setenta e três)
DMUs. Quatro DMUs foram removidas por possuírem valores iguais. Diversos testes
de combinações entre os tipos de distribuição (normal, Poisson e Gama) e a função
de ligação (identidade e log) foram realizados. O modelo que apresentou o melhor
ajuste segundo o Critério de Informações de Akaike (AIC) e o Critério de Informações
Bayesiano (BIC) foi o de distribuição normal com a função de ligação identidade.
Tabela 10 - Ajustes do MLG
Ajuste do Modelo Linear Generalizado
Combinação
AIC
BIC
Poisson-Identidade
4.736,112
4.745,273
Poisson-Log
5.313,072
5.322,234
Gama-Identidade
966,759
978,211
Gama-Log
975,545
986,997
Normal-Identidade
935,419
946,871
Normal-Log
946,627
958,079
Fonte: o autor
O MLG Normal-Identidade apresentou a seguinte função:
𝐹𝑖𝑠𝑐𝑎𝑙𝑖𝑎çõ𝑒𝑠 = 319,983436 + 0,473643. 𝑠𝑒𝑟𝑣𝑖𝑑𝑜𝑟𝑒𝑠 + 0,000131. 𝑖𝑛𝑣𝑒𝑠𝑡𝑖𝑚𝑒𝑛𝑡𝑜𝑠 − 1,055266. 𝑝𝑎𝑟𝑒𝑐𝑒𝑟𝑒𝑠
As variáveis “servidores” e “investimento” possuem relação positiva com a o
resultado, ou seja, quanto maior a quantidade de recursos disponíveis, maior é a
quantidade de fiscalizações esperadas para o atingimento da eficiência. Por outro
lado, percebe-se que a quantidade de pareceres possui relação negativa com a
quantidade de fiscalizações (-1,055266); relação esta já esperada, uma vez que
ambas são produtos na DEA; o valor próximo a 1 implica em uma substituição quase
perfeita de uma variável pela outra.
16
Espera-se que este modelo seja uma ferramenta que possa orientar os
Tribunais de Contas no planejamento de suas ações, contribuindo para a definição de
metas que levem os Tribunais à eficiência, principalmente pelos TCs que
apresentaram os piores índices.
5. RECOMENDAÇÕES
Diante dos resultados apresentados, algumas recomendações serão feitas aos
Tribunais de Contas envolvidos nesta pesquisa.
A transparência dos dados públicos é essencial para a construção de uma
sociedade mais justa e democrática. Quando os governos e outras instituições
públicas são transparentes em relação aos seus dados e informações, eles permitem
que os cidadãos tenham acesso a informações importantes sobre como o governo
está tomando decisões, como os recursos públicos estão sendo gastos, e como os
serviços públicos estão sendo prestados.
Isso permite que os cidadãos possam participar ativamente do processo
democrático, fazendo escolhas informadas e responsáveis, e também permite que
eles possam monitorar o desempenho do governo e responsabilizá-lo por suas ações.
Diante da dificuldade na coleta de dados, é importante recomendar a efetiva
transparência ativa dos órgãos públicos, facilitando a coleta de dados para pesquisas
futuras, evitando o trabalho dos órgãos no fornecimento repetitivo de informações, e
fortalecendo o controle social. O TCE-PB publica em seu site, anualmente, relatório
das atividades desenvolvidas de maneira completa e bem detalhada, que pode servir
de modelo para os demais TCs.
A título de exemplo, o relatório de atividades do TCE-PB publica, entre outras
informações, a história do Tribunal, o quantitativo de servidores ativos, define sua
jurisdição e sua competência, demonstra seus resultados (processos instaurados,
deliberações do colegiado, processos julgados, pareceres prévios emitidos, inspeções
realizadas, valores imputados e remetidos à cobrança etc.) e as resoluções
normativas aprovadas no exercício.
Recomenda-se, também, uma maior atenção dos TCs ao cumprimento do
dever de atendimento dos prazos legais no fornecimento das informações solicitadas
por meio da Lei de Acesso à Informação (Lei 12.527/2011).
17
Coletados os dados, notou-se que não há uma padronização de nomenclaturas
das atividades realizadas pelos diversos TCs. A padronização das informações em
órgãos públicos é importante para garantir a qualidade e a consistência que são
coletados e armazenados.
Quando as informações são padronizadas, elas são organizadas de uma forma
que permite a comparação e a análise dos dados. A padronização também pode
ajudar a evitar a duplicação de dados, economizando tempo e recursos para a
administração pública e para os cidadãos. Além disso, a padronização das
informações pode ajudar a garantir que as informações sejam acessíveis e utilizáveis
por todas as partes interessadas, incluindo pesquisadores. Assim, recomenda-se que
haja um maior compartilhamento de experiências, processos, nomenclaturas e
padrões entre os TCs, buscando uma padronização nos procedimentos adotados.
Ainda que demande um maior esforço financeiro, técnico e político, recomendase a criação de um órgão central de controle dos próprios TCs, nos moldes do CNJ e
do CNMP, responsável por realizar o controle financeiro e administrativo, fiscalizar o
cumprimento dos deveres institucionais, zelar pela autonomia técnica dos TCs e emitir
instruções para promover a padronização de processos, o controle da qualidade e a
divulgação de dados estatísticos. Dentre outros, poderão ser obtidos os seguintes
benefícios: aumento da accountability social sobre os Tribunais, definição de agendas
estratégicas, mediação de eventuais conflitos de competência e aumento da
capacitação e integração entre os TCs.
Das DMUs analisadas, apenas catorze se mostraram eficientes, o que
corresponde a apenas 18,18% do total; dez outras DMUs se encontram na fronteira
invertida, representando 12,99% do total. A busca pela eficiência no setor público é
fundamental para garantir que os recursos públicos sejam usados da melhor maneira
possível e para fornecer serviços de alta qualidade aos cidadãos.
O compartilhamento de boas práticas é fundamental para promover a
aprendizagem e a melhoria contínua no setor público. Quando uma organização
pública desenvolve uma solução eficiente para um determinado problema, é
importante que essa solução seja compartilhada com outras organizações para que
elas possam se beneficiar da experiência e aplicar as mesmas práticas em suas
próprias operações. Recomenda-se, portanto, que haja um compartilhamento das
boas práticas utilizadas pelas DMUs eficientes, especialmente com as DMUs da
fronteira invertida, podendo ser por meio de palestras, ações integradas e até grupos
18
de estudos, organizadas e fomentadas pelo órgão central de controle anteriormente
mencionado.
Dar continuidade à análise da eficiência dos Tribunais de Contas do Brasil
permite que se aprofunde o conhecimento sobre o tema, além de garantir a
consistência e a validade dos resultados obtidos. Também é possível realizar
verificações e testes adicionais que permitam confirmar ou refutar os resultados aqui
apresentados. Recomenda-se, por fim, que seja dada continuidade a análise de
eficiência dos Tribunais de Contas do Brasil, expandindo cada vez mais a base de
dados, possibilitando uma análise da eficiência dos TCs cada vez mais precisa e
ajustando cada vez mais o modelo linear generalizado proposto.
6. REFERÊNCIAS
BANDEIRA, L. F.; REYES JUNIOR, E. Programa Minha Casa Minha Vida (20122016): análise da eficiência relativa dos municípios brasileiros na execução de
programas federais. Revista de Administração Pública, v. 55, n. 2, mar/abr, 2021.
DOI: https://doi.org/10.1590/0034-761220190341
BANKER, R. D.; CHARNES, A.; COOPER, W. W. Some models for estimating
technical scale inefficiencies in data envelopment analysis. Management Science, v.
30, n. 9, p. 1078-1092, 1984. https://doi.org/10.1287/mnsc.30.9.1078
BARROS, P. A. M.; FREITAS JUNIOR, O. G.; CARVALHO, V. D. H.; BRAGA, M. M.;
MEDEIROS, F. M. Impacto da pandemia de covid-19 para as organizações
empresariais brasileiras. Perspectivas em Gestão & Conhecimento, v. 11, n. 3, p.
37-55,
set/dez,
2021.
DOI:
https://dx.doi.org/10.22478/ufpb.2236-
417X.2021v11n3.59356
BRASIL. Constituição de 1988, de 5 de outubro de 1988. Constituição da República
Federativa
do
Brasil.
Recuperado
de:
http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm. Acesso
em: 04 de julho de 2021.
19
BRASIL. Lei nº 4.320, de 17 de março de 1964. Estatui Normas Gerais de Direito
Financeiro para elaboração e contrôle dos orçamentos e balanços da União, dos
Estados,
dos
Municípios
e
do
Distrito
Federal.
Recuperado
de:
http://www.planalto.gov.br/ccivil_03/leis/l4320.htm. Acesso em: 21 de março de 2022.
ÇAGLAR ONBASIOGLU, D. The Turkish Cypriot Municipalities’ Productivity and
Performance: An Application of Data Envelopment Analysis and the Tobit Model.
Journal
of
Risk
and
Financial
Management,
v.
14,
n.
407,
2021.
https://doi.org/10.3390/jrfm14090407
CAMELO, B.; FRANCA FILHO, M. T. A eficiência dos Tribunais de Contas no Brasil:
uma abordagem teórica. RIL, v. 54, n. 214, abr/jun, p. 175-188, 2017. Disponível em:
https://www2.senado.leg.br/bdsf/bitstream/handle/id/536832/001107935.pdf?sequen
ce=1&isAllowed=y
CHARNES, A; COOPER, W. W.; RHODES, E. Measuring the efficiency of decisionmaking units. European Journal of Operational Research, v. 2, p. 429–444, 1978.
https://doi.org/10.1016/0377-2217(78)90138-8
CHEN, S.-P.; CHANG, C.-W. Measuring the efficiency of university departments: an
empirical
study
using
data
envelopment
analysis
and
cluster
analysis.
Scientometrics, v. 126, p. 5263–5284, 2021. https://doi.org/10.1007/s11192-02103982-3
CORDERO, J. M; GARCÍA-GARCÍA, A.; LAU-CORTÉS, E.; POLO, C.. Efficiency and
Productivity Change of Public Hospitals in Panama: Do Management Schemes
Matter? International Journal of Environmental Research and Public Health, v.
18, 8630, 2021. https://doi.org/10.3390/ijerph18168630
DIOP, M.; FALL, A. N. Technical Efficiency and Productivity of Senegalese Banks: an
application by the Data Envelopment Analysis method (DEA). Journal of Economics
and Finance, v. 13, n. 2, mar/abr, p. 34-53, 2022. https://www.iosrjournals.org/iosrjef/papers/Vol13-Issue2/Ser-1/E1302013453.pdf
20
DOGAN, N.; KAYGISIZ, F.; ALTINEL, A. Technical and Economic Efficiency of Laying
Hen Farms in Konya, Turkey. Revista Brasileira de Ciência Avícola, v. 20, n. 2, abrjun, p. 263-272, 2018. DOI: https://doi.org/10.1590/1806-9061-2017-0649
FARRELL, M. J. The Measurement of Productive Efficiency. Journal of the Royal
Statistical Society, Series A (General), v. 120, n. 3, p. 253-290, 1957.
https://doi.org/10.2307/2343100
GOMES, J. F.; ARAÚJO, R. M.; DIAS, T. F. Eficiência Processual no Poder Judiciário:
Um Estudo em Varas Cíveis no Rio Grande do Norte. Pensamento & Realidade, v.
33, n. 4, p. 123-146, 2018. https://doi.org/10.23925/2237-4418.2018v33i4p123-146
LIMA, R. F. L.; RODRIGUES, E.; SANTA RITA, L.; SANTOS, A.; GUIMARÃES, R.
Saneamento básico e o marco legal: avaliação da eficiência do setor nas capitais
brasileiras. Gestão & Sociedade, v. 17, n. 45, p. 4969-4992, mai/ago, 2022. DOI:
https://doi.org/10.21171/ges.v17i45.3694
LOPES, L. M. C.; BRINGEL, L. L. C. C. A Eficácia Do Controle De Constitucionalidade
Exercido Pelo Tribunal De Contas Do Estado Do Tocantins. Revista ESMAT, n. 8, v.
10, p. 185-206, 2016. https://doi.org/10.34060/reesmat.v8i10.117
MEZA, L. A.; BIONDI NETO, L.; MELLO, J. C. C. B. S.; GOMES, E. G. ISYDS –
Integrated System for Decision Support (SIAD – Sistema Integrado de Apoio a
Decisão): a software package for data envelopment analysis model. Pesquisa
Operacional, v. 25, n. 3, p. 493-503, set/dez, 2005. https://doi.org/10.1590/S010174382005000300011
NEVES JUNIOR, I. J.; MOREIRA, S. A.; VASCONCELOS, E. S.; BRITO, J. L. Análise
da eficiência na geração de retorno aos acionistas das empresas do setor da
construção civil com ações negociadas na BM&FBOVESPA nos anos de 2009 e 2010
por meio da análise envoltória de dados – DEA. Revista Contemporânea de
Contabilidade,
v.
9,
n.
18,
p.
41-62,
jul/dez,
2012.
DOI:
http://dx.doi.org/10.5007/2175-8069.2012v9n18p41
21
NOGUEIRA, J. M. M.; OLIVEIRA, K. M. M.; VASCONCELOS, A. P.; OLIVEIRA, L. G.
L. Estudo exploratório da eficiência dos Tribunais de Justiça estaduais brasileiros
usando a Análise Envoltória de Dados (DEA). Rev. Adm. Pública, n. 46, v. 5, p. 1317340, set/out, 2012. https://doi.org/10.1590/S0034-76122012000500007
PEIXOTO, M. G. M.; MUSETTI, M. A.; MENDONÇA, M. C. A. Performance
management in hospital organizations from the perspective of Principal Component
Analysis and Data Envelopment Analysis: the case of Federal University Hospitals in
Brazil.
Computers
&
Industrial
Engineering,
n.
150,
Agosto,
2020.
https://doi.org/10.1016/j.cie.2020.106873
PENROSE, E. The Theory of The Growth of the Firm, 4th edition. New York: Oxford
University Press Inc., 2009.
PONCIANO, F.; MOTTA, R. S.; MARINHO, A. Eficiência técnica dos Serviços de água
e esgoto no Brasil por tipo de atuação e gestão. Econômica, v. 21, n. 1, p. 45-63,
2019. https://periodicos.uff.br/revistaeconomica/article/view/35118/28994
RAMOS REAL, F. J.; TOVAR, B. Revisiting electric utilities' efficiency in the Southern
African Power Pool, 1998-2009. Journal of Energy in Southern Africa, v. 31, n.1,
p.1-13, 2020. DOI: http://dx.doi.org/10.17159/2413-3051/2020/v31i1a7670
SAMPAIO, B.; SAMPAIO, Y. Influências políticas na eficiência de empresas de
saneamento brasileiras. Economia Aplicada, v. 11, n. 3, p. 369-386, jul/set, 2007.
Disponível em: https://doi.org/10.1590/S1413-80502007000300003
SAQUETTO, T.; ARAUJO, C. Efficiency Evaluation of Private Hospitals in Brazil: A
Two-Stage Analysis. Revista de Administração Mackenzie, v. 20, n. 5, p. 1-32,
2019. https://doi.org/10.1590/1678-6971/eRAMR190183
SILVA, A. A. F.; FERREIRA, M. C. O.; CUCATO, J. S. T.; SILVA, J. G. A Eficiência
Técnica nos Investimentos no Setor de Saúde: Um Estudo na Região Metropolitana
do Vale do Paraíba e Litoral Norte de São Paulo. Revista Inovação, Projetos e
Tecnologias,
v.
8,
n.
2,
p.
270-285,
2020.
Disponível
em:
22
http://www.spell.org.br/documentos/ver/60787/a-eficiencia-tecnica-nosinvestimentos-no-setor-de-saude--um-estudo-na-regiao-metropolitana-do-vale-doparaiba-e-litoral-norte-de-sao-paulo/i/pt-br
SILVA, M. A. Qualidade social da educação pública: algumas aproximações.
Cadernos CEDES, v. 29, n. 78, p. 216–226, 2009. https://doi.org/10.1590/s010132622009000200005
SOUZA, P. C.; SCATENA, J. H. G.; KEHRIG, R. T. Aplicação da Análise Envoltória de
Dados para avaliar a eficiência de hospitais do SUS em Mato Grosso. Physis: Revista
de Saúde Coletiva, n. 26, v. 1, p. 289-308, 2016. https://doi.org/10.1590/S010373312016000100016
SYLVESTRE, M.; HAIYAN, H.; YIYI, Z. Information communication technology policy
and public primary schools' efficiency in Rwanda. South African Journal of
Education, v. 38, n. 1, 2018. DOI: http://dx.doi.org/10.15700/saje.v38n1a1445
TABANERA, L. H.; MARTÍN, J. J. M.; GONZÁLEZ, M. P. L. A. Eficiencia técnica de
los hospitales públicos y de las empresas públicas hospitalarias de Andalucía. Gaceta
Sanitaria,
v.
29,
n.
4,
jul/ago,
2015.
DOI:
https://dx.doi.org/10.1016/j.gaceta.2015.03.001
TUPPER, H. C.; RESENDE, M. Efficiency and regulatory issues in the Brazilian
water and sewage sector: an empirical study. Utilities Policy, n. 12, p. 29-40, 2004.
https://doi.org/10.1016/j.jup.2003.11.001
VILARINHO, K. P. B.; PASCHOAL, T.; DEMO, G. Teletrabalho na atualidade: quais
são os impactos no desempenho profissional, bem-estar e contexto de trabalho?
Revista do Serviço Público, v. 72, n. 1, p. 133-162, jan/mar, 2021. DOI:
https://doi.org/10.21874/rsp.v72.i1.4938
YEUNG, L. L-T.; AZEVEDO, P. F. Além dos “achismos” e das evidências Anedóticas:
medindo a eficiência dos tribunais brasileiros. Economia Aplicada, v. 16, n. 4, p. 643663, 2012. https://doi.org/10.1590/S1413-80502012000400005
23