Zkušenosti s externím hodnocením sebehodnotících zpráv CAF

Konzultace 

Úspěšná aplikace modelu CAF jako nástroje neustálého zvyšování kvality s sebou nese - především pro organizace, které s modelem začínají - řadu obtíží. Přesto je už zřejmé, že se v prostředí české veřejné správy jedná o jeden z nejpoužívanějších modelů řízení kvality, který záhy pravděpodobně získá dominantní postavení.

Po úspěšném sebehodnocení organizace a zpracování příslušné „Sebehodnotící zprávy“ čeká danou organizaci rozhodnutí, zda provést externí hodnocení nezávislým hodnotitelem. Externí hodnocení může sebehodnocení doplnit o řadu dalších detailů či případně opravit (nebo spíše upravit) chyby, kterých se hodnotící tým mohl z řady důvodů dopustit.

Jedním z často zmiňovaných důvodů, proč organizace externí hodnocení provádějí, bývá jejich zapojení do některých z vyhlášených ocenění, kde je získané bodové hodnocení předmětem „soutěžení“ a je tedy třeba je pro tyto účely jistým způsobem odborně posoudit, přezkoumat. V takovém případě dochází k „přehřívání“ optimismu v rámci touhy po vysněném ocenění. Členové sebehodnotícího týmu přirozeně vnímají, že pravděpodobnost získání ceny je úměrná výši výsledného bodového ohodnocení a také si uvědomují jinou zákonitost, která souvisí s komplikacemi při snaze o radikální snižování bodů externím hodnotitelem. Redukovat body o desetiny není problém (především psychologický a komunikační) zdaleka takový, jako snížit hodnocení jednotlivých kritérií třeba i o celé body. Doufáme, že se nedotkneme profesionální cti některého z externích hodnotitelů, s klidem se k této záležitosti přihlásíme osobně.

Efekt provedeného hodnocení pro organizaci samotnou může být však mnohem větší v případě, že mohou být s externím hodnotitelem diskutována jednotlivá zjištění či mohou být získána přímá doporučení z praxe odjinud. Jde o doporučení, která nejsou zatížena zbytečnou nervozitou plynoucí z toho, aby snad externí hodnotitel nepřišel na něco závažného. To vše je samozřejmě možné za jistých předpokladů, kde jedním z takových je jistá specifická kvalifikace externího hodnotitele, ale i osobní zkušenost.

Společnost, v níž pracuji, je realizátorem dvou projektů podpořených z Evropského sociálního fondu a státního rozpočtu České republiky zaměřených na podporu zavádění modelu CAF na městských úřadech v Olomouckém a Moravskoslezském kraji. V rámci těchto projektů byla na celkem dvanácti zapojených úřadech v období dvou let provedena dvě hodnocení dle modelu CAF, jejichž součástí bylo i externí hodnocení sebehodnotících zpráv. Některé z úřadů, se kterými spolupracujeme, byly zapojeny do sebehodnocení podle modelu CAF před začátkem našich projektů a měly tedy své zkušenosti se zpracováním hodnocení, bodování (podle metodiky CAF 2002) a někteří také s prováděným externím hodnocením, pokud byli přihlášeni do národní nebo rezortní ceny za kvalitu ve veřejné správě.

Ze zkušeností takto zapojených úřadů byl pro tyto účely navržen rámec externího hodnocení a byla vytvořena vlastní metodika externího hodnocení, dle které potom všechna hodnocení probíhala. Dalo by se namítat, že nová metodika není třeba, jelikož v případě národní ceny za kvalitu externí hodnocení probíhá dle interního postupu skupinou hodnotitelů, toto hodnocení je však více orientováno na potřeby ocenění a nebylo proto prioritou je využít i z dalšího důvodu. Tímto důvodem byla myšlenka zakotvená v podstatě projektů, které jsou založeny na vzájemné otevřené spolupráci zapojených úřadů. Externí hodnocení mělo proto být prováděno pro nás nejpovolanějšími, to znamená. členy hodnotících týmů zapojených úřadů.

Fáze externího hodnocení a jeho závěry

Klasický průběh externího hodnocení lze ve stručnosti shrnout do následujících fází:

1. vstupní rekapitulační rozhovor s vedoucím změnového týmu, popř. s tajemníkem nebo představitelem samosprávy o detailech zavádění CAF, způsobech jednání změnových týmů, způsobech formulace sebehodnotící zprávy (SHZ) a plánu zlepšování (PZ), atp.
2. diskuze zaměřená na vyjasnění několika odpovědí obsažených v SHZ, přičemž by neměla být diskutována celá zpráva, průběh této diskuze řídí hodnotitel,
3. osobní návštěva některých organizačních útvarů, kde se lze seznámit s mírou reálnosti konstatování obsažených v SHZ a se skutečností, místo osobní návštěvy určí po případné konzultaci hodnotitel,
4. rozhovor se zástupci změnového týmu,
5. verifikace tvrzení uvedených v SHZ formou doložení důkazů o tvrzeních, týkajících se předpokladů a výsledků, u výsledků rovněž předložení trendů dosahovaných změn.

Pro externí hodnocení dvanácti zúčastněných úřadů byl sestaven tým čtyř externích hodnotitelů, kteří se podělili o své zkušenosti a podněty s členy příslušných CAF týmů, a ty zpracovali do podoby „Zprávy z externího hodnocení sebehodnotící zprávy“. Zpráva má opět předepsaný jednotný formát a informuje o závěrech hodnocení. Její části tvoří:

1. identifikace hodnotitele,
2. rekapitulace hodnocení (termín obdržení podkladů, datum hodnocení na místě, termín sepsání hodnotící zprávy),
3. celková charakteristika SHZ a PZ,
4. sledovaná (sub)kriteria - důvody vybrání, hodnověrnost bodování, shrnutí silných stránek a příležitostí ke zlepšování,
5. tipy na dobrou praxi, které mohou sloužit jiným organizacím,
6. nejdůležitější závěry z hodnocení - potvrzení či výhrady k SHZ a vyjádření k PZ.

V rámci realizace obou projektů jsme se již od začátku snažili pokud možno odstranit bariéry spolupráce zapojených měst tím, že veškeré dokumenty související s realizací projektu včetně sebehodnotících zpráv jednotlivých úřadů, ale i externích hodnotících zpráv, zpřístupníme všem zapojeným sebehodnotícím týmům. Na internetových stránkách projektu se tedy zapojené úřady mohou navzájem inspirovat, ale i učit z chyb ostatních. Vzhledem k tomu, že zmiňované projekty byly zaměřeny na společné vzdělávání členů sebehodnotících týmů, v rámci jedné ze vzdělávacích aktivit projektu byla věnována také část externímu hodnocení. Hodnotitelé zde představili svá hodnocení a mohli tak uvést i svá další konkrétní doporučení, která mohla obohatit zúčastněné o „pohled“ hodnotitele nejen na hodnocení samotné, ale i na úřad jako celek. K této problematice přirozeně proběhla diskuze mezi všemi účastníky workshopu.

Úplný text je v časopise Veřejná správa č. 5/2008.

Print  E-mail  X Corp.   Facebook