Standardy Ewaluacji (PTE), Socjologia, Socjologia Literatura 5

[ Pobierz całość w formacie PDF ]
Standardy ewaluacji
ewaluacji
www.pte.org.pl
1
1
Standardy
Standardy ewaluacji
ewaluacji w Polsce” realizowanego przez Polskie Towarzystwo Ewaluacyjne w miesiącach sty-
czeń-październik 2008 roku. Projekt fi nansowany był ze środków Unii Europejskiej w ramach
Programu Środki Przejściowe 2005 „Wzmocnienie zdolności ewaluacyjnych w sektorze publicznym”.
Opracowane standardy są efektem wspólnej pracy szerokich środowisk zajmujących się ewaluacją
- przed stawicieli administracji publicznej i organizacji pozarządowych, pracowników fi rm realizują-
cych badania ewaluacyjne, instytucji naukowych i niezależnych konsultantów.
Standardy te powstały w wyniku doświadczeń zebranych przede wszystkim w procesie ewalu-
owania projektów fi nansowanych ze środków publicznych, jednak zasady te znajdują także zastoso-
wanie w ewaluacjach prowadzonych w sektorze prywatnym oraz pozarządowym, a także w proce-
sie ewaluacji wewnętrznych. W niewielkim stopniu zaś odnoszą się do procesu autoewaluacji.
Zakładamy, że praca nad standardami będzie miała charakter procesu ciągłego, idącego w parze
z rozwojem kultury ewaluacyjnej w Polsce i pojawiającymi się nowymi potrzebami środowiska osób
zaangażowanych w ewaluacje oraz wyzwaniami przed nimi stawianymi.
Zapraszamy do komentowania standardów oraz zgłaszania propozycji kwestii, które należy
w nich uwzględnić na adres pte@pte.org.pl lub korzystając z forum dyskusyjnego działającego na
stronie
www.pte.org.pl
.
Polskie Towarzystwo Ewaluacyjne
Warszawa, 27 lipca 2008 r.
Poniżej podajemy defi nicje kluczowych pojęć pojawiających się w
Standardach ewaluacji
:
Ewaluator
– instytucja, fi rma lub osoba realizują-
ca ewaluację – w tym realizująca przynajmniej jedno
z następujących zadań: przygotowanie koncepcji ewa-
luacji, opracowanie metodologii badania, przygoto-
wanie narzędzi badawczych, zbieranie danych, anali-
za i opracowanie wyników, formułowanie wniosków
i rekomendacji.
Zlecający
– instytucja, fi rma lub osoba zlecająca i/lub
zamawiająca ewaluację, będąca podmiotem inicjują-
cym proces ewaluacji i będąca dysponentem wyników
ewaluacji. Podmiot ten również może być adresatem
rekomendacji sformułowanych w wyniku przeprowa-
dzonej ewaluacji.
Interesariusz
– instytucja, fi rma lub osoba w bezpośred-
ni lub pośredni sposób zaangażowana w proces ewa-
luacji, w szczególności są to podmioty, które: decydują
o potrzebie ewaluacji; są odpowiedzialne za stworzenie
projektu oraz realizację ewaluacji; są odpowiedzialne
za praktyczne wykorzystanie wyników ewaluacji; w
sposób pośredni lub bezpośredni są objęte ewaluacją;
mogą być zainteresowane wynikami ewaluacji.
Ewaluacja zewnętrzna
– ewaluacja realizowana przez
podmiot niezależny, zewnętrzny wobec
Zlecającego
oraz ewaluowanego przedsięwzięcia.
Ewaluacja wewnętrzna
– ewaluacja realizowana przez
podmiot znajdujący się w strukturach organizacyjnych
Zlecającego
, jednakże zachowująca niezależność wobec
ewaluowanego przedsięwzięcia.
Autoewaluacja
– ewaluacja realizowana przez podmiot
znajdujący się w strukturach organizacyjnych ewalu-
owanego przedsięwzięcia.
2
2
S
tandardy ewaluacji
zostały wypracowane w ramach projektu „Wspólnie tworzymy standardy
Standardy ewaluacji
Preambuła
Ewaluacja ma na celu poprawę jakości działań (w tym polityk publicznych) poprzez zwiększenie ich
adekwatności, skuteczności, użyteczności, efektywności i trwałości.
Opracowane
Standardy ewaluacji
mają na celu wsparcie osób zaangażowanych w proces ewalu-
acji w zapewnieniu jak najwyższej jakości prowadzonych ewaluacji.
Standardy ewaluacji
powinny służyć jako punkt odniesienia przy przygotowywaniu, zamawianiu,
realizacji ewaluacji oraz wykorzystywaniu jej wyników. Zadaniem
Standardów
jest wskazanie oso-
bom zaangażowanym w proces ewaluacyjny sposobu zapewnienia najwyższej jakości prowadzo-
nych ewaluacji.
Odwoływanie się stron zaangażowanych w proces ewaluacji do
Standardów ewaluacji
Polskiego
Towarzystwa Ewaluacyjnego ma na celu ujednolicenie rozumienia i wyrażenie obopólnej zgody
co do respektowania podstawowych zasad etycznych procesu ewaluacji.
Standardy ewaluacji
mają charakter ogólny i traktują ewaluację jako instrument zarządzania
w ramach demokratycznego ładu społecznego.
Rozdział I: Postanowienia ogólne
Ewaluator i zlecający powinni dbać o wysoką jakość ewaluacji na każdym etapie tego procesu.
W tym celu powinni dysponować odpowiednim potencjałem i kompetencjami tj. wiedzą, umiejęt-
nościami i doświadczeniem zawodowym.
Podstawowymi wartościami w procesie ewaluacji są: niezależność, rzetelność, uczciwość, obiekty-
wizm, demokratyczny i etyczny charakter ewaluacji.
Ewaluator i zlecający powinni zapewnić niezależny i bezstronny przebieg procesu ewaluacji,
w tym wolny od jakichkolwiek nacisków przebieg formułowania wniosków i rekomendacji.
Ewaluator powinien zachować neutralność światopoglądową w procesie ewaluacji, m.in. nie ujaw-
niać swoich przekonań politycznych, religijnych, rasowych, itp.
W badaniu ewaluacyjnym powinno się zapewnić równość wszystkich podmiotów oraz poszanowa-
nie różnic, takich jak: różnice kulturowe, etniczne, światopoglądowe, religijne, polityczne, rasowe,
niepełnosprawność, wiek, płeć, orientacja seksualna.
Rozdział II: Planowanie ewaluacji
1. Zasadność podejmowania ewaluacji
Powinno się zlecać realizację tylko takich ewaluacji, które są istotne dla zarządzania danym przed-
sięwzięciem i/lub charakteryzują się wysokimi walorami poznawczymi oraz praktycznymi.
Decyzja o zleceniu danego badania ewaluacyjnego powinna zostać podjęta w sposób odpowiedzial-
ny, a w przypadku przedsięwzięć fi nansowanych ze środków publicznych – z uwzględnieniem dobra
publicznego oraz odpowiedniego gospodarowania środkami przeznaczonymi na cele publiczne.
W celu jak najlepszego zaplanowania ewaluacji wskazane jest, w miarę możliwości, rozpoznanie
i uwzględnienie potrzeb głównych interesariuszy.
2. Precyzyjne określenie celu, przedmiotu i zakresu badania
Dla powodzenia ewaluacji podstawowe znaczenie ma precyzyjnie i logicznie spójne określenie
przedmiotu i celu ewaluacji, kluczowych pytań, na które poszukuje się odpowiedzi oraz kryteriów,
z zastosowaniem których przedmiot ewaluacji będzie ewaluowany.
3
3
Projekt badania ewaluacyjnego powinien zawierać jasno określone cele. Wszystkie cele ewaluacji
powinny być wyartykułowane. Zlecający badanie nie powinien posiadać żadnych celów ukrytych,
w szczególności prowadzących do manipulacji podmiotami zaangażowanymi w proces ewaluacji,
czy też szerszymi grupami społecznymi. Tematyka ewaluacji nie powinna być podyktowana doraź-
nymi potrzebami politycznymi.
Aby cele ewaluacji były w pełni zrozumiałe dla wszystkich zaangażowanych podmiotów, powinno
się zidentyfi kować sposób wykorzystania wyników badania.
Wskazane jest także odniesienie do innych (już przeprowadzonych, czy równolegle realizowanych)
badań i ewaluacji.
Na etapie planowania ewaluacji powinno się sformułować kryteria oceny jakości raportu ewalu-
acyjnego.
3. Realistyczne określenie sposobu przeprowadzenia ewaluacji
Sposób realizacji badania powinien być adekwatny do celu, przedmiotu i zakresu ewaluacji. Dlate-
go też niezbędne jest racjonalne oraz precyzyjne oszacowanie zasobów potrzebnych do przeprowa-
dzenia prac ewaluacyjnych w sposób zgodny z zapotrzebowaniem.
Do kluczowych zasobów, które należy wziąć pod uwagę należą: czas, zasoby ludzkie, zdolności
organizacyjne, zasoby techniczne i środki fi nansowe.
Zasoby przeznaczone na ewaluację powinny być adekwatne do zakresu planowanego badania
ewaluacyjnego. Ewaluacja nie powinna być podejmowana w sytuacji braku niezbędnych zasobów.
Przy planowaniu sposobu realizacji badania szczególną uwagę należy zwrócić na zidentyfi kowa-
nie dostępnych danych i źródeł informacji, wraz z określeniem, które dane zostaną dostarczone
ewaluatorowi, w tym także zapewnienie gotowości do współpracy osób i organizacji mających być
przedmiotem badania.
Wymagania wobec metodologii badania powinny zostać określone w jasny sposób. Wskazane ramy
realizacji ewaluacji i jej koncepcja metodologiczna powinna umożliwiać wniesienie wkładu me-
rytorycznego przez ewaluatora. Zlecający powinien określić kryteria oceny metodologii badania
proponowanej przez ewaluatora i/lub określić propozycję minimum metodologicznego dla realizacji
postawionych zadań.
Dla zapewnienia wysokiej jakości badania, konieczne jest podanie kluczowych ryzyk, zidentyfi -
kowanych przez zlecającego, które mogą pojawić się w trakcie realizacji ewaluacji i które mogą
wpłynąć na jej realizację. Również ewaluator powinien informować o trudnościach, zarówno o tych,
które dostrzega jeszcze na etapie planowania, jak również o tych, które pojawiają się w trakcie
ewaluacji.
4. Określenie przejrzystych kryteriów wyboru ewaluatora
Zlecający, w przypadku zamówień publicznych, nie powinien przygotowywać badania ewaluacyjne-
go pod kątem konkretnego wykonawcy. Zlecający powinien umożliwić różnym wykonawcom równe
szanse w dążeniach do realizacji ewaluacji.
Przygotowanie zamówienia, jak również wyłonienie wykonawcy, powinno mieć charakter jawny
i powinno opierać się na zasadach czytelnych dla wszystkich zainteresowanych podmiotów.
Wybór wykonawcy ewaluacji powinien odbywać się z zachowaniem konkurencji oraz przejrzystych
zasad. Kryteria wyboru wykonawcy powinny być formułowane w sposób jasny i precyzyjny. Głów-
nym kryterium, przy wyborze wykonawcy przez zlecającego, powinna być jakość przygotowanej
oferty. W procesie wyboru powinna być wybierana najbardziej korzystna oferta. Cena nie powinna
być decydującym kryterium.
4
4
Standardy ewaluacji
Zlecający powinien poinformować potencjalnych wykonawców ewaluacji, jakie środki zamierza
przeznaczyć na jej sfi nansowanie.
5. Zapewnienie niezależności ewaluacji
Ewaluator, podejmując się realizowania ewaluacji, powinien być niezależny w stosunku do ewalu-
owanego przedmiotu oraz zlecającego. W przypadku pojawienia się konfl iktu interesów powinien
odstąpić od realizacji ewaluacji i/lub otwarcie informować o jego występowaniu.
Pożądane jest również zapewnienie maksymalnej niezależności osób bezpośrednio przygotowu-
jących, zlecających i odbierających wykonaną ewaluację od działów realizujących ewaluowane
przedsięwzięcie w ramach struktur organizacyjnych zlecającego. Najbardziej właściwym umiejsco-
wieniem takiej „komórki ewaluacyjnej” jest bezpośrednia podległość zarządowi instytucji zlecają-
cego.
Zasada niezależności powinna być respektowana również w przypadku ewaluacji wewnętrznych.
6. Zapewnienie zgodności z zasadami etycznymi
Sposób zamawiania badania powinien zapewniać zachowanie rzetelności oraz przestrzeganie za-
sad etycznych prowadzenia badania.
Planowane badanie powinno zapewniać możliwość dochowania warunków umowy.
Zamówienie ewaluacji powinno być sformułowane w taki sposób, by nie wymuszało na ewaluato-
rze naruszania poufności oraz anonimowości badanych. Zlecający nie powinien oczekiwać udostęp-
niania materiałów źródłowych, które mogłyby naruszyć anonimowość badanych.
Badanie ewaluacyjne nie powinno być zlecane ze środków publicznych w celu zwiększania lub
zmniejszania sił poszczególnych podmiotów na scenie politycznej.
Rozdział III: Realizacja ewaluacji
7. Zapewnienie wysokiej jakości ewaluacji
Zlecający i ewaluator powinni dysponować odpowiednim potencjałem merytorycznym i organiza-
cyjnym, umożliwiającym skuteczne i efektywne zarządzanie procesem ewaluacji.
Wiedza, umiejętności oraz doświadczenie ewaluatora i zlecającego powinny gwarantować realiza-
cję ewaluacji, zgodnie z ustalonym zakresem prac, harmonogramem i budżetem.
Ewaluator powinien zachować należytą staranność w prowadzeniu badań, w zbieraniu i analizowa-
niu danych oraz wnioskowaniu.
8. Zapewnienie trafności i rzetelności badań ewaluacyjnych
Każde badanie ewaluacyjne wymaga opracowania projektu ewaluacji zawierającego opis metodo-
logii.
Realizacja ewaluacji opiera się na metodologii badań naukowych. W badaniach ewaluacyjnych
uprawnione jest stosowanie różnych podejść metodologicznych, ich wybór powinien być dokony-
wany w relacji do celów i zakresu badania oraz dostępnych/posiadanych zasobów.
Proces badawczy służy pozyskaniu: trafnych (właściwie dobranych), rzetelnych, adekwatnych, wia-
rygodnych (prawdziwych, opartych na dowodach) danych.
Ewaluator powinien efektywnie wykorzystywać ramy metodologiczne, czasowe i budżetowe pro-
wadzonej ewaluacji.
Ewaluator powinien rzetelnie i skrupulatnie przedstawić wyniki badań bez względu na stopień ich
skomplikowania.
5
5
[ Pobierz całość w formacie PDF ]