POLECAMY | Ewaluacja. Czyli co?

Badania opinii są teraz bardzo popularne. Niemal każdego dnia możemy się dowiedzieć, jakie poparcie mają dwie główne partie albo jak Polacy zamierzają głosować w wyborach prezydenckich 10 maja.

Warto wiedzieć, że badanie opinii stosuje się też przy innych okazjach:
– aby dowiedzieć się, czego najbardziej potrzebują mieszkańcy gminy,
– zbadać, jak układa się współpraca szkoły z rodzicami uczniów,
– albo podsumować projekt aktywizacji seniorów.

Takie badanie, które ma pomóc w ustaleniu jakości projektu albo inwestycji, jest określane jako ewaluacja.

Mimo że o ewaluacji często się mówi i pisze, zwłaszcza w kontekście funduszy unijnych, to jednak nadal nie wiemy, czym tak naprawdę ona jest. Często pozostaje dla nas niedostępnym pojęciem. Spróbujmy więc się trochę dowiedzieć, zrozumieć ewaluację i może nawet odkryć możliwości, jakie daje.

Zapraszamy – uchylimy rąbka tajemnicy ewaluacji!



Czym jest ewaluacja?

Ewaluacja jest
– badaniem społecznym,
– prowadzonym wśród ludzi,
– jego wyniki mają być przede wszystkim przydatne.

Ewaluację robi się przy użyciu różnych sposobów zbierania informacji, np. ankiet, wywiadów czy obserwacji. Zbiera się w ten sposób opinie od różnych osób oraz o różnych faktach. Następnie te dane są analizowane (statystycznie i jakościowo) i przedstawiane w formie raportu albo prezentacji.



W ewaluacji bardzo ważne jest, aby dane, które się zbiera, na końcu były użyteczne i pomogły podjąć konieczne decyzje.

Na przykład w dużym mieście wojewódzkim jest do zagospodarowania stara, nieczynna już zajezdnia autobusowa. Radni zaproponowali, aby urządzić w niej centrum sztuki współczesnej. Dlatego władze miasta zapraszają grupę artystów na wywiad grupowy. Będzie można w gronie zainteresowanych osób porozmawiać o tym, co zrobić w budynku zajezdni. Ale sam wywiad, chociaż przyniósł różne ciekawe pomysły, nie wystarcza. Potrzebne jest jeszcze badanie opinii ogółu mieszkańców. Trzeba dowiedzieć się, jak duże jest zainteresowanie proponowaną koncepcją. Dodatkowo odbywają się jeszcze wywiady indywidualne z kilkoma dyrektorami podobnych instytucji, które działają w innych miastach, przeprowadza analizę kosztów.

W ten sposób ewaluacja zbiera wiedzę – różnymi metodami i od różnych osób – by na końcu sprawdzić, czy propozycja rady miasta sprawdzi się i na jakie elementy przy realizacji warto uważać. Podpowiada też nowe rozwiązania, których wcześniej nie brano pod uwagę. Pomaga w ustaleniu, co jest dobre, a co jeszcze wymaga dopracowania.

Kiedy się robi ewaluację?

Każdy z nas wielokrotnie analizuje dostępne dane, stara się podjąć właściwą decyzję. Gdzie tu jest miejsce na ewaluację i dlaczego uciekać się do ewaluacji zamiast własnego rozsądku?
– Ewaluacja to rodzaj systematycznej refleksji, myślenia o swoich działaniach z pewnego dystansu.
– Ewaluacja poszerza też perspektywę, gdy do namysłu włączamy osoby spoza oczywistego dla nas grona.
– Wyniki tak uzyskane nie są zbiorem jedynie naszych własnych przemyśleń ale grupy osób, która w przypadku zmiany tym chętniej się w nią włączy im bardziej były zapytana o zdanie.
 
Taką refleksję można zastosować przed rozpoczęciem działania – projektu, czy inwestycji. Wtedy badanie nazywa się „ewaluacją ex-ante”.

Ewaluacja ex-ante koncentruje się wokół pytań:
– Czy to, co wymyśliliśmy, ma sens?
– Jakie są słabe strony projektu, który ma się rozpocząć?
– Na jakie bariery możemy napotkać?
– Jakie są luki w pomyśle?

Wszystkie województwa w Polsce były objęte ewaluacją ex-ante przed przyznaniem im środków unijnych na najbliższe lata. W ten sposób sprawdzano, czy projekty i fundusze na ich realizację, zostały zaplanowane właściwie.

Wszystkie ewaluacje ex-ante mają na celu zweryfikowanie pomysłów, planów, a także ewentualne zaoszczędzenie czasu i środków w sytuacji, gdy okaże się, że jest wiele argumentów przeciw realizacji tego planu i natrafimy na znaczące bariery.

Jest też możliwość prowadzenia ewaluacji w trakcje projektu. Taki rodzaj badania przydaje się szczególnie wtedy, gdy:
– projekt jest dużym i złożonym przedsięwzięciem
– gdy dany pomysł nie był jeszcze realizowany w praktyce
– gdy sprawozdajemy się ze wskaźników, które trudno zmierzyć wprost np.: z zadowolenia uczestników.
 
Przykładem może być ewaluacja projektu „Gdy nie ma przedszkola”. W 2000 roku na wsi tylko dwoje na sto dzieci chodziło do przedszkoli i dlatego powstał projekt, który miał zmienić tę sytuację¹. Uwzględniono w nim również ewaluację, która była wpleciona w działania projektowe. Na bieżąco badano, co się w projekcie udaje, jakie trudności występują i jak radzą sobie władze lokalne. Badano też jakość pracy nauczycielek i zaangażowanie rodziców. Ewaluacja ułatwiła gromadzenie wiedzy o tym, jak rozwijać przedszkola na wsi. Projekt GNP był inspiracją dla wielu gmin w Polsce, ułatwił też zmiany w prawie. I dziś do przedszkoli na wsi chodzą już prawie wszystkie dzieci.
¹[Więcej na ten temat można przeczytać na stronie http://www.frd.org.pl/programy/archiwalne]

Jeszcze innym badaniem jest ewaluacja ex-post, czyli po zakończeniu projektu – gdy już kończą się działania, rozliczone są faktury - wówczas przychodzi czas podsumowania, spojrzenia wstecz.

Ewaluacja ex-post:
– koncentruje się na efektach
– sprawdzeniu, czy założone cele zostały osiągnięte
– i jak trwałe są rezultaty.



Po co ta ewaluacja?
 
Wydaje nam się, że wiemy, co ludziom jest potrzebne, co będzie im się podobać, a co nie. Wydaje nam się, że wiemy, jak trzeba rozwiązać problem. Jednak dzięki ewaluacji:
– wiemy więcej i dokładniej. Dzięki temu lepiej działamy,
– możemy też lepiej komunikować się z otoczeniem. Wykresy, zestawienia albo cytaty z wypowiedzi są już na co dzień stosowane nie tylko w wewnętrznych raportach, ale też w promocji. Dzięki ewaluacji możemy mówić o rzeczywistych efektach.Ewaluacja nie tylko mówi nam o problemach i jak je można rozwiązywać. To rodzaj badania, które wskazuje też sukcesy. Często w badaniu sprawdza się, w jakim stopniu osiągnięto zamierzone efekty. Zwykle też pojawiają się dodatkowe, nieplanowane efekty. Gdyby nie ewaluacja, byłoby trudno je odnaleźć i opisać.

Co można badać?
 
Można badać wszystko to, co chcemy doskonalić.

1. Najczęściej ewaluację prowadzi się w projektach finansowanych z zewnętrznych funduszy, na przykład z Unii Europejskiej. To zrozumiałe, bo gdy w grę wchodzą publiczne pieniądze należy najpierw zastanawiać się, czy planowane działanie sprawdzi się, a następnie ocenić, w jakim stopniu się sprawdziło i czy w związku z tym warto je kontynuować.

2. Ewaluacja przydaje się też podczas jednorazowych wydarzeń, tzw. „eventów”. Na przykład podczas Pikniku Naukowego, który odbywa się w maju w Warszawie prowadzone są ankiety wśród gości. Dzięki temu organizatorzy wiedzą, co się podobało, jakie były niedociągnięcia i jak planować Piknik w następnym roku.

3. Jest też możliwa ewaluacja organizacji. Takie badanie nie dotyczy działań, ale bardziej struktur i relacji w firmie, organizacji pozarządowej czy nawet samorządzie. Takie badanie przydaje się w trudnych sytuacjach - jakiegoś przełomu albo gdy organizacja rozważa podjęcie nowych wyzwań, wejście w nowe obszary działalności. Ewaluacja przydaje się wtedy, jako badanie przygotowujące do planowania strategicznego.

4. Innym zastosowaniem ewaluacji jest badanie potrzeb. Na przykład wśród mieszkańców, gdy konsultuje się z nimi zagospodarowanie i rewitalizację parku. Badanie potrzeb może obejmować wybraną grupę – uczestników określonego projektu albo grupę wybraną ze względu na jej cechy charakterystyczne: właściciele psów czy osoby korzystające z rowerów miejskich.

5. Można również ewaluować produkt. W tak zwanych projektach innowacyjnych (także finansowanych ze środków UE) powstają różnego rodzaju nowe rozwiązania np. sposób szkolenia osób dorosłych z wykorzystaniem internetu albo model przekazywania funduszy samorządowych lokalnym organizacjom. Takie rozwiązania są testowane i poddawane szczegółowej ewaluacji.

6. Ewaluacja ma więc wiele perspektyw, wiele możliwości. Pierwszy krok w stronę ewaluacji to zadanie sobie pytania „co mogę zrobić lepiej, inaczej?”.

Tekst: Ośrodek Ewaluacji, www.ewaluacja.eu

Bądź na bieżąco z tematami dotyczącymi ewaluacji, dołącz do nas na Facebooku