Arbetsmaterial  - Under arbete

Varför utvärdera?

En utvärdering vill förklara vad som hänt, men det är framförallt ett verktyg för att förändra och utveckla.

För att kunna ställa rätt utvärderingsfrågor och för att kunna utvärdera bör varje besöksaktivitet ha ett uttalat mål och syfte. 

För som Nalle Puh säger: ”Om man inte vet var man ska är det ingen idé att skynda sig. Man vet ändå inte när man kommer fram.”

Mål gör inte bara att det är lättare att utvärdera, det ger oss även en bra överblick över vad vi gör och var vi är på väg.

Till exempel it-handledning i form av drop-in som sker på SB. Här finns de stora målen från bibliotekslagen, biblioteksplanen som bryts ner, i och i det här fallet handlar bland annat om att personer som kommer ska

1. få hjälp och svar på sin fråga / alternativt fått hjälp att komma vidare till rätt aktör som kan hjälpa till med frågan
2. få en handledning som arbetar för att ge effekten att personen förutom stöd i sakfrågan även har fått stöd i sin egen självständighet och i sitt mod att nyttja digitala möjligheter/verktyg
3. uppleva handledningen anpassad och tillgänglig
4. vilja återkomma samt rekommendera andra att använda möjligheten it-drop-in är osv

Utifrån detta har sedan reflektionsfrågor som den personal som har handledningen /it-drop-in fyller i efter varje besökare. I detta finns frågor som har direkt koppling till målet och effekten. Exempelvis: Vi kunde lösa besökarens fråga ja/nej. Vi kunde inte lösa frågan och jag hänvisade besökaren vidare till annan aktör – skriv in aktör. 

Kombination av olika utvärderingar ger en bredare bild

På biblioteket utvärderas alla besöksaktiviteter genom statistikinsamling (antal deltagare, kvinnor/män, ålder etc).  Det här är den del av utvärderingen som är kvantitativ. Men, vi bör för att kunna få en bra utvärdering även utvärdera kvalitativt.

Den kvalitativa utvärderingen kan gå till på flera sätt, utifrån flera olika metoder.

Och, för att på bästa sätt kunna skapa ett brett underlag (kunna se mönster och dra slutsatser) så är det en fördel att använda samma metoder för liknande aktiviteter.

För att ytterligare öka utvärderingens värde finns det en stor vinst i att både låta besökaren som deltagit i en aktivitet utvärdera men även låta personal som hållit i aktiviteten/deltagit göra en utvärdering. En reflektion över tillfället, aktiviteten och utfallet.

Vid val av utvärderingsmetod behöver vi självklart förhålla oss till de personer vi önskar ska utvärdera den aktivitet de deltagit i. Ålder, förmåga, tid, situation osv.

 
Utvärderingsmetoder

Det finns en mängd olika utvärderingsmetoder. Under sista årens projekt har dessa metoder tagits fram och använts. Vi ser att metoderna i kombination har ger ett väldigt bra underlag för utvärdering och för att kunna dra välgrundade slutsatser kring besöksaktiviteternas effekt, utveckling och upplevelse.


Exempel på besöksutvärderingar vid fysiska aktiviteter. Metoder som använts i projekten.

​

​Flirtkulor - visuell och enkel metod

Tre genomskinliga flaskor står framme. Vid dessa en skål med flirtkulor. Besökare lägger en kula i vald flaska. En enkel metod som med fördel används tillsammans med yngre barn eller exempelvis tillsammans med personer med intellektuell funktionsnedsättning. Men, metoden har visat sig passa för de flesta, oavsett ålder och förmåga. 

---

​Ordmoln på iPad - visuella ögonblicksbilder
​
En iPad står framme med ett så kallat ordmoln (skapat i Mentimeter) Besökare får utvalda frågor och skriver in ett, eller flera ord. En enkel metod som ger visuella ögonblicksbilder över en aktivitet.

---

Enkät

Att skapa en enkät är bland det svåraste man kan göra när det gäller utvärderingar.  Om man väljer enkät som utvärderingsmetod bör man låta kollegor titta igenom frågorna. Bolla idéer och fundera igenom vilka frågor man ställer, och hur man ställer dessa.

Det finns en fördel om vi vid alla enkäter har en gemensam layout samt gemensamma inledning- och avslutningsfrågor.

Detta för att skapa igenkänning (enkäten kommer från Biblioteken i Luleå) och även för att skapa ett underlag som vi kan dra större slutsatser från.

Exempel på besöksutvärderingar vid digitala aktiviteter.
​Metoder som använts i projekten.

Mentimeter​
Mentimeter är ett webbaserat verktyg för snabba avstämningar. Deltagarna går via sin egen webbläsare till en given länk och loggar där in med den kod du ger dem. Väl inne i rummet möts de av den fråga du förberett. 
​
Mentimeter: Interactive presentation software - Mentimeter och på sidan finns även en bra introduktion kring hur du använder verktyget.

---

​​Enkät
Vid exempelvis cirklar där man träffas flera gånger är enkät en användbart. Här vill man kanske ställa några mer uttömmande frågor där besökaren kan svara mer detaljerat. Här är Forms (Office 365) ett användbart verktyg.
​
Det finns en fördel om vi vid alla enkäter hade gemensamma inledningsfrågor: Både för att skapa igenkänning (enkäten kommer från Biblioteken i Luleå) men även för att skapa ett underlag som vi kan dra större slutsatser från.

Exempel på personalutvärdering / dokumentation.
Metoder som använts i projekten vid både fysiska- och digitala besöksaktiviteter

Dokumentation- och personalreflektion – synliggöra och minnas
Alla genomförda aktiviteter bör ha en dokumentation och en personalreflektion. Ett eller några fotografier från aktiviteten, dess förberedelse, ett foto på flirtkulorna om de var utvärderingsmodellen osv. Till detta en kort skriven text där man beskriver vad som hände, med fördel lägger in något citat från en besökare som sades under aktiviteten.

En reflektion kring aktivitetens utfall, vad gick bra, vad kan vara bra att tänka på till nästa gång.

Dessa reflektioner bör ske direkt efter aktiviteten medan minnet är fräscht kring vad som hände.

Dessa reflektioner skrivs ofta i form av minnesanteckningar, det vill säga det viktiga är att få ner tankarna. Inte att det är en perfekt skriven text.

Exempel på frågor en sådan reflektion kan besvara är:

• Genomfördes aktiviteten enligt plan eller skedde förändringar?
• Hur tror jag att besökaren upplevde aktiviteten? (Infoga gärna besökscitat.)
• Hur tror jag att besökaren upplevde utvärderingsmetoden som användes?
• Hur upplevde jag aktiviteten?
• På vilket sätt tror jag att besökaren via aktiviteten ökat sin digitala kompetens / ökat möjligheten att läsa för sina barn / ökat förmågan att … blivit intresserad av… osv osv osv (de som aktiviteten avser).
• Hur skulle aktiviteten kunna utvecklas till nästa gång?
• Var lokalen/plattformen ändamålsenlig? Vad skulle kunna förbättras?
  
  
  

Observera –kollegialt hjälpa varandra att få syn på saker
 
Observation av en besöksaktivitet kan vi göra i syfte att se utvecklingsmöjligheter. För att se vilka som interagerar med varandra. Vilka som inte deltar. Vad som sker i utkanten av aktiviteten osv. Helt enkelt upptäcka saker som vi inte ser när vi är fullt engagerade i besöksaktiviteten. 
 
Det handlar inte om att utvärdera eller bedöma någon eller någras ageranden eller prestation.  
 
Att observera kan kännas svårt men tillexempel  jfkdlö jfakö text  fjk jfkaö öaö jfdka öjkfadl j jköfa  gör klar  gjksag jaklö