Von der händischen Auszählung zur digitalisierten Erfassung

Bereits seit 2002 wertet die Karl-Arnold-Stiftung alle durchgeführten Veranstaltungen aus. Neben einer gemeinsamen Auswerterunde am Veranstaltungsende hat jeder Teilnehmende die Möglichkeit, anonym einen Fragebogen auszufüllen.

Die eingesammelten Papier-Fragebögen jeder Veranstaltung wurden bis einschließlich 2010 noch mühsam von Hand ausgewertet und die Ergebnisse einzeln in eine Excel-Tabelle eingegeben. Bei einem Seminar mit 30 Teilnehmenden waren das fast 700 Einzelwerte. Zusätzlich mussten die pädagogischen Mitarbeiterinnen und Mitarbeiter alle Bögen nach einer Veranstaltung ebenfalls noch einmal durchsehen, um die handschriftlichen Anregungen und Hinweise der Teilnehmenden auswerten zu können. Diese Form der Evaluation bedeutete also einen großen personellen Aufwand. 

Aus diesem Grund entschlossen wir uns, die Datenauswertung ab dem Jahr 2011 mit EDV-Unterstützung durchzuführen.

Papier-Fragebogen
Fragebogen Online

Dazu wurden die standardisierten Fragebögen per Scanner eingelesen und die Ergebnisse von einer Software ausgelesen, verarbeitet und in einem Ergebnis-Report aufbereitet. Ein großer Vorteil dieser elektronisch gestützten Auswertung war, dass die Ergebnisse ca. eine Woche nach dem Ende der Veranstaltung zur Verfügung standen. Im Vergleich zu der Zeit davor eine erhebliche Zeitverkürzung. Außerdem erfasste die Software auch die handschriftlichen Kommentare der Teilnehmenden und führte diese im Ergebnis-Report mit auf, so dass niemand mehr die Original-Fragebögen durchblättern musste.

Parallel zur Befragung der Teilnehmer über Papier-Fragebögen hatten wir auch die Online-Befragung getestet. Im Gegensatz zur Papierbefragung wurden die Teilnehmenden dabei erst einige Tage nach dem Seminarende per E-Mail angeschrieben und erhielten einen Link, unter dem sie die internetbasierte Befragung erreichen konnten. Die Rückmeldungsquote lag bei dieser Art der Befragung allerdings immer deutlich unter der Quote der Papierbefragungen.

Die Fehleranfälligkeit bei Online-Befragungen war insgesamt relativ hoch, z.B. durch nicht adressierbare Mailadressen. Auch der Support durch die beauftragte Firma ließ des Öfteren zu wünschen übrig. Insgesamt war die Software auch noch nicht ausgereift bzw. wurde im Laufe des Nutzungszeitraums nicht entsprechend weiterentwickelt. Diese Mängel haben wir daher durch einen erhöhten Aufwand an eigener Arbeit ausgeglichen.

Ergebnis-Report
Digitalisierte Teilnehmerbefragung

Im Laufe der Zeit erwies sich das System für unsere steigenden Anforderungen insgesamt als zu unflexibel. Daher haben wir zum Jahresende 2016 die Zusammenarbeit mit der beauftragten Firma beendet.

Bereits im Laufe des Jahres 2016 haben wir unser Evaluationskonzept grundlegend überarbeitet. Zunächst haben wir die bislang von uns verwendeten Fragen wissenschaftlich untersuchen lassen und eine geänderte Bewertungsskala eingeführt. Im Zuge der Digitalisierung unserer übrigen Verwaltungsabläufe ist unsere Evaluation jetzt vollständig digitalisiert - Papierfragebögen gehören der Vergangenheit an. Die gesamte Befragung ist eng mit unserem Customer-Relationship-Management-System (CRM) verzahnt.

Die Vorteile des neuen Verfahrens: unser CRM generiert automatisch aus jedem Programm einer Veranstaltung eine individuelle Befragung der Teilnehmenden. Diese kann von dem Mitarbeiter vor dem Freischalten noch bearbeitet werden, um z.B. den Fokus auf bestimmte Qualitätsaspekte oder inhaltliche Fragestellungen zu fokussieren.

Die Teilnehmenden erhalten zum Ende der Veranstaltung nach der gemeinsamen Feedbackrunde eine einfache Zugangsmöglichkeit per Internet und können die Befragung direkt über ihre privaten mobilen Endgeräte (Mobiltelefone, Tablets usw.) erreichen. Unsere Tagungsleiter sind zudem mit einem Tablet ausgestattet, das am Seminarende von den Teilnehmenden genutzt werden kann. Damit sind die Befragungsergebnisse unmittelbar nach dem Veranstaltungsende in unserem CRM-System verfügbar.

Zusätzlich füllt der Tagungsleiter, der jede Veranstaltung von Anfang bis Ende begleitet, kontinuierlich seinen individuellen elektronischen Fragebogen aus. Er bewertet z.B. die von uns genutzte Infrastruktur (Transport, Unterbringung, Verpflegung, Seminarräume) und die inhaltlichen Aspekte der Veranstaltung (Programmpunkte, Referenten usw.). Ist die Veranstaltung zu Ende und hat der Tagungsleiter alle Eintragungen vorgenommen, schließt er die Befragung ab. Wenige Augenblicke später erhält der für die Veranstaltung zuständige pädagogische Mitarbeiter eine entsprechende Meldung.

Abgeschlossen wird der gesamte Befragungsprozess, indem die zuständigen pädagogischen Mitarbeiterinnen und Mitarbeiter sich zunächst die Rückmeldungen der Teilnehmenden anschauen und danach die Rückmeldungen und Einschätzungen der Tagungsleitung sichten.

Anschließend hält der/die pädagogische Mitarbeiter/in im System die eigene Einschätzung der Veranstaltung fest: was ist gut gelaufen, welche Programmpunkte waren beliebt, welche sind weniger gut angekommen? Gab es organisatorische oder inhaltliche Verbesserungsmöglichkeiten? Ist für eine zukünftige Durchführung einer ähnlichen Veranstaltung etwas zu beachten, kann etwas verbessert werden? Gibt es Punkte, über die die übrigen Mitarbeitenden informiert werden sollten?

Die Erhebung und Verarbeitung dieser Fragen ist ebenfalls vollständig digitalisiert.

Auf diese Weise ist sichergestellt, dass Verbesserungsmöglichkeiten genau dann automatisch angezeigt werden, wenn wieder eine ähnliche Veranstalltung geplant wird.

Die Kolleginnen und Kollegen werden zeitgleich mit dem Abschließen der Veranstaltung ganz gezielt über Besonderheiten oder sonstige wichtige Dinge informiert und nicht erst bei der nächsten Mitarbeiterbesprechung oder "zufällig auf dem Flur".

Die digitalisierte Evaluation ist ein gutes Beispiel für den kontinuierlich betriebenen Verbesserungsprozess in der Karl-Arnold-Stiftung und ein praktisches Beispiel für ein gelebtes Qualitätsmanagement.

Wenn Sie Fragen zur elektronischen Auswertung, oder zur Digitalisierung der Veranstaltungsplanung, -durchführung und -auswertung haben, wenden Sie sich an Oliver Krauß, 0221 - 66997524, o.krauss@karl-arnold-stiftung.de.