Vorgehensweise bei Evaluationen

1. Festlegung von Grundlagen

- Evaluand
- Beteiligte
- Ursache
- Ziel
- Zeitpunkt
- Kontext
- Elemente
- Bewertungskriterien
- Methodenauswahl
- Ergebnisform
- Vorgehensweise
- Beschreibung

2. Durchführung der Evaluation

- Entscheidung über die Durchführung
- Grundlagenermittlung
- Methodenanwendung
- Datensammlung
- Datenauswertung
- Datenbewertung
- Berichtserstellung
- Berichtübergabe
- Berichtsauswertung

3. Nutzung der Ergebnisse

______

1. Festlegung von Grundlagen

- Evaluand (Evaluationsobjekt)

- Medium allgemein (Lernsoftware, WWW-Seiten)
- Informationsart / -kombinationen

Jarz (1996) unterscheidet folgende Informationsarten:

- Text
- Sprache
- Partitur
- Klang
- Grafik
- Animation
- Bild
- Film
- Objekt
- Welt

Jarz, E. M. (1996): Entwicklung multimedialer Systeme : Planung von Lern- und Masseninformationsmedien. Wiesbaden, Gabler. S. 187-252

- Einzelmedium (CD-ROM, Website, Computerterminal, Lernplattform, Online-Seminar)
- Teile eines Einzelmediums (Text, Animation, Werkzeug)
- Prozeß (Softwareentwicklung, Seminar)
- Nutzer/in (Lerner, Lehrender, Autor...)
- Nutzungsart (Heimlernen, Vorlesung, kooperatives Lernen...)
- Entwicklungsabschnitt
- Kommunikation
- Aktualisierungen (Updates, Erweiterung)
- Copyright-Beachtung
- Planungsunterlagen
- Dokumentation, Handbücher, Gebrauchsanweisungen
- Evaluation
...

- Beteiligte an der Evaluation

- Auftraggeber/in
- Evaluator/in
- ggf. Finanzier des Evaluanden bzw. der Evaluation
- Beteiligte an Planung und Entwicklung
- Testperson
- Benutzer/in (Endnutzer/in, teilweise Inhaltslieferant/in, Lehrende/r, Tutor/in, Admin)
- Betroffene der Evaluationsergebnisse
- Nutzer/in der Evaluationsergebnisse

- Ursache der Evaluation

- Finanzierende Institution fordert Evaluation
- Forschungsinteresse
- Materialauswahl zur Vorbereitung einer Prüfung
- Werkzeug des Qualitätsmanagements
- Hilfe bei der Auswahl einer Lernplattform
- usw.

- Ziel der Evaluation

- Akzeptanzpüfung
- Bewertung eines Software hinsichtlich seines Einsatzes zur Seminarergänzung
- Aufweisen von unlogischen Navigationsmöglichkeiten
- Nachweis des Lerneffektes einer CD-ROM
- Erstellung einer Kosten-Effizienz-Bilanz
- Eignung für eine bestimmte Zielgruppe prüfen
- Chancen prüfen, neue Zielgruppen anzusprechen
- Berücksichtigung bestimmter Zielgruppen prüfen (Gender, sozial, kulturell)

siehe auch Beispiele: http://www.evaluieren.de/evaluat.ion/ziele.htm

- Zeitpunkt der Evaluation
(grob: Vorlauf-, Entwicklungs- und Einsatzphase; pre-formative, formative und summative Evaluation)

- Status-Quo-Evaluation (Ermittlung des aktuellen Zustands)
- Analog-comparative Evaluation (Analyse vergleichbarer Produkte)
- Front-End-Evaluation (Untersuchungen im Vorfeld, z.B. Vorwissen und Erwartungen von Nutzern)
- Formative Evaluation (Evaluation während der Entwicklung / Erstellung / Programmierung)
- Remedial Evaluation (Nachbessernde Evaluation nach der Installation)
- Summative Evaluation (Evaluation nach der Fertigstellung des Produkts)
- Folge-Evaluation (Wiederholung einer Evaluation zu einem späteren Zeitpunkt, um Veränderungen aufzudecken)
- Fortlaufende Evaluation (Begleitende Analyse während des Einsatz, u.a. bei Aktualisierungen)
- Zeitunabhängige Evaluation (Evaluationen, die zu jedem Zeitpunkt durchgeführt werden kann, wie Meta-Evaluationen)

Nach: http://marcjelitto.de/mmub/tagungen/jelitto3.htm

- Kontext der Evaluation (Gebietsbeschreibung, Ausgangsbedingung, -situation)

Kurzvorstellung des Evaluanden, der Rahmenbedingen (Lernumgebung, Einflußfaktoren), allgemeine Hintergrundinformationen zum Medium, finanziellen und zeitlichen Grenzen, Ziele und Nebenziele etc.

- Elemente der Evaluation

Um eine Evaluation sinnvoll durchzuführen, müssen häufig unterschiedliche Daten gleichzeitig erhoben werden, die dann miteinander verknüpft werden.

Beispiele für Elemente bei einer Lernsoftware: Akzeptanz, Behaltensleistung, Studierzeit, Studierverlauf, Vergleich plausibler Alternativen
Auflistung aus: Glowalla, U. und G. Häfele (1997): Einsatz elektronischer Medien: Befunde, Probleme und Perspektiven. In: L. J. Issing und P. Klimsa [Hrsg.]: Informationen und Lernen mit Multimedia. Weinheim, Psychologie Verlags Union. S. 414-434.

Weiterhin können evaluiert werden: Navigation, Inhalt, Auffindbarkeit von Informationen, Kommunikation (Reaktionszeiten, Qualität), Zeit und Kostenaufwand...

- Bewertungskriterien

Die Festlegung der Kriterien muß vor dem Beginn der Evaluation stattfinden!

- Ausscheiden durch Nichterfüllung von K.O.-Kriterien
- Überschreiten eines Mindestwertes
- Mindestziele sind erreicht (Notwendigkeiten)
- Mindestpunktzahl wird erreicht
- Besseres Abschneiden als Vergleichswerte
- Nebeneffekte sind neutral oder positiv
- Alternativkriterien (ja/nein, vorhanden/nicht vorhanden)
- Skalierbare Kriterien (sehr gut bis sehr schlecht)
- Relevanz-Kriterien (sehr wichtig bis ganz unwichtig)
- Gewichtung von Fehlern ("muß sofort behoben werden" bis "kann man mit leben")

Teilweise aus: Schulmeister, Rolf (2000): Selektions- und Entscheidungskriterien für die Auswahl von Lernplattformen und Autorenwerkzeugen
http://www.izhd.uni-hamburg.de/pdfs/Plattformen.pdf Stand: 08.2002 S. 17

- Methodenauswahl

Es können Methoden aus der Sozialforschung (z.B. Fragebogen, Interview) eingesetzt werden, aus dem Computerbereich (z.B. Kriterienkatalog, Logfile-Aufzeichnung) und ggf. aus weiteren Bereichen wie die Besucherforschung in Museen (z.B. Wegeverfolgung in der Ausstellung) oder die Marktforschung (z.B. Bedarfsanalyse).

- Ergebnisform

Es sollte festgelegt werden, in welcher Form die Ergebnisse vorgelegt werden (Auflistung von Problemen mit Gewichtung). Es kann auch sinnvoll sein, die Probleme mit Hinweise auf positive Beispiele oder Verbesserungsvorschläge zu ergänzen, um die Nutzung der Ergebnisse zu erleichtern. Auch sollte eine Zielgruppenanalyse der Empfänger stattfinden, um u.a. die Lesbarkeit optimieren zu können.

- Design der Evaluation (Vorgehensweise, Projektplan)

Erstellung eines Zeit-, Ablauf- und Kostenplans.

- Beschreibung der Evaluation

Enhält alle obigen Punkte in begründeter Form, ergänzt um Hinweise auf die Grenzen der Evaluationsmöglichkeiten und der Verwertbarkeit der Ergebnisse.

______

2. Durchführung der Evaluation

- Entscheidung über die Durchführung
- Grundlagenermittlung

- Kurzbeschreibungen der Beteiligten (Evaluator, Testpersonen inklusive Auswahlverfahren)
- Informationen zum praktischen Teil der Evaluation

- Technische Informationen (Rechner-Plattform, installierte Software und Erweiterungen (Plug-Ins), Einstellungen der Software, Zugang zum Internet)
- Bei Internet-Auftritten Zugriffsdatum und Zeitpunkt
- Geteste Version

- Methodenentwurf und -test
- Methodenanwendung (z.B. Versand von Fragebögen)
- Datensammlung / Datenerhebung
- Datenauswertung (Dateneingabe, -reinigung, -aufbereitung)
- Datenbewertung
- Berichtserstellung

Der Evaluationsbericht enthält auch die Dokumentation (Bilder wie Screenshots usw.), ggf. werden diese und weitere Daten auf einem Datenträger wie eine CD-ROM beigefügt.
Lesetipp: Tognazzini, Bruce (2001): How to Deliver a Report Without Getting Lynched
http://www.asktog.com/columns/047HowToWriteAReport.html Stand: 07.2003

- Berichtübergabe, ggf. mündliche Präsentation oder Veröffentlichung
- Berichtsauswertung beim Auftraggeber / Verantwortlichen für Änderungen

______

3. Nutzung der Evaluationsergebnisse

Beispiele:
- Verbesserung der Software
- Entwicklung eines Updates
- Einbau positiver Bestandteile in die eigene Software
- Änderung des Kommunikationsverhaltens
- Entwurf von Richlinien für das nächste Projekt
- Veröffentlichung von Teilauszügen
- Arbeitsmotivierung durch positive oder negative Ergebnisse

_____