Evaluationsmethoden

Infoseite

Ich würde die Methodenseite gerne ausbauen. Daher habe ich hier stichwortartig erste Überlegungen gesammelt.

Ideal wäre folgende Unterteilung der Informationen:

• K Kurzinfo (Hinweise auf Literatur, Stichworte zur Erklärung)
• V Vollinfo (Vollständige Methodenbeschreibung nach noch auszuarbeitendem Raster)

Die Kurzinformation würde einen ersten Einstieg in die Methode erlauben, die Vollinformation die Methode ausführlich behandeln. Unter http://www.evaluieren.de/evaluat.ion/methoden/0001.htm findet man eine erste Rohfassung am Beispiel von Kriterienkatalogen, wie so ein ausführlicher Steckbrief für eine Evaluationsmethode aussehen könnte.

Evaluation im Praxiseinsatz:

• Ist sie unbeobachtet/unbeeinflußend möglich?
• Gibt es dafür besondere Methoden / sind Besonderheiten zu beachten?

In den Ausarbeitung werden später Grundlagen der einzelnen Methoden dargestellt, die allgemein gültig sind. Dazu kommen spezifische Informationen zur Evaluation digitaler Medien.

• Beschreibung der Methoden:
  • Allgemeine Beschreibng
  • Vorgehensweisen
  • Vor- und Nachteile
  • Bewertung

Methodenauswahl:
Evaluation des Evaluationsmethodeneinsatzes: Überprüfung von Logfiles durch Beobachtung, Interviews durch Beobachtung (wobei bei letzteren die persönliche Eigensicht rausgefiltert bzw. beachtet werden muß).

Seitenstruktur: Evaluationsmethoden

• allgemeine Beschreibung
• Einsatz bei WWW-Auftritten
• Automatisierbarkeit
• Unterstützungsgrad durch Software
• geschätzter Arbeitsaufwand
• zu erwartender Nutzen

 Methodenbeschreibung beim BIBB

1. Informelle Beschreibung
2. Ursprung
3. Bezug zu anderen Methoden
4. Anwendungsbereiche
5. Anwender der Methode
6. Klassifizierung der Methode
7. Meßprozedur
8. Datentyp
9. Datenquelle
10. Ort der Messung
11. Gegenstand der Berteilung

...

Testbeschreibungen bei Grubitzsch/Rexilius,1978 (S. 204, 277 ff.):

1. Testart
2. Allgemeines Grundkonzept
   a.) Aufgabe
   b.) Anwendungsbereich
   c.) Testimmanente Theorie
   d.) Aufbau
   e.) Testmaterial
   g.) Auswertung
3. Normen
4. Zuverlässigkeit, Interpretation und Aussagewert
   (Interpretation, Zuverlässigkeit, Gültigkeit, Objektivität im testtheoretischem Sinn)
5. Allgemeine Kritik
6. (Literatur)

 Noch einzuarbeiten:

• Selbsevaluation: Veranstalter, Teilnehmer
• Fremdevaluation: extern, Nutzung externes Wissen

Ein weiteres Problem:

Wie sortiert man die einzelnen Methoden / Ansätze?

• Alphabetisch
• Ursprung (Sozialforschung, Computerpraxis, Marktforschung, weitere Felder wie Besucherforschung)
• Evaluationsphasen (zu welchem Zeitpunkt können welche Methoden eingesetzt werden?)
• Kontext (Felduntersuchung, Laborexperiment, Expertenurteil)
• Auswertungsart (qualitativ, quantitativ)
• Aufwand (von der Auswertung der Ergebnisse dritter über den Einsatz von Experten, Testpersonen bis hin zur Prüfung des Praxiseinsatzes)