Evaluationsmethoden

 Start - Index - Inhaltsverzeichnis - Evaluation

letzte Aktualisierung: 17. April 2008

Informationen zum geplanten Ausbau dieser Seite

Synonyme:
Analysewerkzeug, Datenerhebungsmethode, Erhebungsinstrument, Erhebungsmethode, Erhebungsverfahren, Evaluationsansätze, Evaluationsbausteine, Evaluationsinstrument, Evaluationsmethode, Evaluationstechniken, Forschungsmethode, Instrument zur Datenerhebung, Testinstrument, Vorgehensweise bei der Erhebung.
Evaluation tool.

Extraseite zu "Test" bei Software aus Sicht der Informatik
(Übersicht über Testmethoden)

_____

Evaluationsmethoden (in Klammern: Anzahl):

 _____

Klassische Evaluationsmethoden

  1. ExpertInneneinsatz
  2. Testpersoneneinsatz
  3. Auswertung der Ergebnisse Dritter
  4. Praxiseinsatz

   _____

  1. ExpertInneneinsatz (Expert Opinion, Expert Review)
    1. Freie Analyse (Expertenbeurteilung, Test unter Anwendung impliziten Wissens des Experten bzw. der Expertin)
    2. Analyse anhand von einem Kriterienkatalog / einer Checkliste / eines Standards (Guideline)
    3. Vergleich mit einem, laut Theorie, optimalem Produkt
    4. Eignungsprüfung für einen bestimmten Einsatz nach vorher eigens festgelegten Anforderungen
    5. Kategorisierung / Klassifizierung von Angeboten (unter Einsatzes eines Kataloges);
      Beispiele:
      • Education, Edutainment, Entertainment, Infotainment, Information
      • Einordnung bei Lernsoftware: Drill / Simulation / Spiel
      • Unterteilte Linkliste im Netz
    6. Vergleich von Konkurrenzprodukten (wie sie u.a. bei der Stiftung Warentest oder in Beiträgen der Zeitschrift c´t zu finden sind)
    7. Streitgespräch:
      Zwei oder mehrere Personen besprechen ein Produkt, es sollten möglichst unterschiedliche Standorte / Ansichten / Meinungen vorhanden sein. Entweder findet eine "ergebnisoffene" Diskussion statt oder am Ende steht ein Kompromiß.
    8. Empirische Untersuchungen
    9. ISO 9000 - Qualitätsverfahren
    10. Bewertung des Entstehungsprozesses
      (siehe: Bumann, Sigrid; Thomas Kerstan (1994): Methoden zur software-ergonomischen Evaluation von informationsvermittelnden Kiosksystemen auf Hypermedia-Basis in Museen. Unveröffentlichte Studienarbeit, Universität Hamburg, S. 17)
    11. Dokumentenanalyse:
      Evaluation von (Projekt-) Anträgen, Dokumentationen, Gebrauchsanweisungen usw.
    12. Meta-Evaluation
      Evaluation von durchgeführten Evaluationen
    13. Teilnehmende Beobachtung
      (Miteinbezug der persönlichen Erfahrungen des Evaluierenden)

      _____

  2. Testpersoneneinsatz
    1. Visuelle und auditive Beobachtung einer Person bei der Nutzung durch eine/n Beobachter/in (in Realzeit / live)
      • direkt
      • über Spiegel
      • über Kamera (Stand-/Bewegtbild)
      • über Mikrofon
    2. Beobachtung mehrerer Nutzenden (zusätzlich zu 1.)
      • Dialoganalyse (Nutzendengesprächsprotokoll)
      • Verhaltensanalyse
      • Unterscheidung aktiver / lenkender / passiver Nutzende
      • Untersuchung des Rollenverhaltens
      • Zusammensetzung (Kinder, Kind/Erwachsene etc.)
      • Wenn die Aufgaben gemeinsam gelöst werden sollen, spricht man von "Constructive Interaction".
    3. "Lautes Denken" (Thinking aloud, Think Aloud User Testing)
      Die nutzende Person erzählt ihre Vorgehensweise, Gefühle und Gedanken bei der Nutzung.
    4. Audio-Aufzeichung (Gesprächsaufzeichnung)
    5. Videoaufzeichnung (Geschehen auf dem Monitor / Gesicht und Gestik der Testperson; um nur eine Kamera einsetzen zu müssen, kann man die Testperson in einem Spiegel neben dem Monitor zeigen)
    6. Fragebogen (online, bei telefonischen, schriftlichen oder persönlichen Nutzendenbefragungen)
      • unterschiedliche Vorgehensweisen elektronisch - Papier
      • gibt es Standardwerke dazu?
      • offene Fragen versus vorgegebene Antworten
      • Auswertung: automatisch / per Hand
    7. Interviews
      • nur Fragebogen
      • mit Leitfaden
      • Halboffen
      • frei
      • Narratives Interview (zum Erzählen animierende Befragung)
      • offenes Ende (open-ended)
      • freie Diskussion
    8. Konfrontation des bzw. der Nutzenden
      Ziel ist es unter anderem, die Aussagen / Antworten des Benutzers zu hinterfragen oder zu vertiefen.
      • Verbale Konfrontation: Nutzer muss sich mit seinen Aussagen / Erzähltem auseinandersetzen
      • Videokonfrontation: Nutzerin bekommt ihr Nutzungsvideo vorgespielt und erläutert / kommentiert es (structured video recall)
    9. Einsatz von Testaufgaben (Taskanalyse):
      Entwicklung typischer Aufgaben, die dann von Testpersonen gelöst werden sollen (wo finde ich eine bestimmte Information oder eine/n Ansprechpartner/in, ist eine schnelle Erkennung des Inhaltes möglich etc.)
      Wenn dies von Experten durchgeführt wird, nennt man dies auch "Expert Walkthrough".
    10. Lernerfolgsmessung (Eingangs- und Endtest des vorhandenen Wissens zur Messung des Lernzuwachses; Pre- und Postmessung)
    11. Transferanalyse (kann Erlerntes im Alltag eingesetzt werden)
    12. Vergleichsmessung
      (mehrere Gruppen testen unter unterschiedlichen Bedingungen oder testen unterschiedliche Produkte)
    13. Gruppendiskussion
      (Diskussion vor oder nach dem Test eines Produktes - Erwartungen versus Erfahrungen)
    14. Analyse des Gesichtsausdrucks / der Körperhaltung der Testperson
    15. Medizinische Verfahren
      • Streßmeßung
      • Herzaktivität
      • Leitfähigkeit der Haut
      • Muskelaktivität
    16. Eyetracking: Augenbewegung verfolgen, auch Blickaufzeichnung genannt (Sichtreihenfolge, Dauer des Blicks z.B. auf einen Werbebanner einer Internetseite)

     _____

  3. Auswertung der Ergebnisse Dritter
    1. Metastudien / -analysen
      • Auswertungen der Ergebnisse anderer Evaluationen
    2. Notieren des ersten Eindrucks von ExpertInnen / NovizInnen
      (dieser entscheidet teilweise über die Akzeptanz eines Evaluanden)
    3. Erfahrungsberichte sammeln (ggf. Tagebuchführung)
      • Teilnehmer/in
      • Anbieter/in
    4. Auswertung von Kritiken bzw. Besprechungen in On- und Offlinemedien
      (ggf. für weitere Informationen den/die Verfasser/in der Besprechung anschreiben)
      • Pressebesprechungen auswerten (z.B. c´t, Computerbild)
      • Buchbesprechungen auswerten (z.B. Thomas Feibels jährlicher Kinder Software-Ratgeber)
      • Besprechungen durch Teilnehmer / Nutzer (z.B. wie beim Online-Versandhaus Amazon)
      • Datenbankeinträge über Produkte auswerten (bei Lernsoftware z.B. SODIS)
    5. Preise und Auszeichnungen auswerten (Multimedia-Preise, online-Auszeichnungen wie Top 5% des Web) 
    6. Abschneiden bei der Wahl zum beliebtesten Produkt (Software, Dienstleistung...), Wahl zum Produkt des Jahres

      _____

  4. Praxiseinsatz
    1. Zielgruppenanalyse
    2. Messung der ökonomischen Effektivität (ROI = Return of Investment)
    3. Auswertung des Kaufverhaltens:
      Reaktion auf Werbemails, Sonderangebote, allgemein
    4. Ermittlung der Nutzungsart:
      Wie und wofür wird das Produkt genutzt (z.B. Lernsoftware unterstützend zur Schule oder im Nachmittagsmarkt)
    5. Zufriedenheitsermittlung bei der Nutzerin bzw. beim Nutzer (Zufriedenheitserhebung)
    6. Informationen der Beschwerdestelle, -telefon, Telefon-Hotline:
      Anfragen, Beschwerden, Reklamationen, Probleme notieren, analysieren und auswerten.

   _____

Evaluationsmethoden bei digitalen Medien

  1. Logfiles (Einsatz von Aufzeichnungsprogrammen)
  2. Anzahl der Fehleingaben bei einem System
  3. Anzahl und Ort des Aufrufes der Hilfeseite / -funktion
  4. Komplettaufzeichnung des Bildschirmgeschehens auf Video bzw. digital, z.B. 1 Screenshot pro Sekunde.
    Eine Zeiteinblendung ist besonders sinnvoll bei einem Vergleich mit Videoaufnahmen der Testpersonen.
  5. Aufzeichnung der Ergebnisse eines Quizzes; Vergleich mit vorherigen Ergebnissen
  6. Beobachtungen auf einem Zweitmonitor (kann im Nebenraum stehen)
  7. Auswertung von Datenbankabfragen / Suchbegriffen

      _____

Evaluationsmethoden bei Software

  1. Einsatz von Beta-Versionen
    (nicht fertige Produkte, die zu Testzwecken auf anderen Rechnern installiert werden)
  2. Herstellerpräsentation
    (Bei komplexeren Systemen wie Lernumgebungen oder Content Management Systemen können die Softwareprodukten von Personal des Herstellers den Evaluierenden vorgeführt werden. Dabei werden i.d.R. Stärken des Programms betont und Schwächen umgangen.)
  3. Szenariopräsentation
    (Auch hier wird die Software vorgeführt. Allerdings wird ein Szenario aus dem geplanten Einsatzbereich durchgespielt. Optimal ist die Zuverfügungstellung typischer Materialien durch die Evaluierenden / Endnutzer/innen.)
  4. Auswertung von Registrierungen

   _____ 

Evaluationsmethoden bei virtuellen Seminaren

  1. Messung der Drop-Out-Quote (d.h., wieviele Personen verlassen das Seminar vor dem Ende; Aussteigerquote)
  2. Messung der Lurker-Quote (d.h. wieviele Personen beteiligen sich nicht an Online-Aktivitäten, sondern sind nur lesend dabei; Passivnutzer)
  3. Eingangsbefragung / Befragung im Seminar / Abschlußbefragung
    (Vorfragebogen / ... / Nachfragebogen)
  4. Möglichkeit der Meldung von Feedback / Fehlermeldungen
  5. Qualität / Ergebnisse von Hausaufgaben, Seminararbeiten, Klausuren (Noten)
  6. Ergebnisse bei Tests (Multiple-Choice, Simulationen)
  7. Nachfrage in Prüfungen
  8. Qualität der Ergebnisse von Gruppenarbeiten
  9. Nutzungsgrad von interaktiven / multimedialen Elementen
  10. Auswertung der Beiträge in Mailinglisten, Arbeitsgruppen etc.

_____ 

Evaluationsmethoden bei bei WWW-Auftritten

     _____

  1. Technisch - intern
    1. Strukturanalyse der WWW-Seiten (Logischer Aufbau, Verstehbarkeit)
    2. Offensichtliche Fehler wie tote Verknüpfungen suchen
    3. Prüfen, ob die Navigation konsequent durchgehalten ist und überall Tasten, Rückverbindungen auf allen Seiten vorhanden sind.
    4. Kontrolle des Corporated Design - existiert / durchgehalten
    5. Überprüfung der Übertragungszeit (Performance-Test)
    6. Überprüfung der Optimierung der Graphiken (optisch, Bildgröße, Thumbnails vorhanden)
    7. Erreichbarkeitstest
      • Startseite und Einzelseiten
      • generell während Stoßzeiten und normalen Zeiten
      • aus Online-Diensten heraus
      • aus Deutschland / anderen Ländern (ggf. Server in den USA einrichten)
    8. interne Suchmaschine:
      • werden alle WWW-Seiten des Angebots durchsucht oder nur ein Teil
      • sind Optionsmöglichkeiten vorhanden
      • Effektivität der Suchmaschine
      • Funktionsweise beschrieben (Verknüpfungsart mehrerer Wörter erkennbar, AND oder OR)
      • Prüfen, ob Seiten gefunden werden, die nicht für die Öffentlichkeit bestimmt sind
      • Suchmaschine sollte Groß-/Kleinschreibung ignorieren (Standard)
    9. Kommunikationsstil (Tonüberprüfung): höflich, z.B. "Leider war die Suche nicht erfolgreich, wollen Sie es nochmal versuchen?"
    10. Linkliste (vorhanden, thematisch sortiert, funktionierende Links)
    11. Aussehen der gedruckten Seiten testen
      • abgeschnittene Bilder, Texte
      • Bild überlappt Text (vom Browser verkleinerte Bilder werden von Netscape/Mac in Originalgröße ausgedruckt, sehr lästig)
      • A3-Druck nötig
      • Hinweis auf Querformatausdruck
        -> Besser: Druckversion anbieten
    12. Kundennutzen ermitteln - sind die Produkt-Informationen ausreichend oder fehlen welche - Standard Printmedium heranziehen!
    13. Veröffentlichung der WWW-Adressen
      • Fernsehen, Radio, Werbung in Zeitungen, Zeitschriften, Presseberichte, Briefpapier, Visitenkarten, e-mail-Signatur, auf dem Produkt selber, sonstige Veröffentlichungen
    14. Gästebuch (besonders auf strafbare Inhalte hin überprüfen. Bei privaten Seiten mindestens einmal wöchentlich, ansonsten häufiger!)
    15. Kommentarliste
    16. Mängelliste
    17. Einsatz adaptiver Systeme: Anpassung der Webseiten an die Interessen des Nutzers. Informationen werden je nach Wunsch des Nutzers angeboten. Auch: konfigurierbare Homepages
    18. Prüfung von Webanzeigen - links auf "Dummy"-Startseite (nicht Original-Startseite, sondern Kopie dieser Dokumente unter anderem Namen) legen und weiterführende Klicks analysieren

        _____  

  2. Technisch - extern
    1. Suchmaschineneinträge
      • Prüfung der Erreichbarkeit der Seiten in den Suchmaschinen (überhaupt, welche Seiten, wo unter den ersten 10 bzw. 20 Treffern)
      • Suchmaschinenergebnisse in der Nähe der eigenen Seite prüfen
      • Aktualität der in den Suchmaschinen gefundenen Seiten prüfen
      • Linktipp Recherche / Optimierung: http://www.kso.co.uk/ Stand: 08.2002
    2. Verlinkungsgrad auf eigene Seiten prüfen
      (wieviele andere WWW-Seiten weisen auf unsere Seiten hin, auf welche Seiten wird genau hingewiesen, Methode: URL in Suchmaschinen eingeben)
    3. Offiziellen Index nutzen (siehe http://www.ivwonline.de/ Stand: 08.2002)
    4. Angebote der Konkurrenz analysieren und Vergleich der eigenen mit anderen Webseiten
      • inhaltlich
      • Service
      • Abgrenzungsmöglichkeiten
      • technische Möglichkeiten
      • Mehrwert
      • Vergleich unsere/fremde Seiten - Vorteile, Nachteile
      • Funktion, z.B.
        • Lernquelle
        • Lehrerersatz
        • Lehrerunterstützung
      • Bedeutung der WWW-Seite
    5. Ranking (Top 10) (veraltete Methode, seit der Jahrtausendwende uninteressant)
      • Top 5% - Best of the Web
      • Web Tops - Top Ten
    6. Preisverleihung
    7. Kategorisierung / Klassifizierung von Angeboten (Katalog einsetzen), klassische Variante: Linksammlung

         _____

  3. Beobachtung der nutzenden Person
    1. Messung der Nutzungshäufigkeit nach Personenidentifikation (Paßwort, Cookies, anonyme Einwahl, Rechneridentifikation)
      • nur Rechneridentifikation, nicht Feststellung des/der Nutzer/in (wichtig bei Schulen, Rechenzentren von Universitäten u.ä.)
        • Einsatz von Cookies
          • eine Sitzung
          • mehrere Sitzungen
          • Jahre
          • eindeutige Identifizierung des Rechners möglich
          • eindeutige Identifizierung der Herkunft des Cookies sinnvoll (welcher Server will Cookie setzen)
          • möglichst 1 Cookie pro Server/Teilbereich
          • Tip: maximal 2 pro Seite - Cookies sollten abgelehnt werden können, ohne das die Funktion der Seiten beeinträchtigt wird
        • verborgene Analyse durch Rechneridentifikation (Abfrage der IP-Adresse)
      • Nutzeridentifikation:
        • Einsatz von Paßwörtern
    2. Ursprungsdomainen der Anfragen ermitteln - können Aufschluß über Nutzer bieten; Länder des Anfrageursprunges feststellen (ggf. Übersetzung in andere Sprachen)
    3. Messung der Nutzungszeit
    4. Auswertungen von Datenbankanfragen, interne Suchmaschine, Indexbenutzung
      • Ermittlung von thematischen Schwerpunkten
      • Auswertung von Anzeigen
      • welche Seiten werden häufig bzw. selten abgerufen und was sind die Ursachen dafür
      • zu welchen Suchbegriffen fehlen Informationen oder welche sollten verstärkt angeboten werden
    5. Uhrzeiten der Zugriffe auswerten - unterschiedliche Anschlüsse, Zugriffsorte, Suchinteressen
      • während der Arbeitszeit
      • Mittagspause
      • nach Feierabend
      • nachts
    6. Leitungsanschluß der Nutzer (32.000 kb/sec oder 2 MB/sec) ermitteln - ist Angebot von z.B. Video sinnvoll
    7. Art des Browsers
    8. Vorher besuchte Seite (existiert dort ein link?)

   _____

Evaluationsmethoden bei E-Mail

  1. E-mail-Auswertung
  2. Art der Reaktion auf E-Mails prüfen, interne Antworten analysieren auf Qualität, Form (freundlich, neutral, unhöflich)
  3. Antwortzeiten der Firma auf E-Mails / Formularanfragen prüfen
  4. Antwortsform prüfen - E-Mail, Fax, Brief, Anruf (on-/offline); was ist gewünscht bzw. wird am häufigsten genutzt
  5. Veröffentlichung der E-Mail-Adressen
  6. Überprüfung der Signaturen aller Mitarbeiter auf Form (Corporate Design) und Vollständigkeit (u.a. Link zur Firmenseite)

     _____

    Evaluationsmethoden bei Kiosksystemen
    (Ausstellungsmedium Computer <*> / POI / POS)

    1. Direkte Beobachtung (Blick über die Schulter, Beobachtung aus einiger Entfernung)
    2. Zweitmonitor im Nebenraum
    3. Kameraaufzeichung des Nutzers bzw. der Nutzerin
      • Geschlecht
      • Alter
      • Allein- / Gruppennutzung
      • Gruppenzusammensetzung (2 Kinder, Vater/Tochter, Oma/Enkel)
    4. Analyse Gesichtsausdruck / Körperhaltung der Person
    5. Nutzergesprächsprotokoll (Aufzeichnung, Notizen)
    6. Interviews
      • vor der Nutzung (Pretest des Wissens, Hemmungen, Erwartung)
      • am Gerät
        • während der Nutzung
        • direkt nach der Nutzung
      • am Ende der Ausstellung
    7. Beobachtung des Personals abfragen
      (gezielte und zufällige Beobachtungen)
    8. Analyse des Terminals
      (Verpackung, Eingabe-, Ausgabemöglichkeiten)
    9. Standortanalyse
      (Position im Raum, Position thematisch in der Ausstellung, Einordnung im Kontext, Umfeld)
    10. Standortwechsel
    11. Besucherverhalten mit und ohne Terminal
    12. Nutzung ohne und mit zusätzlichem Material (Broschüre etc.)
    13. Besuchendenwege analysieren (führt Kiosksystem zu Wegeänderung)
    14. Analyse der Software auf Qualität, Quantität, Fehler, Zeitaufwand zur vollständigen Nutzung, Absturzgefährdung
    15. Wartungsbuch oder Mängelliste (falls vorhanden) auswerten
    16. Auswertung des allgemeinen Besucher- / Gästebuches, ob der Terminal genannt wird
      (Hinweis auf einen bleibenden Eindruck; Dokumentenanalyse)
    17. Vergleich Terminal mit Plakat- oder Broschüreneinsatz
    18. Vergleich Terminal mit anderen Ausstellungsmedien
    19. Auswirkung auf Personalentlastung prüfen
    20. Reaktion beobachten, wenn der Computer außer Betrieb ist

    _____

    Start - Index - Inhaltsverzeichnis - Evaluation

    © 1998-2008 Marc Jelitto, marc@evaluieren.de