CBT-Seminar SS98
 
Evaluation von Beurteilungskriterien für CBT-Software

 

Kurs: English Language Seminar (Statistic crash course)

 

  1. Einleitung

    2. Bei der Erstellung der Bewertungskriterien habe ich zuerst verschiedene Kurse angewählt und mich spontan umgesehen. Die Installation sowohl des English Language Seminar (herunterladen aus dem Web) also auch des Statistic crash course waren einfach und schnell durchgeführt. Wie ich aber 'Statistic crash course' (kurz SCC) löschen kann, ist mir momentan noch unklar. Einfacher verhält es sich natürlich mit dem English Language Seminar (kurz ELS).

    Schon nur der Vergleich dieser beiden Software-Produkte hat mich daran erinnert, dass der Benutzer im Mittelpunkt stehen sollte. Oft ist aber unklar, wer der potentielle Nutzer ist (oder sein sollte). Hier fehlt ganz klar die Transparenz bei der Vorstellung des Produktes: Schon im Prospekt sollten das Anforderungsprofil beziehungsweise das 'Kundenprofil' klar definiert und deklariert sein. Ebenso sollten die technischen Mindestanforderungen (Systemvoraussetzungen wie Hardware, Speicherkapazität, Bildschirmauflösung etc.) explizit genannt werden.
     

  2. Bewertungskriterien in Anlehnung an die Vorlesung "Cognitive Systems Engineering"
 

Als Anregung dienten mir die ISO-Normen

 

      1. Aufgabenangemessenheit
      2. Selbstbeschreibungsfähigkeit
      3. Steuerbarkeit
      4. Erwartungskonformität
      5. Fehlertoleranz
      6. Individualisierbarkeit
      7. Lernförderlichkeit
 
Zur Aufgabenangemessenheit 

  

  • Zieldefinition
  
  • Bedienung
  

  

  • Funktionen für Lösung der Aufgaben 
  • Wiederholende Bearbeitungsvorgänge
  
  • Eingaben
 Bewertung: 

  

Für den Benutzer steht das Ziel fest, ein bestimmtes Examen zu bestehen. 

Die Bedienung ist sehr einfach gehalten. Keine coolen Effekte sind anzutreffen. Die Bedienung überzeugt durch Schlichtheit 

Es sind alle Mittel vorhanden.  

Es gibt keine Hilfen, die wiederholende Bearbeitungsvorgänge automatisieren würden 

Es erfordert unnötige Eingaben, weil das System sich nicht merkt, welche Aufgaben schon gelöst wurden. Es kann daher nicht 'gesprungen' werden. 
Fazit: Generell lässt sich sagen, dass eine relativ gute Aufgabenangemesseneheit vorzufinden ist.
 
Selbstbeschreibungsfähigkeit Bewertung
  • Überblickbarkeit des Funktionsangebotes
 Der Überblick lässt sich schnell herstellen, weil es nur spärliche Angebote gibt
  • Verständlichkeit
 Durch die Einfachheit des ganzen Seminars ist die Verständlichkeit gegeben. Es kann aber auch für manchen Benutzer zu trocken wirken. Eine Einfachheit, die nicht langweilt, ist eine Herausforderung! Hier könnte vielleicht mit mehr Kreativität (aber nicht cool and funcy) die Motivation der Benutzer gesteigert werden.
  • Situationsspezifischen Erklärungen
 Interaktion ist in diesem Seminar klein geschrieben. Es wird prinzipiell von einer Lineraität ausgegangen, die wohl kaum jeden Benutzer anspricht. Quer- und sonstige Verweise wären hier sicher interessant.
Fazit: Die Selbstbeschreibungsfähigkeit des English Language Seminars sind gut aber eher trocken .
 
Steuerbarkeit Bewertung
  • Möglichkeiten
 Wie schon oben erwähnt, kann der Benutzer kaum selbständig seine Bearbeitungsschritte wählen. Die Linearität ist streng und strikte einzuhalten.
  • Benutzerbeeinflussung
 Der Benutzer hat keine Wahlmöglichkeiten was die dargebotene Information am Bildschirm betrifft. Der Benutzer wird als "unmündige Lernender" behandelt.
Fazit: Die Steuerbarkeit ist schlecht, zu einfach und für manchen Benutzer ärgerlich.
 
Erwartungskonformität Bewertung
  • Gestaltung
 Da die Gestaltung äusserst einfach ist, wird die Orientierung gewährleistet. Es gibt keine Unklarheiten. Die Bearbeitungszeiten sind kurz und das Prinzip ist durchführend. 
  • English
 Obwohl das Ziel definiert ist als "Vorbereitung für eine Examensprüfung" wäre es hier wünschbar, die Option "akkustisches Lernen" als zusätzliche Möglichkeit vorzufinden. Sprache wird auch akkustisch (bei manchen Personen sogar vorallem akkustisch) gelernt, deshalb wäre hier eine solche Option sinnvoll. 
Fazit: Durch die einfache Gestaltung ist fast nichts falsch zu machen. Das Publikum weiss zwar ein stabiles Programm zu schätzen. Ist dies aber so einfach nicht auch ziemlich langweilig?
 
 

Fehlertoleranz

 Bewertung
  • Produzieren von Fehlermeldungen
 Nur die bewusste Manipulierung (so lange auf der Tastatur herumdrücken, bis eine Fehlermeldung erscheint) produziert Fehlermeldungen. Es gibt aber eine Zurücksetzung zum Start. Es ist aber nicht möglich, auf den alten Stand (vor dem Error) zu springen.
Fazit: Fehlermeldungen sind schwierig zu generieren. Falls eine Fehlermeldung zustande kommt, wird das Programm auf den Stark zurückgesetzt. Für den Benutzer ist diese Handhabung lästig.
 
Individualisierbarkeit Bewertung
  • Individuelle Bedürfnisse und Anforderungen
 Hier werden individuelle Bedürfnisse und Anforderungen schlichtwegs ignoriert. Keine Anpassungen sind möglich (vielleicht schon, habe sie aber nicht gefunden, was auch schon selbstsprechend ist.).
Fazit: Die Gleichschaltung der Benutzer lässt vermuten, dass dieses Programm eine schlechte Kopie einer Buchversion ist!

 

 

  1. Generelle Gedanken zu CBT's
Die technischen Aspekte und die Neuheit der Materie (jedenfalls für Psychologen) verleitet, die Sichtweise von anderen Disziplinen zu übernehmen – ohne sie kritisch zu reflektieren. Es ist geradezu einfach über Systemvoraussetzungen und Speicherkapazitäten, über Ergonomie am Bildschirm oder über die Einsatz von technischen Mittel während des Kurses zu sprechen, ist die Aufgabenumschreibung eines CBT's einmal abgesteckt.

Als Computerlaie hatte ich während dieser Beurteilung aber immer wieder den Verdacht, dass die Problemdefinition des English Langugage Seminars nicht optimal durchgeführt wurde. Es scheint, dass ein computergesteuertes Lernprogramm gefordert wurde – ohne sich von einer Buchvorlage zu lösen. Ein Buch hat für den Lernenden Vorteile, die in einem CBT nicht einfach zu realisieren sind:

 

Was bieten CBT's dem Benutzer und was ist so benutzerfreundlich an Ihnen?

 Lernen heisst sich mit Gedanken und Inhalten vertraut machen, diese zu reflektieren und zu ananlysieren.... (vielleicht heisst es auch was anderes: die Diskussion ist eröffnet).

Das CBT ist primär ein Lernprogramm. Es soll den Lernenden in seinen Bemühungen unterstützen. Es soll aber kein billiger Abklatsch eines Buches sein.

Clifford Stoll macht sich in "Die Wüste Internet. Geisterfahrten auf der Datenautobahn" über die Computergläubigkeit der Menschen lustig und hält bezüglich Klassenzimmer (mit oder ohne Computer) fest:

"Was ist das wichtigste an der Schule? Die Arbeit mit guten Lehrern, die Methoden und Inhalte vermitteln können. Vom Unterricht bleibt nur die Präsentation von Fakten und Techniken, wenn es keinen lebendigen Austausch zwischen Schülern und einem engagierten Lehrer gibt." (Stoll, C. 1998, S. 177)

 

 Ganz eine andere Meinung vertritt Nicholas Negroponte. Für ihn ist die Welt des "Total Digital" Realität und die traditionellen Klassenzimmer werden verschwinden.

Zurückbezogen auf das English Language Seminar stellt sich die Frage, was die zukünftigen Anforderungen an den Benutzer des jetzigen CBT's sein werden?

Soll er "nur" das Examen bestehen? Dann reicht eine Aufstellung der grammatikalischen Voraussetzungen zur korrekten Beantwortung der Fragen sowie die Bereitstellung von früheren Prüfungsaufgaben. Der Benutzer besteht bei gewissenhaftem Durcharbeiten des CBT's die Prüfung und alle sind zufrieden.

Hier stellt sich aber die Frage, ob eine wahrscheinlich billigere Buchversion das Problem adäquater lösen würde.

Fazit:

CBT's sind nur dann sinnvoll, wenn sie Buchversionen nicht kopieren. Sie sollen sich vorallem auf die Interaktion, die individuelle Benutzerorientierung, die schnellen und komfortablen Verweise und die Wiederverwertung/Transportierbarkeit in anderen Programms konzentrieren.

 

Literaturangabe