Oceny użyteczności i oceny techniczne

W zakresie oceny oprogramowania wyróżnia się dwa zasadnicze rodzaje ocen (Sikorski M.,1997):

• ocenę jakości konstrukcyjnej
• ocenę jakości użytkowej

Ocena jakości konstrukcyjnej uwzględnia przede wszystkim aspekty techniczne oprogramowania, takie jak niezawodność, łatwość konserwacji, użyteczność, efektywność itp. (Jaszkiewicz A., 1997; ISO 9126 za: Sikorski M., 1997).

Ocena jakości użytkowej w większym stopniu uwzględnia kontekst użytkownika, tzn. te uwarunkowania pochodzące ze strony użytkownika, które mają wpływ na interakcję z oprogramowaniem. Dlatego w ocenie tej większą wagę przywiązuje się do preferencji, przyzwyczajeń, doświadczenia, wiedzy i wszystkich odczuć użytkownika oprogramowania. I dlatego ta ocena jest głównym przedmiotem badań ergonomistów i psychologów pracy zajmujących się jakością oprogramowania i ocena relacji człowiek - komputer. Można jednak dokonywać ocen jakości bez udziału użytkowników, ale z uwzględnieniem ich hipotetycznego występowania. Oto kilka przykładów takich ocen.

Oceny bez udziału użytkowników

Oceny oprogramowania bez udziału użytkowników są ocenami tańszymi i częściej wykorzystywanymi na etapie ich tworzenia i projektowania. Ten rodzaj ocen jest również przydatny w sytuacjach gdy pojawia się nowy rodzaj oprogramowania, dla którego nie można znaleźć doświadczonych użytkowników. Lewis i Rieman (1994) opisują trzy rodzaje oceny interfejsu bez udziału użytkowników: wędrówkę myśli, analizę czynności i ocenę heurystyczną.

„Wędrówka myśli”

Technika wędrówki myśli zakłada wczucie się przez osobę oceniającą w sytuację użytkownika i wykonywanie czynności na bazie zakładanej wiedzy użytkownika i informacji wychodzących z systemu. Wszystkie trudności w racjonalnym dojściu do osiągnięcia celu (skutecznym wykonaniu pojedynczego zadania) wskazują na błędy w interfejsie. Zakłada się, że „wędrówka myśli” jest przeznaczona głównie do budowy i projektowania interfejsu, a w mniejszym stopniu do jego oceny.

Analiza czynności - formalna i nieformalna analiza działań

Analizy czynności można dokonywać na podstawie zbierania różnych rodzajów informacji, za pomocą formalnej i nieformalnej analizy czynności.

Formalna analiza działań polega na przeanalizowaniu wszystkich potrzebnych czynności do wykonania zadania i przeliczeniu ich samych lub czasów potrzebnych na ich wykonanie. Średnie czasy dla poszczególnych czynności w pracy z komputerem zostały wyszczególnione w wielu badaniach z rzeczywistymi użytkownikami. Dla przykładu poniższa Tabela przedstawia przybliżone czasy dla wybranych czynności manualnych, percepcyjnych i procesów umysłowych (J.R. Olson; G.M. Olson, 1990)

Tabela 1. Przeciętne czasy  czynności i procesów przy obsłudze interfejsu komputerowego

(za: Lewis i Rieman , 1994)

Nieformalna analiza postępowania również polega na wyliczeniu wszystkich koniecznych czynności ale w aspekcie możliwości i przydatności systemu. Potwierdzenia wniosków z tej techniki może przynieść rejestracja czynności użytkowników.

Ocena heurystyczna

Technika ta polega na samodzielnej ocenie interfejsu przez kilka lub kilkanaście osób z uwzględnieniem wyznaczonych wcześniej schematów postępowania. Następnie wszystkie uwagi i wątpliwości od wszystkich osób oceniających są łączone w jedną listę problemów. Ilość i rodzaj znalezionych trudności zależy od ilości osób oceniających, wiedzy szczegółowej osób oceniających (np. w zakresie konkretnego rodzaju interfejsu) i „jakości” zaleceń. Do najczęściej występujących  heurystyk należą m.in. (Nielsen i Molich , 1990 za: Lewis, Rieman,1994; Nielsen 1994):

• Sprzężenie zwrotne (na każdą czynność powinna występować reakcja lub informacja systemu)
• Dostępność (zapewnienie narzędzi i informacji wg potrzeb użytkownika)
• Prosty i naturalny dialog (prosty dialog wg kolejności wykonywanych czynności)
• Zastosowanie języka użytkownika (zastosowanie języka, symboli ze środowiska użytkownika)
• Zmniejszenie obciążenia pamięci krótkotrwałej (brak konieczności zapamiętywania wielu informacji)
• Potwierdzenie działań (informacja o efekcie działań)
• Dobrze oznaczone wyjścia (łatwość wyjścia z części nie potrzebnych do realizacji zadań)
• Możliwość pracy „na skróty”(możliwość automatycznego wydawania poleceń, bez rozbudowanego dialogu)
• Eliminacja błędów (minimalizacja koniecznych błędów do minimum)

Badania Nielsena (1994b) pokazują, że liczba wykrytych problemów nie jest wprost proporcjonalna ani do liczby osób oceniających, ani do liczby zakładanych przed oceną zasad. Do wykrycia 75% wad i trudności wystarczy 5-ciu dobrze przeszkolonych osób oceniających. Zmniejsza to zarówno czas i koszty oceny.

Oceny z udziałem użytkowników

Techniki oceny systemów komputerowych z udziałem użytkowników są bardziej pracochłonne - wymagają doboru reprezentatywnej grupy użytkowników, wyboru typowych zadań oraz zorganizowania eksperymentu umożliwiającego rejestrację potrzebnych parametrów pracy z oprogramowaniem.

Wytypowanie grupy użytkowników jest prostsze w przypadku specjalistycznych programów dla określonej grupy zawodowej (np. dla lekarzy, dentystów, kontrolerów ruchu lotniczego itp.). Programy ogólnoużytkowe, takie jak edytory tekstów, programy graficzne czy bazy danych - mają bardzo szeroką grupę potencjalnych odbiorców - od studentów, przez wszystkie zawody administracyjne, po specjalistów w wąskich dziedzinach naukowych - wszystkich tych, którzy piszą, zbierają dane, rysują itd. Przy tego typu oprogramowaniach wskazane jest skategoryzowanie grupy i wyznaczenie typowych zadań dla każdej oddzielnie.

Zbieranie danych o procesie i danych podstawowych (pomiarowych)

Lewis i Rieman (1994) wyróżniają dwa rodzaje informacji  przydatnych do analizowania w trakcie prób z użytkownikami: dane podstawowe i dane o procesie. Podział ten jest przybliżonym odzwierciedleniem omawianej wcześniej formalnej i nieformalnej analizy czynności bez użytkowników. Dane podstawowe uzyskuje się na podstawie pomiarów (np. całkowitego czasu wykonania, czasu pojedynczych czynności, liczby popełnionych błędów, liczby posługiwania się określonymi obiektami). Dane o procesie to analiza postępowania i procesów poznawczych w trakcie pracy z komputerem.

Obydwa rodzaje informacji są przydatne przy ocenie oprogramowania, jednak wymagają one oddzielnych metod uzyskiwania. Zarówno pomiary czasów, jak i kolejne kroki dojścia do celu można analizować za pomocą  rejestracji wideo. Jednak aby poznać tok myślenia osób wykonujących zadania, potrzebna jest autorelacja z własnych działań, wątpliwości, pytań i wyborów. Lewis i Rieman (1994) zwracają uwagę na niebezpieczeństwo jednoczesnej analizy czasów wykonania z autorelacją, która może mieć wpływ na szybkość pracy, a tym samym zniekształcać wyniki czasowe. Autorzy zwracają uwagę, ze nie można nawet założyć, że wypowiadanie myśli w trakcie pracy z komputerem opóźnia wykonywanie zadań u wszystkich osób. U niektórych werbalizacja i zastanawianie się nad wykonywanymi czynnościami, ułatwia zrozumienie i może wpływać pozytywnie na rozwiązywanie zadań.

Bibliografia:

Jaszkiewicz A. (1997), Inżynieria oprogramowania, Helion.

Lewis C., Rieman J. (1994), Zadaniowe projektowanie komunikacji z użytkownikiem,

Nielsen J. (1994a), Ten Usability Heuristics,

W: http://www.useit.com/papers/heuristic/heuristic_list.html

Nielsen J. (1994b), How to Conduct a Heuristic Evaluation,

W: http://www.useit.com/papers/heuristic/heuristic_evaluation.html

Sikorski M. (1997), Ocena jakości użytkowej oprogramowania wspomagającego zarządzanie przedsiębiorstwem. W: Interakcja człowiek – komputer ’97 w rekonstrukcji i modelowaniu procesów gospodarczych oraz tworzeniu zintegrowanych systemów informacyjnych.