Podsumowanie zawodów testerskich - TestingCup 2018

Podsumowanie zawodów testerskich - TestingCup 2018
Komisja zawodów TestingCup 2018 opublikowała swoje podsumowanie, aplikację MrBuggy, listę oraz przykładowe defekty.

Pod adresem http://mrbuggy.pl/mrbuggy6/ znajdziecie testowaną aplikację, listę defektów oraz 3 przykładowe raporty.

Ocena członków Komisji tegorocznej aplikacji jest zbliżona do tego, co dotarło do naszej Redakcji. Komisja pisze: "Entuzjastyczne oceny samego MrBuggy bardzo nas cieszą, ale usłyszeliśmy też ciekawe głosy zestawiające wersję 5 i 6 aplikacji. “Piątka” była skomplikowana, bardzo trudna do zrozumienia, a co dopiero do przetestowania, przez to odzwierciedlała naturalne środowisko każdego testera. “Szóstka” była w sam raz. Szybko można było się zorientować czym jest i do czego służy oraz w ciągu 3 godzin sprawdzić wszystkie funkcje."

W podsumowaniu na pewno zaskakuje liczba samych zgłoszeń: "Łatwość aplikacji i jej duża liczba zaszytych błędów przełożyła się na rekordową liczbę zgłoszeń - było ich ponad 2300. I to pomimo (albo dzięki) braku specyfikacji wymagań. Tym samym został pobity rekord z poprzedniego roku, gdzie raportowanie nie-defektów nie było karane. W 2017 r. nie-defekty stanowiły około 30% wszystkich zgłoszeń, w 2018 było to niecałe 10% zgłoszeń."

Komisja pisze dalej: "Przed zawodami znaliśmy 41 defektów, a Wam udało się znaleźć 48 kolejnych."

Znaczącą zmianą w tym roku było postawienie na testowanie eksploracyjne; do mniejszych można zaliczyć udostępnienie szablonów dokumentacji i tu ciekawe ciekawostka: "Zaeksperymotowaliśmy w tym roku z wzorcowymi dokumentami raportu, które zostały dostarczone wraz z aplikacją, co zostało bardzo pozytywnie przez Was odebrane w podsumowaniach. Co dziwne po raz pierwszy żadna drużyna nie zdobyła kompletu punktów (35 pkt) za raport. Może to wynikać ze specyfiki raportowania w testowaniu eksploracyjnym, które w tym roku pojawiło się po raz pierwszy w historii naszej imprezy."

Komisja przypomina również, co przyczyniło się do uzyskania dobrego rezultatu. Decyzje podjęte przez najlepszych zawodników i drużyny będą zapewne cenną wskazówką przed edycją 2019:

"Większa koncentracja na zgłoszeniach defektów, a nie pisaniu raportów; ze względu na dużą liczbę poważnych defektów raporty odgrywały drugoplanową rolę, nie koncentrowanie się na prostych defektach formularzy, ale analizowanie logiki aplikacji; to tam były najwyżej oceniane defekty szerokie opisywanie “kontrowersyjnych” defektów; czasami w testowaniu eksploracyjnym trzeba nie tylko pokazać problem, ale jeszcze uzasadnić dlaczego to jest defekt, zrezygnowanie z raportowania zgłoszeń, które nie można jednoznacznie określić jako defekt i gdzie ciężko określić czy tak to powinno działać."

 

No i na koniec liczby, które robią olbrzymie wrażenie jeśli chodzi o zakres pracy do wykonania:

75 drużyn, 26 zawodników indywidualnych (w tym 1 nieobecny).

 

Liczba zgłoszeń w poszczególnych kategoriach (po ocenie Komisji):

  • 118 sugestii (za 0 punktów)
  • 289 duplikatów (za 0 punktów)
  • 39 niezrozumiałych (za 0 punktów)
  • 209 nie-defektów (za -5 punktów)
  • 114 niereprodukowalnych (za 0 punktów)
  • 9 literówek (za 0 punktów)
  • 240 problemów językowych / użyteczności / UX (za 1 punkt)
  • 3 defekty komunikatów błędów (za 3 punkty)
  • 715 zgłoszeń bezpieczeństwa / defektów w mało krytycznym obszarze funkcjonalnym (za 5 punkty)
  • 490 błędów funkcjonalnych (za 7 punkty)
  • 105 defektów krytyczny błąd funkcjonalny (za 10 punktów).

 

Więcej na stronie http://blog.testingcup.pl/summary-of-the-work-of-the-referee-commission/

 

To powinno Cię zainteresować