Porównanie narzędzi open source w zarządzaniu testowaniem. Część 3.

Zapraszamy do lektury porównania open-source'owych narzędzi zarządzania testowaniem.

 

Rozdział 3

3. Darmowe narzędzia open source - porównanie i analiza

3.1 Teoria zarządzania jako punkt porównania narzędzi do zarządzania testowaniem

W niniejszej pracy zostaną zestawione darmowe narzędzia open source, które służą do zarządzania testowaniem. Celem tego zestawienia jest wybranie optymalnego narzędzia dla zespołów projektowych. Jako, że mowa o zarządzaniu testowaniem, punktem odniesienia dla danego zestawienia będzie teoria zarządzania. Jedna z najpopularniejszych definicji Griffina R. W. mówi  że:

„Zarządzanie jest zbiorem działań które obejmuje planowanie, organizowanie, przewodzenie (zarządzanie personelem), kontrolowanie, które są skierowane na zasoby organizacji w celu osiągnięcia zamierzonego wyniku w sposób sprawny i skuteczny”.

Dla porównania chciałbym odnieść się do tych czterech działań, które są nakierowane na zasoby organizacji i według nich dokonać oceny na tle definicji zarządzania. Poprzez planowanie testów można rozumieć możliwość zaplanowania jakie testy zostaną przeprowadzone danego dnia, możliwość przygotowania zestawów testu. Poprzez organizowanie w zarządzaniu testowaniem można rozumieć możliwość przypisania zasobów (np. ludzkich) do określonych testów, możliwość przypisania odpowiednich uprawnień dla użytkowników. Poprzez przewodzenie (motywowanie personelu) można rozumieć  ułatwienie osobom zarządzającym kontakt z personelem. Poprzez kontrolowanie można będzie rozumieć możliwość tworzenia raportów, diagramów przedstawiających postępy w pracy oraz statystyk które będą przedstawiać ilość wykonanych testów. Ponadto, zostanie porównany support dla danego narzędzia, kompatybilność z systemami operacyjnymi oraz plusy i minusy narzędzia.

 

3.2 Porównanie darmowych narzędzi open source do zarządzania testowaniem

Porównanie narzędzi testowych w perspektywie definicji zarządzania przedstawia poniższa tabela.

 

  Planowanie Organizowanie Przewodzenie Kontrolowanie
TestLink X X   X
Test Arena X X X X
Tarantula X X   X
Testopia   X    
QA Manager X X   X
RADI        

 

Tabela 1: Porównanie narzędzi testowych w kontekście definicji zarządzania.

Źródło: Opracowanie własne.

 

Poniżej w tabeli 2, zestawiono rozszerzone informacje wynikające z tabeli 1.

 

  TestLink Test Arena Tarantula Testopia QA Manager RADI
Administrowanie X X X   X X
Tworzenie Przypadków testowych X X X   X  
Tworzenie zestawów testowych X X X   X  
Realizacja Przypadków testowych X X X X X X
Możliwość nadawania uprawnień X X X X X  
Możliwość przypisywania przypadków testowych X X X X X  
Komunikacja z zespołem   X        
Tworzenie raportów okresowych X X X   X  
Wykresy i statystyki X X X      
SUMA 8 9 8 3 7 2

 

Tabela 2. Porównanie darmowych narzędzi open source pod względem funkcjonalności.

Źródło: Opracowanie własne.

 

Według informacji zawartych w drugim rozdziale można wywnioskować, iż możliwość planowania testów możliwe jest przy użyciu narzędzi takich jak TestLink, Test Arena, Tarantula oraz QA Manager. W wyżej wymienionych narzędziach istnieje możliwość zaplanowania działań, które zostaną wykonane we wcześniej ustalonej kolejności, jak również przygotować przypadki testowe, które w późniejszym terminie zostaną wykonane. Możliwości zaplanowania testów nie oferują Testopia oraz RADI. Testopia jest zaledwie rozszerzeniem dla innego narzędzia, służy ono do śledzenia wykonywanych przypadków testowych oraz integrowania zgłoszonych defektów wraz wykonanymi przypadkami testowymi. W RADI niestety nie można tworzyć przypadków testowych, zaledwie obsługuje wcześniej przygotowane konfiguracje testów.

Prawie we wszystkich narzędziach istnieje możliwość organizowania pracy, czyli tworzenie kont użytkowników, przypisywanie uprawnień, przypisywanie użytkowników do przypadków testowych. W Tarantula Agile Test Management Tool istnieje również możliwość tagowania i tzw. smart tagowania przypadków testowych do efektywniejszego testowania agile. Wyjątkiem jest tutaj RADI, w tym narzędziu wszelkie operacje można wykonać, wykorzystując jedynie login i hasło. W RADI nie istnieje możliwość przypisania uprawnień użytkownikom.

Przewodzenie w kontekście zarządzania jest rozumiane jako motywowanie pracowników. W przypadku zespołów projektowych można przewodzić na kilka różnych sposobów. Najczęstszymi sposobami są spotkania zespołu w biurze, lub poprzez rozmowy głosowe (jeśli zespół jest rozproszony, lub ma możliwość pracy zdalnej). W przypadku drugiego sposobu przewodzenia, często wykorzystywane są odrębne narzędzia do komunikacji. Do najbardziej popularnych tego typu narzędzi można zaliczyć Microsoft Skype oraz Google Hangout. Test Arena jest jedynym narzędziem do zarządzania testowaniem, które ma wbudowany komunikator, w związku z tym otrzymał punkt w dziedzinie przewodzenia.

Poprzez kontrolowanie w testowaniu można rozumieć śledzenie postępów pracy testerów. Narzędzia, które uzyskały punkt w kontekście kontrolowania testowania, mają możliwość ogólnego przeglądu cyklu życia projektu w różnych ramach czasowych. Jak również pobrać statystki pracy dla poszczególnych zespołów i pracowników. 

 

  Rodzaj oprogramowania System operacyjny Plusy Minusy
TestLink Webowe Windows, brak informacji o innych systemach Łatwy w obsłudze Brak wyboru jakie dane mają znaleźć w raporcie
Test Arena Webowe Windows, brak informacji o innych systemach Jako jedyny ma wbudowany komunikator, intuicyjny interface Nadal w fazie produkcji, brak informacji o oficjalnej premierze
Tarantula Webowe Windows, brak informacji o innych systemach Pomocny przy testowaniu Agile, który jest coraz bardziej popularny Brak integracji z Mantis, który również jest oprogramowaniem darmowym
Testopia Webowe Windows, brak informacji o innych systemach Nie wymagania tworzenia dodatkowych użytkowników Wymaga innego oprogramowania
QA Manager Stand-alone Windows, brak informacji o innych systemach Jest odrębnym narzędziem Brak wsparcia ze strony developerów. Ostatnia wersja pochodzi z 2008 roku
RADI Stand-alone Tylko Linux Wszystkie operacje można wykonać posiadając jedynie login i hasło Linux nie jest zbyt popularny. Brak możliwości tworzenia przypadków testowych. Słabe zabezpieczenia.

 

Tabela 3: Porównanie narzędzi do zarządzania testowaniem.

Źródło: Opracowanie własne.

 

Podsumowanie

Powyższe zestawienie przedstawia jedynie porównanie sześciu narzędzi. Samych narzędzi open source jest bardzo dużo. Porównanie oraz ocena narzędzi są jak najbardziej obiektywne, poparte źródłami powszechnie dostępnymi w sieci Internet. Według analizy przeprowadzonej w ostatnim rozdziale, można wywnioskować, iż Test Arena wypada najlepiej. Wprawdzie jest to narzędzie, które  jest nadal  w fazie produkcji, chociaż według zamierzeń developerów będzie ono zawierało wszystkie te elementy, które są niezbędne do sprawnego zarządzania testowaniem. Największym atutem odróżniającym go od innych tego typu oprogramowań jest wbudowany komunikator. Zespoły projektowe muszą korzystać z innych odrębnych narzędzi w celu komunikacji, za które płacą niemałe pieniądze. W Test Arena komunikator jest dostępny za darmo, co za tym idzie, projekt oszczędza. Dochodzi do tego bardzo prosty interfejs który jest przyjazny dla użytkownika. Ponadto jest pisany w języku polskim. Jednak oprogramowanie jest nadal w fazie produkcji,  firmy nie będą utrzymywać swoich projektów na wersji demonstracyjnej. Inaczej sytuacja wygląda w przypadku narzędzia TestLink. Oprogramowanie jest nadal wspierane przez developerów i tworzone są coraz nowsze wersje. Posiada prosty dla użytkownika interfejs i  wszystkie wymagane funkcje i komponenty, wspomagające osoby decyzyjne w zarządzaniu testowaniem.

Pozostałe narzędzia open source uplasowały się w zestawieniu na dalszych miejscach, lecz nie oznacza to, że są one gorsze od innych. Narzędzia open source zazwyczaj używane są do wykonywania określonych funkcji, nie posiadają bogatego wachlarzu funkcjonalności, który byłby "do wszystkiego" zespoły projektowe mogą zatrudniać programistów, którzy przeprogramują dane narzędzie w taki sposób, by odpowiadało idealnie zapotrzebowaniu zespołu. 

Podsumowując, każde narzędzie spełnia swoją funkcję do zarządzania testowaniem. Są bardziej przydatne lub mniej. Trudno byłoby odpowiedzieć na pytanie, które z nich  jest najlepsze. Osoby decyzyjne przed rozpoczęciem projektu powinny zdefiniować, jakie będą zapotrzebowania wobec narzędzi podczas zarządzania testowaniem. Definiując je, znalezienie odpowiedniego,  które spełniałoby oczekiwania, nie powinno stanowić problemu.

 

 

Bibliografia

Publikacje książkowe:

  1. A. Roman, Testowanie i Jakość Oprogramowania, PWN, Warszawa 2015
  2. D. Srinivasan, R. Gopalaswamy, Software Testing - Principles and Practices, Dorling Kindersley, Indie 2009
  3. Zarządzanie Ryzykiem: Przewodnik dla praktyków, Crown Copyright, Londyn 2007
  4. V. Shinde, Software Testing Career Package, Software Testing Help, http://www.softwaretestinghelp.com/, z dnia 13.12.2016, 17:45
  5. R. W. Griffin, Podstawy Zarządzania Organizacjami, PWN, Warszawa 2017.

 

Artyuły:

  1. Sylabus ISTQB Foundation Level, http://sjsi.org/ist-qb/do-pobrania/, pobranednia 15.09.2016, 12:43
  2. Portal www.informatykawfirmie.pl, art. "Oprogramowanie Open Source: Czy zawsze jest darmowe?", 16.03.2014, http://informatykawfirmie.pl/systemy-informatyczne/21-oprogramowanie-open-source-, z dnia 20.01.2017, 18:27
  3. Working Flow on OpensourceTestlink, https://wiki.openoffice.org/w/images/1/1b/Testlink_user_manual.pdf, z dn. 19.11.2016, 15:03

 

Strony Internetowe:

  1. http://testlink.org/
  2. http://testarena.pl/
  3. http://www.testiatarantula.com/
  4. https://developer.mozilla.org/en-US/docs/Mozilla/Bugzilla/Testopia
  5. http://qamanager.sourceforge.net/site/en/
  6. http://radi-testdir.sourceforge.net/Radi_Home.html 

 

Spis rysunków:

  1. Rysunek 1. Główne menu aplikacji TestLink, s. 12
  2. Rysunek 2. Główne menu narzędzia Test Arena, s. 14
  3. Rysunek 3. Główne menu narzędzia Tarantula Agile Test Management Tool, s. 16
  4. Rysunek 4. Główne menu narzędzia Bugzilla, z wbudowanym dodatkiem Testopia, s. 17
  5. Rysunek 5. Test Cycle Management w aplikacji qaManager, s. 18
  6. Rysunek 6. Główne menu narzędzia RADI, s. 20

 

Spis tabel:

  1. Tabela 1: Porównanie narzędzi testowych w kontekście definicji zarządzania, s. 21
  2. Tabela 2. Porównanie darmowych narzędzi open source pod względem funkcjonalności, s. 22
  3. Tabela 3: Porównanie narzędzi do zarządzania testowaniem, s. 24

 

Autor: Marcin Podsiadły
 
 
 
 
SPRAWDŹ TAKŻE

 

 

 

 

Najbliższe terminy szkoleń

 

15-16 stycznia - Wrocław

Automatyzacja testowania


22-24 stycznia - Poznań

ISTQB Poziom Podstawowy (Foundation Level)


25-26 stycznia - Wrocław

Dobry Przypadek Testowy - Laboratorium


26 stycznia - Katowice

Java dla testerów oprogramowania

 

Partnerzy

Narzędzia testerskie