Testmanagement mit Xray

Heute möchte ich dir die App Xray vorstellen. Mit dieser App ist es möglich, Jira um ein komplettes Toolset für Testmanagement zu erweitern. Xray unterstützt manuelle und automatisierte Tests und ist sowohl für die On-Premise-Varianten Server und Data Center als auch für die Cloud verfügbar. Ich zeige dir hier die Cloud-Variante.

Wenn du die App installiert hast, musst du zunächst die App-Einstellungen ändern beziehungsweise prüfen.

Hier kannst du beispielsweise festlegen, wie die einzelnen Testschritte angezeigt werden sollen. Auf den anderen Seiten hast du die Möglichkeit festzulegen, welche Testtypen oder Testumgebungen es gibt. Auf diese Einstellungen werde ich jedoch nicht weiter im Detail eingehen.

Wenn die allgemeine Konfiguration abgeschlossen ist, musst du Xray für dein Projekt aktivieren. Dazu gehst du in die Projekteinstellungen und wählst dort im Menü Xray aus. Hier erscheint direkt die Meldung, dass die Xray-Vorgangstypen noch nicht zum Projekt hinzugefügt wurden. Dies kannst du durch einen Klick auf den Link automatisch erledigen lassen.

Anschließend kannst du hier weitere Einstellungen auf Projektebene vornehmen. Zum Beispiel lässt sich einstellen, welche Vorgangstypen durch Tests abgedeckt werden sollen oder welche Vorgangstypen für die Defekte zu verwenden sind.

Wurden diese Einstellungen vorgenommen, kannst du im Prinzip loslegen und Xray benutzen.

Wenn du jetzt einen Vorgang öffnest und dieser Vorgangstyp für die Testabdeckung aktiviert ist, dann wird dir die Testabdeckung direkt angezeigt. In diesem Fall ist diese Story noch nicht durch Tests abgedeckt.

Klickst du hier auf „Erstelle neuen Test“, dann öffnet sich die Maske zur Erstellung eines neuen Tests. Diese sieht genauso aus wie bei anderen Vorgängen auch. Hier ist als Vorgangstyp „Test“ ausgewählt und als Zusammenfassung „Test“ und der Name der Story.

Erstellst du jetzt den Test, wird dieser direkt in der Story angezeigt. Gleichzeitig kannst du sehen, ob der Test schon ausgeführt wurde und wie gegebenenfalls das Ergebnis war. Da wir den Test gerade erst angelegt haben, wurde dieser logischerweise noch nicht ausgeführt.

Hier kann ausgewählt werden, worauf sich die Testabdeckung beziehen soll: Also, ob sich diese auf die letzte Ausführung des Tests bezieht oder auf eine bestimmte Version oder auf einen bestimmten Testplan. Auf die Testpläne komme ich im weiteren Verlauf noch zu sprechen. Jetzt geht es erstmal darum, den Test im Detail anzuschauen.

Ein Test in Xray besteht aus mehreren Abschnitten. Im ersten Abschnitt lassen sich die einzelnen Testschritte definieren. Hierfür gibt es drei Möglichkeiten: Über den „Erstellen“-Button öffnet sich direkt im Vorgang eine Maske, um einen Testschritt hinzuzufügen. Dieser Test wurde als „manuell“ definiert. Dabei muss die Aktion angegeben werden. Darüber hinaus kann hinzugefügt werden, welche Daten einzugeben sind und welches Ergebnis erwartet wird.

Klickst du anschließend auf „Erstellen“, wird die Maske geschlossen und der gerade erstellte Testschritt angezeigt. Hier lassen sich beliebig viele weitere Testschritte hinterlegen. Wurden mehrere Schritte angelegt, kann die Reihenfolge dieser Schritte per Drag-and-Drop verändert werden.

Neben dem Erstellen beziehungsweise Bearbeiten der Testschritte direkt im Vorgang, kann dies auch in einem extra Dialog erfolgen. Hierfür musst du oberhalb der Schritte nur auf „Dialog bearbeiten“ klicken. Dann öffnet sich eine neue Maske: Hier siehst du eine übersichtliche Darstellung der bestehenden Testschritte. Weitere Schritte lassen sich einfach unten über die Liste importieren.

Die dritte Möglichkeit, die nicht unerwähnt bleiben sollte, ist der Import. Diesen findest du auch im Dialog. Dort stehen verschiedene Formate zur Auswahl, wie zum Beispiel JSON oder csv. Zudem kannst du die Testschritte hier exportieren.

Im nächsten Abschnitt geht es um die Vorbedingungen. Diese Bedingungen müssen erfüllt sein, bevor ein Test durchgeführt werden kann. Ein Beispiel für eine solche Bedingung ist, dass der Benutzer bereits eingeloggt sein muss. Ein großer Vorteil der Vorbedingungen: Du kannst diese in verschiedenen Tests verwenden und musst sie nicht jedes Mal neu erfassen. Zudem besteht hier die Möglichkeit, entweder eine neue Vorbedingung zu erstellen oder eine bestehende Vorbedingung zu verknüpfen. Ich habe eine neue Vorbedingung erstellt und mit dem Test verknüpft.

Die Vorbedingungen sind recht übersichtlich. Lediglich bei den Details ist anzugeben, welche Vorbedingung genau erfüllt sein muss.
Außerdem werden hier alle verknüpften Tests angezeigt und du kannst von hier aus Tests mit der Vorbedingung verknüpfen.

Im nächsten Abschnitt geht es um die Testsets. Diese dienen dazu, mehrere Tests in einem Testset zusammenzufassen. So lassen sich beispielsweise fachlich zusammengehörige Tests gruppieren. An anderen Stellen kann einfach dieses Testset mit einer Anforderung oder einem Testplan verknüpft werden, anstatt alle Tests einzeln zu verknüpfen.

Auch hier kann entweder ein neues Testset erstellt oder der Test zu einem bestehenden Testset hinzugefügt werden.

Nun folgen die Testpläne. Mit diesen lässt sich die Testausführung genauer planen: Es besteht die Möglichkeit, festzulegen, welche Tests in diesem Testplan zu berücksichtigen sind. Des Weiteren kannst du hier auch die Testausführungen hinzufügen.

Bei einer Testausführung handelt es sich um die konkrete Ausführung eines Tests. Wenn du die Testausführung an dieser Stelle startest, kannst du diese entweder mit allen oder nur mit Tests mit einem bestimmten Status durchlaufen lassen. Letzteres ist zum Beispiel dann hilfreich, wenn du in einem zweiten Durchlauf nur noch die Tests ausführen möchtest, die im ersten Durchlauf fehlgeschlagen sind.

Wenn du dich für eine Variante entschieden hast, kannst du – so weit im Projekt konfiguriert – hier noch eine Version und gegebenenfalls eine Testumgebung auswählen, in der du diesen Testplan ausführen möchtest.

Wählst du „Gehen Sie zur Testausführung“ aus, wirst du direkt zur Testausführung weitergeleitet, sofern diese erstellt wurde.

Hier kannst du einen Test über das Drei-Punkte-Menü zum Beispiel einem Benutzer zuweisen, ihn löschen oder archivieren.

Über den Pfeil kannst du die Ausführung starten. So gelangst du zu einem neuen Fenster. Ganz oben findest du den übergreifenden Status des Tests. Dieser steht jetzt auf „TO DO“. Darunter findest du eine Übersicht für Kommentare, gefundene Fehler und Nachweise der Ausführung.

Danach folgen die Details zum Test mit der Beschreibung, verknüpfte Vorgänge und mehr. Ganz unten folgen dann die Testschritte. Hier kann für jeden Testschritt das Ergebnis festgehalten, ergänzende Kommentare eingetragen und Fehler erstellt oder Nachweise hinterlegt werden. Unter „Zustand des Schritts“ legst du fest, ob die Durchführung erfolgreich war oder nicht.

Setzt du beispielsweise beim ersten Schritt das Ergebnis auf „Passed“, indem du auf das grüne Viereck klickst, wird die Testausführung für den ganzen Test auf gelb (Executing) umgesetzt. Der dritte Schritt ist auf „Failed“ gesetzt, um einen Defekt zu erfassen. Dieser wird jetzt bei dem Testschritt angezeigt. Die Details werden automatisch in die Beschreibung übernommen.

Zusätzlich wird damit die gesamte Testausführung auf „Fehlgeschlagen“ umgesetzt. Jetzt wird in der Story das Ergebnis als „Nicht Ok“ angezeigt.

Ich erstelle jetzt noch eine neue Testausführung und setze alle Testschritte auf „erfolgreich durchgeführt“. Somit wird das Gesamtergebnis als „erfolgreich abgeschlossen“ anerkannt. Dies wird auch in der Story entsprechend angezeigt.

Jetzt weißt du grundsätzlich, wie das Testmanagement mit Xray funktioniert.

Xray bietet noch ein paar zusätzliche Features, die du links im Menü unter „Testing Board“ findest.

Neben dem Testplan-Board, auf dem du eine Übersicht über deine Testpläne sowie deren Ergebnisse siehst, ist das Test-Repository. Hier kannst du deine Tests noch weiter strukturieren und in einer Ordnerstruktur ablegen.

Außerdem findest du hier eine Reihe von Berichten, mit denen du deine Tests beziehungsweise deren Ausführungen noch weiter auswerten kannst.
In der folgenden Liste findest du beispielsweise eine Übersicht über alle Testläufe, deren Ergebnis, wer sie wann gestartet und beendet hat und ob dort Fehler gefunden wurden.