テストの実行と TestRail へのレポート

インポート/エクスポートが完了したら、テスト スイートを実行し、その結果を TestRail にリアルタイムでレポートできます。Ranorex Studio からテストを実行することも、CI ツールを使用することもできます。いずれの場合でも、TestRail での結果は同じです。唯一の違いは、テストの開始方法です。

Ranorex Studio からの実行

TestRail run ボタンをクリックします。Launch test run 画面が表示されます。
実行したい、TestRail と接続しているプロジェクトを選択します。
結果のレポート先として、⇢ 新しい test run または ⇢ 既存の test run を選択します。
新しい test run の場合には、名前を入力します。既存の test run の場合には、リストから選択します。
Run and report results to TestRail をクリックし、test run を起動します。

CI ツールからの実行

TestRail run ボタンをクリックします。Launch test run 画面が表示されます。
実行したい、TestRail と接続しているプロジェクトを選択します。
結果のレポート先として、⇢ 新しい test run または ⇢ 既存の test run を選択します。
新しい test run の場合には、名前を入力します。既存の test run の場合には、リストから選択します。
画面下部に表示されているコマンド文字列の右横にある、緑色のコピーボタンをクリックし、コマンド文字列をクリップボードにコピーします。手動でのコピー&ペーストはおこなわないでください。パスワードが正しくコピーされません。
CI ツールの適切な場所に、コピーしたコマンド文字列をペーストします。必要に応じて、⇢ 追加の引数 を指定してください。

いずれの実行方法の場合でも、テストは現在選択中の TestRun にしたがって実行されます。テスト ケースが TestRail に接続されているかには依存しません。

TestRail へのレポート

Ranorex Studio がテストの実行を開始すると、その結果が TestRail の test run でリアルタイムでレポートされます。Ranoerx レポートは、選択中の TestRun についてのすべての結果を常に表示します。

新しい test run へのレポート

Ranorex Studio は、現在の TestRun の一部であり、かつ、TestRail にリンクされているテスト ケースの結果のみをレポートします。他のテスト ケースは、TestRail にレポートされません。

既存の test run へのレポート

Ranorex Studio は、現在の TestRun の一部であり、かつ、既存の TestRail run に対応するテスト ケースの結果のみをレポートします。他のテスト ケースは、TestRail にレポートされません。Ranorex レポートには、TestRail 中に対応するテスト ケースがないというメッセージが記録されます。

イテレーション

原則的に、イテレーションを含むテスト ケースの結果は、Ranorex レポートと同じ様に表示されます。つまり、すべてのイテレーションが成功するとケースは成功として、いずれかのイテレーションが失敗するとケースは失敗として、TestRail に表示されます。ただし、各イテレーションについての正否情報は、TestRail のケースの Results & Comments セクションに表示されます。

ブロックされたテスト ケース

Ranorex レポートでは、Blocked は常に、テストが実行されなかったことを意味します。しかし、TestRail においては異なり、”テストされていない (untested)” とレポートされます