デプロイのたびに動くテストと、自動で登録されるバグ

自分たちで書くことを妨げるものはありません。QA Spiderが書くのは、お客様のチームでも書ける標準的なテストコードです。違いは、誰が作業するかです。テストの下書き、デプロイのたびの実行、UIが変わったときのロケーターの修復、バグの登録をQA Spiderが行います。エンジニアは結果をレビューします。

溢れません。すべての失敗は、まずトリアージを通ります。不安定なテストは修復され、インフラの一時的な不調は再試行され、確認されたプロダクトのバグだけがチケットになります。登録にはお客様の承認が必要で、各チケットは重複が確認されます。

デザインの刷新でロケーターが壊れた場合は、クモがテストを修復して記録します。挙動が退行した場合は、テストを黙って書き換えて緑に保つのではなく、バグを登録します。

クモには、ステージング用のテスト用アカウントを渡していただきます。クモはそこでサインインし、テスト用カードで決済し、フォームを送信します。データを変更するフローは開発環境とステージングでのみ実行し、本番では読み取り専用のチェックだけを行います。

テストには不要です。クモは、ユーザーがアプリに接するのと同じ方法でテストします。任意で、読み取り専用のリポジトリを接続すると、失敗の際に原因となったファイルとコミットを特定できます。

本番での実行は、読み取り専用のスモークチェックに限られます。データの作成、編集、削除を伴うものは「変更あり」とタグ付けされ、開発環境かステージングでのみ実行されます。