AIが書いたテストは、「正しいことをテストしているか」
AIテスト実行ツールが生成・実行しているテストの品質を、Verification × Validationの2軸・6セルで診断し、ツール投資が品質に貢献しているかを判断材料として可視化します。
まだAIテスト実行ツールを導入しておらず、テスト設計そのものの質を診断したい方は → テスト設計の診断（65万円〜）をご覧ください。
課題
AIテスト実行ツールを入れたのに、こうなっていませんか？
AIテスト実行ツール（Mabl・Functionize・autify・TestIM等）を導入すると、テストの「実行」は速く・正確になります。しかし「何をテストすべきか」「そのテストが正しい観点か」はツールが判断してくれるわけではありません。ツールを導入した現場ほど、次のような状況が気づかれないまま広がっています。
Pattern 01
同語反復テスト（Tautological Testing）
「AIがコードを書いて、AIがテストを書いている。でも、なぜか品質問題は減らない」
AIが実装コードとテストコードを同時に生成すると、バグのある実装を「正しい動作」として転写するテストが生まれます。「ログインボタンをクリックすると、ログインが完了する」という仕様に対し、「ログインボタンをクリックしたとき、ログインが完了することを確認する」というテストは、仕様そのものの誤りを検出できません。AIが生成したテストが「仕様の言い換え」になっている場合、テストは動いているのに品質は上がらない状態が続きます。
Pattern 02
カバレッジ幻想（Coverage Illusion）
「コードカバレッジ100%なのに、本番でバグが出る。数字が信頼できなくなってきた」
高いコードカバレッジを達成していても、本番でバグが出るのが実情です。ここでの「カバレッジ」とは、多くの場合コードカバレッジ（コードの何行・何分岐を通過したか）を指します。これは「ユーザーが本当に使うシナリオを、必要な観点で網羅した率」ではありません。AIが大量のテストを生成しても、見るべきテスト観点が抜けていれば、コードを通過していても重大なバグは防げません。数字が高いことと、正しいことをテストしていることは別問題です。
Pattern 03
投資の妥当性が判断できない（Unaccountable Investment）
「ツールには投資した。でも、その投資が品質にどれだけ貢献しているかを経営に説明できない」
ツールの導入コストは明確でも、「そのツールが生成・実行しているテストが、本当に品質に貢献しているか」は別問題です。テストの観点品質を評価する仕組みがなければ、投資が妥当だったかどうかは感覚的な議論に留まります。
なぜ起きるのか
なぜAIテストでも品質が上がらないのか
根本には、「Verification（検証）」と「Validation（妥当性確認）」の混同があります。AIテスト実行ツールが得意なのは Verification（仕様通りに動くか）の自動化です。しかし Validation（ユーザーにとって本当に正しい動きか）は、AIが仕様書を読めても判断できません。仕様書に書かれていないユーザー価値の検証は、人間の設計判断が必要な領域です。
| 観点 | Verification | Validation |
|---|---|---|
| 問いかけ | 仕様通りに動くか？ | ユーザーにとって正しい動きか？ |
| 例 | 「ログイン処理が仕様書の手順通りか」 | 「ユーザーが混乱せずログインできるか」 |
| 見逃すバグ | ビジネス要件の誤り、UX問題 | 技術的な実装ミス |
| AIによる自動化 | 得意（仕様書ベースで機械的に実行できる） | 不得意（仕様書に書かれていない価値の判断が必要） |
AIテスト実行ツールでVerificationを自動化しても、Validationが設計されていなければ、品質保証は半分しか完成していません。
サービス概要
AIテスト実行ツールの質を診断する
AIテスト実行ツールを導入済みの企業向けに、ツールが生成・実行しているテストの品質を評価し、ツール投資が品質に貢献しているかを判断材料として可視化します。テスト設計の質を測る6セル評価に、AIテスト特有の評価軸を組み合わせて診断します。
| 項目 | AIテスト実行診断 |
|---|---|
| 想定シーン | AIテスト実行ツール導入済みで、品質・投資の妥当性に疑問がある |
| 価格 | 120万円（税抜） |
| 期間 | 標準1.5〜2ヶ月 |
| 成果物 | V&Vアセスメントレポート（12〜15p・エグゼクティブサマリー含む）+ コンテキスト設計ロードマップ |
| 評価軸 | 6セル評価（Verification×Validation・2軸×3観点）＋ コンテキスト品質・Tautological Testing診断・自律性スコープ |
フレームワーク
2軸 × 3観点・6セル ＋ AIテスト特有の評価軸
VerificationとValidationの2軸を、有効性・効率性・説明性の3観点で評価する6セル構造を土台に、AIテスト実行ツール特有の評価軸を加えて診断します。
6セルに加えて評価するAIテスト特有の軸
| 評価軸 | 評価する問い |
|---|---|
| コンテキスト品質 | AIに与えているインプット（仕様・コンテキスト）は、正しいテストを生む質か |
| Tautological Testing診断 | AIが生成したテストが「仕様の言い換え」になっていないか（サンプリング・採点） |
| 自律性スコープ | AIにどこまで任せ、どこから人間が判断すべきかの境界が適切に設計されているか |
各セルは25の評価要素に分解され、5つの分析アプローチ（不具合データ分析・テストケース分析・仕様突合・ドキュメントレビュー・ヒアリング）で評価します。
対象
こんな組織に向いています
AIテスト実行ツール（Mabl・Functionize・autify・TestIM・Katalon等）を導入済み
ツールは動いているが、品質問題が減った実感がない
AIが生成したテストの「観点の正しさ」を評価したい
カバレッジ数字は高いのに、本番バグが続いている
ツール投資が品質に貢献しているかを経営層に説明したい
AIにどこまでテストを任せ、どこから人間が見るべきかの線引きを整理したい
次のケースは対象外、または別パッケージが適しています ― まだAIテスト実行ツールを導入していない場合（→ テスト設計そのものを診断する テスト設計の診断 が最適です）／テスト実行そのものの代行・アウトソーシングをお求めの場合（当サービスはテストの観点品質の診断です）／テスト設計の改善策を自社内で既に定義・実行中の場合。
差別化
AI自動化ツールとbuboは競合しない
「AI自動化ツールを導入したのに、なぜ外部診断が必要なのか？」という声をいただきます。しかし、AI自動化ツールとbuboのV&Vアセスメントは、解決する問題が根本的に異なります。ツールは「速く・正確に実行する」ことを解決し、buboは「正しいことをテストしているか」を診断します。
| 問いかけ | AI自動化ツールが解決すること | buboが解決すること |
|---|---|---|
| テストの速度 | テスト実行を自動化し、人間より速く・正確に実行する | 解決しない（実行速度の問題ではない） |
| テストの量 | 仕様やコードから大量のテストケースを生成できる | 解決しない（量の問題ではない） |
| テストの方向性 | 解決しない（AIは「何をテストすべきか」を判断できない） | テスト設計の着眼点が正しいかを診断する |
| Tautological Testing | 解決しない（AIが仕様を言い換えたテストを生成する問題そのもの） | 発生しているか診断し、解消アクションを提示する |
| 投資の妥当性の可視化 | 解決しない（テスト設計の良し悪しの判断は人間が行う必要がある） | テストの観点品質を6セルでスコアリングし、ツール投資が品質に貢献しているかを判断材料として可視化する |
AI自動化ツールが「決めたテストを速く・正確に実行する」のに対し、buboのV&Vアセスメントは「正しいことをテストしているか」を診断します。「設計の質」と「実行の速度」が揃って、はじめて品質保証が完成します。
成果物
AIテスト実行診断の納品物（2点）
成果物 ①
V&Vアセスメントレポート（PDF・12〜15ページ前後）
テスト設計の現状を全要素でスコアリングし、AIテスト特有の評価軸（コンテキスト品質・Tautological Testing診断・自律性スコープ）を加えて、問題点・根拠・改善提言を一冊にまとめたレポート。冒頭のエグゼクティブサマリーは、役員報告・追加投資判断の場でそのまま使える構成です。
成果物 ②
コンテキスト設計ロードマップ（A4・2〜3枚）
AIに与えるインプット（仕様・コンテキスト）の質を高め、Tautological Testingを解消するための設計ロードマップ。診断後に自走で改善に着手できます。
レポート構成
| 構成要素 | 内容 |
|---|---|
| エグゼクティブサマリー | 6セルのレーダーチャート + 最重要課題 Top3 + ツール投資が品質に貢献しているかの評価。役員報告・追加投資判断にそのまま使える構成 |
| V要素別評価 / Val要素別評価 | Verification 3セル・Validation 3セル（設計段階評価 + 実績検証評価） |
| AIテスト実行ログ・生成テストの分析 | AIが何を実行したか・何を見落としたかの解析 |
| Tautological Testing診断 | サンプリング・採点結果 |
| コンテキスト・インプット評価 | AIに与えているインプットの質の評価 |
| 改善提言 | 優先度付き改善アクションリスト |
進め方
Phase 1〜3の工程（1.5〜2ヶ月）
診断はお客様の既存ドキュメント・AIツールのログとヒアリングをもとに行います。すべてが揃っている必要はありません。「揃っていない」こと自体も診断の発見事項になります。
お客様のご負担：約8〜10時間（1.5〜2ヶ月に分散）
PHASE 1
PHASE 2
PHASE 2b
PHASE 3
必要なインプット
| インプット | AIテスト実行診断 |
|---|---|
| テスト計画書・テスト設計書 | ○ |
| テストケース一覧（AIツール生成分を含む） | ○ |
| 仕様書・要件定義書 | ○ |
| トレーサビリティマトリクス | △（あれば） |
| 不具合一覧（バグ票） | ○ |
| AIテスト実行ログ・実行記録 | ○（Tautological Testing診断・コンテキスト評価に使用） |
| AIツールに与えているインプット（仕様・コンテキスト・プロンプト等） | ○（コンテキスト品質評価に使用） |
| 担当者ヒアリング（リーダー・設計者・ツール運用者 2〜3名） | ○ |
AIテスト実行診断は、テスト設計診断のインプットに加え、AIツールの実行ログ・生成テスト・与えているコンテキストが必要です。これらがAIテスト特有の評価軸（Tautological Testing診断・コンテキスト品質）の精度を左右します。抽出範囲はキックオフで合意します。
選ばれる理由
なぜbuboなのか
Validationまで評価する
AIが得意なVerificationだけでなく、AIには判断できないValidationまで6セルで評価します。
Tautological Testingを構造的に診断
「AIが仕様を言い換えただけのテスト」が発生していないかをサンプリング・採点で可視化します。
ツール投資の妥当性を経営に翻訳
レポート冒頭のエグゼクティブサマリーで、ツール投資が品質にどう貢献しているかを判断材料として可視化。技術的詳細を読まなくても追加投資判断に使えます。
AIに任せる範囲を設計する
自律性スコープの評価とコンテキスト設計ロードマップで、人間とAIの役割分担を整理します。
固定価格・明朗会計
大規模コンサルティングの包括的な品質改善と比べ、診断に範囲を絞ることで120万円という固定価格を実現。費用が事前に確定し、はじめの一歩を踏み出しやすい設計です。
料金・パッケージ
パッケージ内容と料金
1.5ヵ月〜2ヵ月で診断が完結します。追加費用は発生しません（税抜）。
AIテスト実行診断
120万円 （税抜）
対象: AIテスト実行ツール（Mabl / Functionize / autify等）導入済みで、品質・投資の妥当性に疑問がある
テスト設計診断の全内容に、AIテスト実行ツールに特化した追加診断・改善ロードマップを加えます。
- 6セル評価（設計段階評価 + 実績検証評価の全要素）
- 5つの分析アプローチ（不具合データ分析・テストケース分析・仕様突合・ドキュメントレビュー・ヒアリング）
- AIテスト実行ログ・生成テストの分析
- Tautological Testing診断（サンプリング・採点）
- コンテキスト・インプット評価
- V&Vアセスメントレポート（12〜15ページ・エグゼクティブサマリー含む）
- コンテキスト設計ロードマップ（A4・2〜3枚）
- 最終報告会（2時間）
テスト設計そのものの診断（テスト実行前の早期診断65万円／テスト実行後の総合診断95万円）は → テスト設計の診断 をご覧ください。テスト設計診断とAIテスト実行診断を両方受ける「ステップ展開」も可能です（合計215万円・ステップ展開割引は商談でご相談ください）。
選び方
AIテスト実行診断が最適か、確認する
AIテスト実行ツールを現在の開発・QAプロセスで稼働させていますか？ ―― この一点が分かれ目です。
ツールを稼働中で、品質・投資の妥当性に疑問がある
AIテスト実行診断（120万円）
ツールが生成・実行しているテストの品質を6セル + AIテスト特有軸で評価し、ツール投資の妥当性を可視化します。
まだ導入していない／検討中
テスト設計の診断（65万円〜）
まずはテスト設計そのものの土台を評価するのがおすすめです。設計の土台が固まった上でAIツールを評価する方が、AIテスト実行診断の精度も高くなります。
テスト設計診断を実施後、同一プロダクトでAIテスト実行診断に進む「ステップ展開」が最も効果的です。テスト設計診断の評価結果がAIテスト実行診断の入力として活用でき、診断精度が高まります。詳しくは → テスト設計の診断。
より詳しい方法論は冊子のPlaybookでお届けします
「そのAIテスト、何を元に観点を決めていますか？」——この問いに即答できないなら、Playbookをお読みください。
V&Vアセスメントの背景にある「VerificationとValidationの2軸でテスト設計を評価する」方法論を、冊子にまとめました。なぜAIテスト時代に2軸評価が必要なのか、6セルの評価がどのように機能するかの理解が深まります。
関連コラムもあわせてお読みください：Series E Vol.1 — AIテスト実行の質、どう見極めますか
よくある質問
FAQ
テスト実行を代行する会社とはどう違いますか？
テスト実行の代行・支援サービスは「テストを速く・正確に実行する」ことを担います。buboのV&Vアセスメントは「テスト設計・テストの観点の品質」を診断するサービスです。テスト実行を速く・正確にすること（実行代行・AIツール）と、テストの着眼点が正しいかを確認すること（bubo）は補完関係にあります。テスト実行の代行は当サービスの対象外です。
どのAIテスト実行ツールに対応していますか？
Mabl・Functionize・autify・TestIM・Katalon等の主要ツールに対応しています。対象ツールはキックオフで確認させてください。
テスト設計診断とAIテスト実行診断の両方を受けることはできますか？
可能です。テスト設計診断を実施後、同一プロダクトでAIテスト実行診断に進む「ステップ展開」が最も効果的です。テスト設計診断の評価結果がAIテスト実行診断の入力として活用でき、診断精度が高まります。価格は合計215万円（両パッケージ合算）ですが、ステップ展開割引については商談でご相談ください。
アセスメントの成果物に修正対応は含まれますか？
レポートは、顧客レビュー後に1回の修正対応を含みます。成果物の構成・評価結果の大幅な変更は含まれませんが、表現の修正・追加説明への対応は無償で行います。
診断後に改善の実行支援はお願いできますか？
V&Vアセスメントは「現在地の把握と改善の優先順位確定」を目的とするサービスです。コンテキスト設計ロードマップを納品するため多くの企業は診断後に自走できますが、実行支援が必要な場合は別途Sol.06（コンテキスト駆動型テスト設計）等でご支援します。
AIツールのログやデータはどこまで必要ですか？
AIテスト実行ログ・生成されたテストケース・実行記録があると、Tautological Testing診断とコンテキスト評価の精度が高まります。キックオフで抽出範囲を合意します。
1プロダクトとはどの範囲ですか？
1つのプロダクトについて、ひとつのテスト設計一式（テスト計画書・テストケース群）と、それを対象とするAIツールのテスト実行環境を診断対象とする範囲を指します。①複数のプロダクト・サブシステムにまたがる、②テスト設計の体系が異なる複数チームを横断する場合は範囲が広がるため、係数×1.5が目安です。