「正しいことをテストしているか」を診断する
Verification（仕様通りか）とValidation（ユーザーにとって正しいか）の2軸で、テスト設計の質を評価します。
すでにAIテスト実行ツールを導入済みで、そのツールの品質・ROIを評価したい方は → AIテスト実行の診断 をご覧ください。
課題
こんな状態になっていませんか？
テスト自動化やツールの導入が進むほど「テストの量」は増えていきます。しかし、増やしているのは「正しいテスト」でしょうか。多くのQAチームで、以下のような状況が静かに進行しています。
Pattern 01
仕様の言い換えテスト（Tautological Testing）
「テストは通っている。でも、なぜか品質問題は減らない」
「ログインボタンをクリックすると、ログインが完了する」という仕様に対して、「ログインボタンをクリックしたとき、ログインが完了することを確認する」というテストを書いても、仕様そのものの誤りは検出できません。テストが「仕様の言い換え」になっている場合、テストは動いているのに品質は上がらない状態が続きます。
Pattern 02
カバレッジ幻想（Coverage Illusion）
「コードカバレッジ90%なのに、本番でバグが出る。数字が信頼できなくなってきた」
ここでの「カバレッジ90%」とは、多くの場合コードカバレッジ（コードの何行・何分岐を通過したか）を指します。これは「ユーザーが本当に使うシナリオを、必要な観点で網羅した率」ではありません。コードを通過していても、見るべきテスト観点が抜けていれば、重大なバグは防げません。数字が高いことと、正しいことをテストしていることは別問題です。
Pattern 03
仕様ドリフト（Specification Drift）
「要件は変わっているのに、テストケースは3年前のまま。いつの間にか現実と乖離している」
ツールが速くなるほど、「何をテストすべきか」を考える時間は省略されがちです。仕様変更のたびにテスト条件を見直す仕組みがなければ、テスト設計は現実から静かにズレていきます。
なぜ起きるのか
VerificationとValidationの混同
これらの問題の根本には、「Verification（検証）」と「Validation（妥当性確認）」の混同があります。多くのQAチームはVerification（仕様通りに動くか）のテストは実施していますが、Validation（ユーザーにとって本当に正しい動きか）を体系的にテストしているチームは、まだ少数です。
| 観点 | Verification | Validation |
|---|---|---|
| 問いかけ | 仕様通りに動くか？ | ユーザーにとって正しい動きか？ |
| 例 | 「ログイン処理が仕様書の手順通りか」 | 「ユーザーが混乱せずログインできるか」 |
| 見逃すバグ | ビジネス要件の誤り、UX問題 | 技術的な実装ミス |
| 自動化との相性 | 高い（機械的に確認できる） | 低い（人間の判断が必要な部分が多い） |
VerificationだけのQAは「仕様書の転記を速く確認する」ことに特化します。Validationまで含めてはじめて、「ユーザーのために正しいソフトウェアを届ける」という本来の目的が果たせます。
サービス概要
テスト設計の質を診断する2パッケージ
テスト設計の品質を6セルのフレームワークで構造的に評価します。プロジェクトの進行状況に応じて、2つのパッケージから選べます。テスト実行前に方向性を確認したいなら早期診断、テスト実行後に設計全体を見直したいならテスト設計診断です。
| 項目 | テスト設計 早期診断 | テスト設計診断 |
|---|---|---|
| 想定シーン | テスト実行前。設計の方向性を確認したい | テスト実行完了後。設計全体を見直したい |
| 価格 | 65万円（税抜） | 95万円（税抜） |
| 期間 | 標準1〜1.5ヶ月 | 標準1.5〜2ヶ月 |
| 評価フェーズ | 設計段階評価 | 設計段階評価 + 実績検証評価 |
| 成果物 | 早期診断レポート（6p） | V&Vアセスメントレポート（9p） |
| アップグレード | テスト実行後に+40万円でテスト設計診断に拡張可能 | — |
フレームワーク
2軸 × 3観点・6セルで評価する
VerificationとValidationの2軸を、有効性・効率性・説明性の3観点で評価します。この6セルの構造により、テスト設計の「どこが強くて、どこが弱いか」を構造的に把握できます。
各セルは25の評価要素に分解され、5つの分析アプローチ（不具合データ分析・テストケース分析・仕様突合・ドキュメントレビュー・ヒアリング）で評価します。早期診断では、このうちテスト実行前に診断可能な要素（設計段階評価）を実施します。
対象
こんな組織に向いています
テスト設計の品質に不安はあるが、どこが弱いか分からない
プロジェクト進行中で、テスト設計の方向性が正しいかテスト実行前に確認したい
テスト自動化を導入したが、品質問題が減らない
カバレッジ数字は高いのに、本番バグが続いている
テストケースはあるが、なぜその観点でテストするのか、設計の根拠を言語化できていない
テスト設計の改善に着手したいが、どこから始めれば良いか分からない
次のケースは対象外、または別パッケージが適しています ― テスト実行そのものの代行・アウトソーシングをお求めの場合（当サービスはテスト設計の品質診断です）／改善策を自社内で既に定義・実行中の場合／診断対象となるテストケース・仕様書が全く存在しない段階の場合／すでにAIテスト実行ツールを導入済みで、そのツール自体の品質・ROIを評価したい場合（→ AIテスト実行の診断 が最適です）。
差別化
AI自動化ツールとbuboは競合しない
「AI自動化ツールを導入すればテスト設計診断は不要では？」という声をいただきます。しかし、AI自動化ツールとbuboのV&Vアセスメントは、解決する問題が根本的に異なります。
| 問いかけ | AI自動化ツールが解決すること | buboが解決すること |
|---|---|---|
| テストの速度 | テスト実行を自動化し、人間より速く・正確に実行する | 解決しない（実行速度の問題ではない） |
| テストの量 | 仕様やコードから大量のテストケースを生成できる | 解決しない（量の問題ではない） |
| テストの方向性 | 解決しない（AIは「何をテストすべきか」を判断できない） | テスト設計の着眼点が正しいかを診断する |
| 品質状態の可視化 | 解決しない（テスト設計の良し悪しの判断は人間が行う必要がある） | テスト設計の質を6セルでスコアリングし、現場・経営の双方が読める形で可視化する |
AI自動化ツールが「決めたテストを速く・正確に実行する」のに対し、buboのV&Vアセスメントは「正しいことをテストしているか」を診断します。「設計の質」と「実行の速度」が揃って、はじめて品質保証が完成します。
成果物
パッケージごとの納品物
テスト設計 早期診断は早期診断レポート（PDF・6ページ前後）、テスト設計診断はV&Vアセスメントレポート（PDF・9ページ前後）を納品します。いずれも冒頭のエグゼクティブサマリーは経営・マネジメント層がそのまま読める構成です。
| レポート構成 | 早期診断レポート（6p） | V&Vアセスメントレポート（9p） |
|---|---|---|
| エグゼクティブサマリー（6セルのレーダーチャート + 最重要課題 Top3） | ✅ | ✅ |
| Verification 3セル評価 | 設計段階評価 | 設計段階評価 + 実績検証評価 |
| Validation 3セル評価 | 設計段階評価 | 設計段階評価 + 実績検証評価 |
| データ分析（不具合データ・テストケース分析） | — | ✅ |
| 改善提言（優先度付きアクションリスト） | ✅ | ✅ |
進め方
Phase 1〜3の工程
診断はお客様の既存ドキュメントとヒアリングをもとに行います。すべてが揃っている必要はありません。「揃っていない」こと自体も診断の発見事項になります。
お客様のご負担：約7〜10時間（1〜2ヶ月に分散）
PHASE 1
PHASE 2
PHASE 2b
PHASE 3
必要なインプット
| インプット | テスト設計 早期診断 | テスト設計診断 |
|---|---|---|
| テスト計画書・テスト設計書 | ○ | ○ |
| テストケース一覧（作成中・一部でも可） | ○ | ○ |
| 仕様書・要件定義書 | ○ | ○ |
| トレーサビリティマトリクス | △（あれば） | △（あれば） |
| 不具合一覧（バグ票） | 不要 | ○（実績検証評価に使用） |
| テスト実行記録・変更管理記録 | 不要 | △（あれば） |
| 担当者ヒアリング（リーダー・設計者 2〜3名） | ○ | ○ |
早期診断は不具合データ・実行記録が不要です。テスト実行前でも、設計段階で診断可能な要素を評価できます。テスト設計診断では、不具合一覧があることで実績検証評価の精度が高まります。
選ばれる理由
なぜbuboなのか
Validationまで評価する
多くのQA評価サービスはVerificationに留まります。buboはV&Vの両方を2軸×3観点の6セルで評価します。
診断と改善の優先順位がセット
「どこが弱いか」の診断だけでなく、改善アクションの優先順位（Priority A/B/C）まで提示します。
現場と経営の両方で使える1冊
レポート冒頭のエグゼクティブサマリーは、技術的詳細を読まなくても品質状態と最重要課題が伝わる構成。現場の改善にも、経営報告にもそのまま使えます。
固定価格・固定スコープ
65万円〜で事前確定。追加費用なしで予算計画が立てやすい構成です。
固定価格・明朗会計
大規模コンサルティングの包括的な品質改善と比べ、診断に範囲を絞ることで65万円〜という固定価格を実現。費用が事前に確定し、はじめの一歩を踏み出しやすい設計です。
料金・パッケージ
パッケージ内容と料金
プロジェクトの進行状況に応じて選べる2パッケージ。追加費用は発生しません（税抜）。
テスト設計 早期診断
65万円 （税抜）
対象: プロジェクト進行中で、テスト実行前にテスト設計の方向性を確認したい
設計段階で診断可能な全要素を評価し、テスト実行前に直すべき問題点を早期発見します。
- 6セル評価（設計段階で診断可能な全要素）
- 分析アプローチ（テストケース分析・仕様突合・ドキュメントレビュー・ヒアリング）
- 早期診断レポート（6ページ前後・エグゼクティブサマリー含む）
- 最終報告会（1.5時間）
- テスト実行後、+40万円でテスト設計診断にアップグレード可能
テスト設計診断
95万円 （税抜）
対象: テスト実行完了後に、テスト設計全体を総合的に評価したい
設計段階評価に実績検証評価を加え、テスト設計の総合的な現状把握と改善の優先順位を確定します。
- 6セル評価（設計段階評価 + 実績検証評価の全要素）
- 5つの分析アプローチ（不具合データ分析を含む）
- V&Vアセスメントレポート（9ページ前後・エグゼクティブサマリー含む）
- 最終報告会（2時間）
- 複数プロダクト対応: ×1.5係数（142.5万円目安）
| 含有内容 | テスト設計 早期診断 | テスト設計診断 |
|---|---|---|
| 6セル評価（設計段階評価） | ✅ | ✅ |
| 6セル評価（実績検証評価） | ✅ | |
| 不具合データ分析 | ✅ | |
| レポート（エグゼクティブサマリー含む） | 早期診断版（6p） | 完全版（9p） |
| 最終報告会 | ○（1.5h） | ○（2h） |
| テスト設計診断へのアップグレード | +40万円で可能 | — |
AIテスト実行ツール導入済み企業向けの「AIテスト実行診断（120万円）」は → AIテスト実行の診断 をご覧ください。
選び方
早期診断とテスト設計診断、どちらが最適か
テスト実行はもう完了していますか？ ―― この一点が分かれ目です。
テスト実行は進行中
テスト設計 早期診断（65万円）
テスト実行前に設計の問題点を早期発見し、手戻りを防ぎます。テスト実行後に+40万円でテスト設計診断に拡張可能です。
テスト実行は完了済み
テスト設計診断（95万円）
設計段階評価に実績検証評価を加え、テスト設計全体を総合評価します。改善の優先順位を確定できます。
プロジェクト進行中であれば、早期診断で「今の設計の問題点」をテスト実行前に把握し、テスト実行後にアップグレードで全体像を確認する「ステップ展開」がおすすめです。なおAIテスト実行ツールを導入済みの場合は、テスト設計の土台を固めた上で AIテスト実行の診断 が適しています。
より詳しい方法論は冊子のPlaybookでお届けします
「このテストは何を元に設計しましたか？」——この問いに即答できないなら、Playbookをお読みください。
V&Vアセスメントの背景にある「VerificationとValidationの2軸でテスト設計を評価する」方法論を、冊子にまとめました。アセスメント前にお読みいただくと、診断結果の理解がより深まります。
関連コラムもあわせてお読みください：Series E Vol.1 — AIテスト実行の質、どう見極めますか
よくある質問
FAQ
テスト実行を代行する会社とはどう違いますか？
テスト実行の代行・支援サービスは「テストを速く・正確に実行する」ことを担います。buboのV&Vアセスメントは「テスト設計の品質（正しいことをテストしているか）」を診断するサービスです。解決する問題が根本的に異なり、両者は補完関係にあります。テスト実行の代行は当サービスの対象外です。
プロジェクト進行中でも診断できますか？
はい。テスト設計 早期診断は、テスト実行前の段階で設計品質を評価するパッケージです。テストケースが作成中（一部のみ）の段階でも診断可能です。テスト実行前に問題を発見し、手戻りを防ぐことに価値があります。
早期診断からテスト設計診断にアップグレードできますか？
はい。テスト実行完了後に+40万円で、不具合データ・実行記録を追加分析し、全要素の完全レポート（9ページ）に拡張できます。アップグレードは任意で、早期診断だけでも単独で完結します。
アップグレードすると合計105万円ですが、最初からテスト設計診断（95万円）を買った方が安くないですか？
テスト設計診断を最初から購入すると確かに10万円安くなります。ただし早期診断を先に受けることで、テスト実行前に設計の問題を発見・修正でき、テストの手戻りコスト（テストケース再設計・再実行）を回避できます。10万円の差額は、この早期発見の時間的価値に相当します。
アセスメントの成果物に修正対応は含まれますか？
レポートは、顧客レビュー後に1回の修正対応を含みます。成果物の構成・評価結果の大幅な変更は含まれませんが、表現の修正・追加説明への対応は無償で行います。
1プロダクトとはどの範囲ですか？
1つのプロダクト（システム・アプリケーション）について、ひとつのテスト設計一式（テスト計画書・テストケース群）を診断対象とする範囲を指します。ひとつの開発チームが担当する単一プロダクトであれば、通常は1プロダクトに収まります。①複数のプロダクト・サブシステムにまたがる、②テスト設計の体系が異なる複数チームを横断する場合は範囲が広がるため、係数×1.5が目安です。