IoTとAI、ビッグデータ時代のソフトウェアテスト（9）

ソフトウェアテストの施策と運用（後編）――カギを握るテストの運用（4/5 ページ）

公開 2017年04月27日 09時00分

更新 2017年04月27日 09時52分

著者

五味弘

[TechFactory]

印刷する連載新着通知を受け取る

テストの妥当性を常時テストで判断する

　AIやIoT、ビッグデータのシステムはテストケースそのものが正しいのか、テストを実行した結果が正しいのか、そしてテストの妥当性がどうなのかの判断は難しい。非決定的に動作することが多いこれらのシステムでは、テストの妥当性そのものが問題になるからだ。

　これを解決する唯一の方法は、常時テストを実施し、それをユーザーとともに確認することである。開発メンバーだけの確認では妥当性が分からず、また妥協が入ってテストが甘くなってしまいがちである。実際に使用するユーザーによるテストが絶対必要である。現実的には常時テストはできても、その確認の場にユーザーがいつも参加することは厳しいかもしれないが、なるべく多く参加するように運用したい。常時ユーザー参加の理想郷になるべく近づけたい。

　しかし常時テストにはデメリットもある。

　常時テストのデメリットはコスト面ではなく、習慣化による「慣れ」である。常時テストを当然と思い実行できていることは良い状態であるが、慣れではなく惰性で実施する状態になってしまうと、本来の目的から逸れても歯止めが効かなくなる。

　これを防ぐには、新鮮な目で見つめ直すことが必要であり、ソフトウェアテスト7原則の1つである「殺虫剤のパラドックス」と同様、新メンバーの投入が効果的である（関連記事：ソフトウェアテストのコストと品質―「テストの究極の問題」を考える）。

とあるテスト現場より（5）

A：「えー、いつもテストするんですか。嫌だな。面倒だな。逃げたいな」

B：「学生のときも毎朝、小テストをしていただろ。満点を取るまで永遠に繰り返しだ。」

A：「それにしてもテストが空気のように気にならなくなるなんて。これは、いじめられるのが好きなだけでは？」

B：「それであいつらはテストでバグを見つけられても喜んでいるんだな」

仕様の多様性に対応できるテスト運用

　AIやIoT、ビッグデータのシステムでは要求は不確定で不安定で、仕様は未定で決定できず、実装はそのための対応に追われる。そして今まで言及してきた運用でさえも、結局、同様の運命にもて遊ばれることになる。

　本来、テストケースは具体的に事細かに書く。しかし新時代のテストケースはそうならない。要求や仕様の多様性（別名：バラバラ）を許してしまうとテストケースは具体的に書けない。人間のように賢い英日翻訳を行うシステムに対して、どのようなテストケースを書けばいいのか。それ自体を決めることがシステムの命であり、具体的なテストケースを作ることに大きなコストが発生する。テストケースの具体的な答えは永遠に分からないかもしれない。

　少々悲観的に書いたが、これを解決するためには「テストケースの弾力的運用」しかない。具体的には確定している場所（コールドスポット）では具体的なテストケースを作成し、不確定な場所（ホットスポット）では抽象的にテストケースを作る。火事場のようなホットスポットでは抽象化すら困難なこともあるだろう。囲碁ソフトならば「最強・鑑賞モードではエレガントで見る人を感動させる手を打つ」というようなテストケースになる可能性すらある。

　テストケースを抽象度によって弾力的に運用するということは、設計にホットスポットを入れ、プログラム実装に間接的な操作を入れる事と同じと感じるかもしれない。しかし、テストは最後の防波堤であることを忘れてはならない。テストが曖昧では誰も最終確認できず、テスト自体の意味がなくなってしまう。

次ページへ弾力運用と第三者テスト

印刷する

IoTとAI、ビッグデータ時代のソフトウェアテスト

言うまでもなくソフトウェアテストは重要だが、IoTやAIなどの新しい概念によってソフトウェア自体の在り方が変わりつつある中、旧来からのテストを踏襲するだけでは成果は得られない。新時代のソフトウェアテストについて、考察する。

連載新着通知を受け取る

この連載の記事をもっと見る

この記事の著者

五味弘

OKI（沖電気工業）シニアスペシャリスト、エバンジェリスト。博士（工学）。ソフトウエアの開発支援・教育に従事。電子情報振興協会（JEITA）専門委員会の委員長や情報処理振興機構（IPA/SEC）などの委員多数。三重大学などの非常勤講師も務める。エンタープライズ系と組み込み系におけるソフトウエア開発の知見融合が関心事。共著書に『定量的品質予測のススメ』（オーム社、2008年）、『プログラミング言語論』（コロナ社、2008年）などがある。

ソフトウェアテストの施策と運用（後編）――カギを握るテストの運用（4/5 ページ）

テストの妥当性を常時テストで判断する

とあるテスト現場より（5）

仕様の多様性に対応できるテスト運用

IoTとAI、ビッグデータ時代のソフトウェアテスト

この記事の著者

新着ホワイトペーパー PR

関連記事

ソフトウェアテストの施策と運用（前編）――IoT時代を生き抜くテスト施策

ソフトウェアテストの試練（後編）―IoTとAI、ビッグデータが愛したテスト

ソフトウェアテストの試練（前編）―IoTとAI、ビッグデータの試練を乗り越える開発

ソフトウェアテストの手法と施策（後編）「テストの施策」を反省する

ソフトウェアテストの手法と施策（中編） 幸せになれるソフトウェアテストの選び方

ソフトウェアテストの手法と施策（中編）　幸せになれるソフトウェアテストの選び方