ai_testing_metamorphic

メタモルフィックテスティングの実例

お題

ラーメンと冷やし中華を識別するCNNモデルを作成する
- このモデルに対してメタモルフィック関係を設定する
  - 画像に回転やノイズを足して X→Y, X'→Y となることを確認する

ラーメンと冷やし中華をある程度高精度に識別するモデルを作る
- ramen_hiyashi_acc0.9675.h5（テストデータの正確度が96.75%）
- モデルの実装と訓練のコードは metamorphic_testing.ipynb の "2種類の画像を識別するモデル" を参照
opencvで、上記モデルにおいて99.99％冷やし中華と判断されるデータを加工する
- 回転の場合は10度刻みで360度＝36ファイル
- 並進は10px刻みで1000pxまで右に=100ファイル
  - kerasにも画像を加工する機能はあるが、ランダムに加工されるので使いにくい
load_modelであらかじめ作っておいたモデルを読み込む
- 毎回の識別の結果を、パラメータと一緒にplot用の配列に入れておく
結果配列をplotしてテスト結果をレポートする

Name		Name	Last commit message	Last commit date
.gitignore		.gitignore
README.md		README.md
crawler.py		crawler.py
keras_image_generator.py		keras_image_generator.py
keras_inst.py		keras_inst.py
keras_inst_ramen_hiyashi.py		keras_inst_ramen_hiyashi.py
keras_inst_saveload.py		keras_inst_saveload.py
keras_inst_udon_soba.py		keras_inst_udon_soba.py
keras_memo.md		keras_memo.md
metamorphic_testing.ipynb		metamorphic_testing.ipynb
metamorphic_testing_onefile.py		metamorphic_testing_onefile.py
model.png		model.png
momotaro_metamorphic.ipynb		momotaro_metamorphic.ipynb
neuron_coverage.ipynb		neuron_coverage.ipynb
ramen_hiyashi_acc0.9675.h5		ramen_hiyashi_acc0.9675.h5