生成AIによる画像分類実施例の紹介

1. 導入

マルチモーダルな生成AIは、テキストだけでなく、画像を解析し内容を理解することができる為、（精度は一旦おいておいて）画像を分類するタスクをこなすこともできます。

従来の画像分類は、特定の損傷パターンを大量のサンプル画像で学習させた専用モデルを使うのが一般的でした。しかし近年では深層学習の進展、さらにマルチモーダル生成AIの登場により、自然言語のプロンプトを使った柔軟な画像分類も可能になっています。

本稿では、「不動産写真における損傷検知」を題材として、生成AIを用いた画像分類の実施例を紹介します。

2. 画像分類の主要な手法

3. 実施例：不動産写真の損傷検知

今回も、OCR同様、Gemini 2.5 ProとGemini 2.0 Flash Liteとで同じプロンプトを用いて結果の比較を行いました。

3.1 使用したプロンプト（JSON出力固定）

実際に使用したプロンプトは以下になります：

# 命令
あなたは不動産写真における劣化検知AIです。
与えられた1枚の室内写真を解析し、「部屋の種類」と「損傷の有無・内容」を必ずJSON形式で出力してください。
JSON以外のテキストは出力しないでください。

# 出力フォーマット
{
  "room_type": "リビング / 寝室 / 廊下 / キッチン / バスルーム / その他",
  "damage": {
    "existence": "あり / なし",
    "location": "具体的な場所（例：フローリング中央、壁紙左下など）",
    "description": "簡潔な説明（例：小さな引っかき傷、クロスのめくれ、タイルのひび割れなど）"
  },
  "confidence": 数値（0〜100の範囲）
}

# 注意
- 損傷がない場合は、"damage": {"existence": "なし"} のみを返してください。
- 部屋種別は可能な限り推定してください。不明な場合は "その他" としてください。

3.2 結果例

上記プロンプトの結果は、例えば以下のようにjson形式で帰ってくるので、結果の集計などの後処理もしやすいです。

{
  "room_type": "リビング",
  "damage": {
    "existence": "あり",
    "location": "フローリング右下",
    "description": "複数の引っかき傷"
  },
  "confidence": 95
}

{
  "room_type": "リビング",
  "damage": {
    "existence": "なし"
  },
  "confidence": 98
}

3.3 結果比較

3.4 結果比較（サマリー）

結果としては（たった１サンプルの結果であり業務適用に際してはよりしっかりとした精度検証は必要だが）、最新モデルの2.5 Proは誤回答はなかったが、2.0 Flash Liteは壁の軽微な傷を検知できていなかった。

4. 業務適用に向けたコメント

分類精度は生成AIのモデル性能に大きく依存します。微細な損傷まで検知したい場合は高性能なモデルが必要ですが、利用料金が高く、処理速度が遅くなるため、検知要件とコストのバランスを考える必要があります。大きな劣化のみを対象とする場合は、軽量モデルでも十分実用的です。

生成AIベースの損傷検知では、プロンプト設計（プロンプトエンジニアリング）も検知精度に直結するため、検知対象となる損傷の具体例や判定基準をプロンプトに含めるなど、業務要件に合わせた工夫が求められます。

業務上生成AIによる分類精度では耐えられない場合、ファインチューニングにより精度を上げる事も考えられますが、データ数が確保できるなら機械学習で行った方がコスト・処理速度の面で優位性がある場合が多い為、時間があれば両方検討する事が望ましいです。