実装の内側で起きていること (1.11.0)
状態: draft / バージョン: 1.11.0 (2025-12-11)
TL;DR
- multimodal embedding model を使用していますか?その場合、テキストと画像の両方がベクトル化されます。これにより、以下が可能になります。
- テキスト ↔ 画像検索、
- 画像 ↔ 画像検索、
- または画像 ↔ テキスト検索。
想定読者
- Dify 1.11.0 へのアップグレードを検討しているチーム
- What’s Actually Happening 周辺の機能を業務で使うエンジニア/運用者
なぜ重要か
(執筆予定: この機能が解決する課題と運用上のインパクトを書く)
リリースノート抜粋
- Auto‑Image Extraction
Markdown画像を含むドキュメント(例:)をドロップすると、Difyが自動的に画像を抽出します(JPG, PNG, GIF ≤ 2 MB)。 - Smart Attachment Handling
各画像は対応するテキストチャンクにリンクされ、コンテキストが密接に保たれます。 - Embedding Behavior
- マルチモーダル埋め込みモデルを使用していますか?その場合、テキストと画像の両方がベクトル化されます。次のことが可能です。
- テキスト ↔ 画像検索、
- 画像 ↔ 画像検索、
- または画像 ↔ テキスト検索。
基本的に、すべて ↔ すべてです。
- 通常のテキストのみのモデルを使用していますか?問題ありません。画像は引き続き処理され、Vision対応のLLMを使用する際にプロンプトに表示されます。
- マルチモーダル埋め込みモデルを使用していますか?その場合、テキストと画像の両方がベクトル化されます。次のことが可能です。
- Developer Candy
Knowledge PipelineのKnowledgeBaseノードは、2つの新しい方言に対応しました —multimodal‑Parent‑Childmultimodal‑General
Difyに構造化された混合モダリティデータを手間なく供給したいPlugin開発者にとって最適です。
- Supported Multimodal Models (ヒント: 以下のPluginを最新バージョンに更新してください)
- AWS Bedrock:
nova‑2‑multimodal‑embeddings‑v1:0 - Google Vertex AI:
multimodalembedding@001 - Jina:
jina‑embedding‑v4,jina‑clip‑v1,jina‑clip‑v2,jina‑reranker‑m0 - Tongyi (Qwen):
multimodal‑embedding‑v1
- AWS Bedrock:
すべてが埋め込まれると、Knowledge Baseに新しいMultimodalタグが表示されます。これでデータが2次元になり(そして2倍クールに)なったからです。
Difyに視覚インテリジェンスをもたらしてくれた@JohnJyong (#29115)と@WTW0313 (#27793)に心から感謝します。真のレジェンドです。
アウトライン(執筆予定)
1. これまでの課題
(執筆予定)
2. 1.11.0 で何が変わったか
(執筆予定 — 上記抜粋を整理)
3. 使い方 / 設定手順
(執筆予定)
4. 運用上の注意点・トレードオフ
(執筆予定)
5. 関連リンク
(執筆予定)
検証が必要な事項
- [ ] 関連 PR 番号の特定
- [ ] 公式 Docs の該当ページ
- [ ] 実際の挙動確認(Dify Cloud or self-host)
- [ ] 既知の制限事項
ソース:
- GitHub Release 1.11.0
本記事は非公式まとめです。正式仕様は Dify 公式ドキュメント をご確認ください。