ステーブルディフュージョン Stable Diffusion (SD) とは
Stable Diffusionとは
Stable Diffusion ステーブルディフュージョン とは、テキストから画像を生成する「AIモデル」です。拡散プロセスという手法を用いて、高品質で写真のような画像を作り出します。人物や動物、風景など、さまざまな画像を生成できます。
Stable Diffusionの特徴は以下のとおりです。
- リアルで創造的な画像を生成する能力が高い
- テキストだけでなく、画像をベースにして画像を生成することもできる
- さまざまなサイズや品質のモデルが用意されている
- オープンソースで公開されており、誰でも利用できる
- 安全で責任あるAIの実践に取り組んでいる
Stable Diffusionの動作の仕組み。
- まず、VAEというモデルを使って、画像を低次元の潜在空間に変換します。これにより、画像の処理が効率的になります。
- 次に、Text Encoderというモデルを使って、テキストを潜在空間にマッピングします。これにより、テキストと画像の関連性が高まります。
- 最後に、拡散モデルというモデルを使って、潜在空間から画像を生成します。このモデルは、ノイズ画像から少しずつノイズを除去していくことで、きれいな画像を作り出します。この過程で、Text Encoderの出力を参照して、テキストに沿った画像を生成します。
Stable Diffusionの使い方
- Stable Diffusionは、プロンプト（呪文）と呼ばれるテキストを入力すると、それに応じた高品質な画像を生成します。
- Stable Diffusionを利用する方法は、オンラインサービス、クラウドストレージ、ローカル環境の3つがあります。それぞれにメリットとデメリットがあります。
- ローカル環境で使う場合は、Python 3.10とGitをインストールし、Stable Diffusion webUIをダウンロードする必要があります。また、必要なモデルデータも手に入れる必要があります。
- Stable Diffusion webUIでは、txt2imgとimg2imgの2つの機能が利用できます。txt2imgはプロンプトから画像を生成し、img2imgは画像をもとに新しい画像を生成します。
- Stable Diffusionは、拡張機能や設定によってカスタマイズできます。たとえば、モデルデータを変更したり、生成速度や画質を調整したり、アウトプットを微修正したりできます。
Stable Diffusion の導入順序 概要
- Python 3.10とGitをインストールする
- Stable Diffusion webUIをGitHubからクローンする
- モデルデータをCivitaiやHugging Faceなどのサイトからダウンロードし、models/Stable-diffusionディレクトリにコピーする
- webui-user.batを実行してWebUIを起動する
- ブラウザでプロンプトを入力し、生成された画像をプレビューする
- 生成された画像を保存ボタンでダウンロードする
- 設定パネルから生成プロセスを調整する