Stable Diffusionのimg2imgって何？どう使うの？

画像をもとに新たな画像を生成する。それが「img2img」

この記事では初心者でもわかるimg2imgの基本から応用までを丁寧に解説します。

✔ 元画像をベースにイラストを変換
✔ ラフ絵を高品質化
✔ 写真をアニメ風・イラスト風に変換

実例画像つきでわかりやすく紹介しますので、初めての方でも安心です！

パラメーター紹介

モデルはアニメ系とリアル系の2種を使って比較

基本プロンプト

基本的には「」の部分にプロンプトを入れて比較

元になる画像はこちらを使用

img2imgの開き方

多くの人は基本的にプロンプトをもとに画像を生成する「txt2img」を使用しているかと思いますが、今回はその隣のタブ「img2img」

画像の青丸の部分のタブを開きましょう。

そこから更に下のタブで項目を選択。

タブごとに説明していきます。

画像生成ＡＩ「stable diffusion」のリアル系日本人作成向けモデル（checkpoint）比較

Resize mode

ほぼ共通項目であるサイズ変更に関する項目。

Just resize

この機能は風船に描いた絵のような感じで画像をそのまま縮めたり引き伸ばすように変更できる。

元画像　W800×H800

W800×H1000

W1000×H800

Crop and resize

この機能はトリミングのような機能です。

縦横の比率に応じて切り取る感じ。

元画像　W800×H800

W800×H1000

W1000×H800

Resize and fill

Crop and resizeが画像内だったのに対して、この機能は画像からはみ出てしまう部分も新たに生成してくれる機能です。

元画像　W800×H800

W800×H1000

W1000×H800

W1000×H800の右側はきれいに生成されています。

使いこなせたらなかなか面白そう。

Just resize (latent upscale)

Just resizeとほぼ同じなのですが、高画質化する機能？であるUpscalerが異なるとの噂。

Latent Upscaleという種類のものが使用されるようで、鮮やかになりやすいようです。

元画像　W800×H800

W800×H1000

W1000×H800

Denoising strengthが低すぎると全体的にぼやけた画像になってしまう。

リサイズしつつ画質やら色味やらを変える感じなのかな。

上記の画像はDenoising strength0.5。

0.4辺りからぼやぼや感がなくなってきている感じ。

img2img

まずは見本の元となる画像をアップロードする。

（ここに画像をドロップまたはクリックしてアップロード）と書いてある場所。

Denoising strength

この数値は小さいほど元画像に近いものができ、大きくするほど元画像から遠ざかっていく。

シード値は固定して生成する。

使用するプロンプト

beautiful Japanese woman,
long hair,
upper body,
winter,
high detail, vibrant colors,
realistic image quality photo, 8k,
Negative prompt: low quality, worst quality, weird face, text, watermark, logo,
nudity, naked, cleavage, lingerie,
missing fingers, extra fingers, malformed hands,
mutated limbs, extra limbs, fused fingers,
overexposed, blurry

0.1

0.2

0.3

0.1　0.2　は変わらない気がする。

0.3では口の辺りが微妙に変化している。

0.4

0.5

0.6

0.4と0.5はわずかな変化。

0.6はパット見てわかるくらい変化している。

でもプロンプトの内容は上手く反映されなかった。

他の数値を調整する必要があるかもしれない。

0.7

0.8

0.9

ここからは変化がかなり大きい。プロンプトの「long hair」「winter」も反映されている。

0.7と0.8は顔の雰囲気が残っている気がするが、0.9は別物かな。

CFGやステップ数の数値を調整すれば上手く生成されることもある。

次はcheckpointモデルを変更して生成。

プロンプトはリアル画向けの「chilled_remix_v1」を使用

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

元画像を生成した際とほぼ同じ
プロンプトを入れて生成。

プロンプト

25-year-old Japanese woman,
wearing a summer blouse,
smiling warmly at the camera,
front-facing bust-up shot,
street,
bright sunny day, vivid summer atmosphere,

high detail, vibrant colors,
realistic image quality photo, 8k

Negative prompt: low quality, worst quality, weird face, text, watermark, logo,
nudity, naked, cleavage, lingerie,
missing fingers, extra fingers, malformed hands,
mutated limbs, extra limbs, fused fingers,
overexposed, blurry

プロンプトを単純にしてみた場合

モデルは元画像と同じ「animepunk_v10」

おすすめの使い方

※ネット上や書籍の絵や写真を元画像にする場合は著作権に注意しましょう。

Sketch

まずは見本の元となる画像をアップロードする。

（ここに画像をドロップまたはクリックしてアップロード）と書いてある場所。

アップロードした画像の右上にこのようなアイコンがあるので、そこから色とペンの太さを選んで変えたいところを塗る。

まずは髪を塗ってみる。

元画像　色塗り後

0.5

0.5　プロンプト入り

複数個所を複数の色で塗ってみる。

元画像　色塗り後

0.5

0.56　プロンプト入り

プロンプトを入れないとベタ塗りっぽい感じになりやすい。

checkpointモデルを変えてみる。chilled_remix_v1

元画像　色塗り後

0.56

0.56　プロンプト入り

髪の長さを変えてみる。

元画像　色塗り後

0.56

0.56　chilled_remix_v1

shiba*2さんという方がこちらで面白い検証をしていました。https://note.com/gentle_murre488/n/nae7d131b3c9c?sub_rt=share_pw

おすすめの使い方

※ネット上や書籍の絵や写真を元画像にする場合は著作権に注意しましょう。

Inpaint

まずは見本の元となる画像をアップロードする。

（ここに画像をドロップまたはクリックしてアップロード）と書いてある場所。

アップロードした画像の右上にこのようなアイコンがあるので、そこからペンの太さを選んで変えたいところを塗る。

パラメーター解説

Inpaintではこのようなパラメーターがある。

Mask blur　数値比較

数値は0～64まで。

元画像　色塗り後

Mask blur　0

Mask blur　16

Mask blur　32

Mask blur　48

Mask blur　64

プロンプトがない場合はこんな感じ。

マスク部分に代わるものを生成するための機能だからほとんど変化ない。

元画像　色塗り後

Mask blur　0

Mask blur　16

Mask blur　32

Mask blur　48

Mask blur　64

０の値が一番いい感じに生成された。

Whole pictureって画像全体が変わるんだよね。

なんかマスク部分以外は変わっていない気がするけど。

Mask mode比較

Inpaint masked

Inpaint not masked

ちょっと不気味な感じの画像になってしまったが、プロンプトは反映されているようだ。

Masked content

fill

original

latent noise

latent nothing

Inpaint area　Only masked　数値比較

元画像　色塗り後

Only masked padding, pixels　32

Only masked padding, pixels 100

Only masked padding, pixels　200

Only masked padding, pixels　256

おすすめの使い方

※ネット上や書籍の絵や写真を元画像にする場合は著作権に注意しましょう。

Inpaint sketch

「sketch」と「inpaint」を組み合わせた機能。

sketchはマスク部分以外の画像全体も書き換えられてしまうがInpaint sketchの場合は変更範囲をマスク部分やマスク部分以外に限定できる。（Inpaint の Mask mode比較参照）

元画像　色塗り後

sketch

Inpaint sketch

sketchの場合は全体的に変化しているが、Inpaint sketchはマスク部分のみ。

Mask transparency　数値比較

マスク部分の透明度の数値

0～100

数値が大きいほど透明度が高くなる。

元画像　色塗り後

数値　0

数値　25　

数値　50

数値　75

数値　100　

100だと完全に消えてしまっています。

途中からリンゴではなくただの赤丸になっている。透明度を高くするのであれば他の数値の調整も必要。

おすすめの使い方

※ネット上や書籍の絵や写真を元画像にする場合は著作権に注意しましょう。

Inpaint upload

基本的にはInpaintと同様ですが、マスク部分を塗りつぶすのではなく、別にマスク用のデータを用意してそのデータを使って画像を生成する機能。

使い方はInpaintとほとんど変わらず。

AdobeのPhotoshopなどのような他ツールで、マスク部分を自動で作ったりすると効率良いかも。

Stable Diffusion上でやると細かな部分は時間掛かってしまうし、より細部まで調整したい場合ならいいかも。

おすすめの使い方

※ネット上や書籍の絵や写真を元画像にする場合は著作権に注意しましょう。

Batch

複数枚の画像を一気に処理できる機能。

ただ、本格的に使うには高スペックパーツだったり拡張機能の追加が必要そう。

こちらはまた機会があれば試してみます。