きれいめ系2次元イラスト画像生成モデル TrinArtをStable Diffusionのtxt2imgを使って試す

きれいめ系2次元イラスト画像生成モデル TrinArtをStable Diffusionのtxt2imgを使って試す

この記事は、mofmof Advent Calendar 202221日目の記事です。

前回の続きです。まだご覧になられていない方は、そちらからご覧ください。

前回同様、Stable Diffusionで使うモデルを別のものに変えて画像出力をしたいと思います。

今回は、タイトルにあるようにTrinArtを試したいと思います。

TrinArtとは

きれいめイラストが生成できると巷で話題のモデルです。

学習データがどれなのかは分からなかったですが、他のモデルと違って特化したデータで学習してるんだと思います。

今回使っているのは汎用モデルで、キャラクターに特化したモデルもあるようです。

実際に試す

ということで、TrinArt試します。

Stable Diffusionのセットアップについては、以前の記事をご参照ください。

セットアップ

以下、Stable Diffusionが使えるようになっている前提で進めます。

モデルをHugging Faceからダウンロードします。

私は「trinart2_step115000.ckpt」を使いました。

ダウンロードしたら、前回作ったディレクトリなど適当なディレクトリにckptファイルを移動させます。

以上です。

生成してみる

準備が出来たので生成してみます。今回もいつもと同じく馬に乗った宇宙飛行士です。

$ python scripts/txt2img.py --prompt "a photograph of an astronaut riding a horse" --plms --ckpt models/ldm/stable-diffusion-v1/trinart2_step115000.ckpt
a photograph of an astronaut riding a horse

全然違いますね。いい感じにきれいめなイラストが出力されました。

さいごに

最後に、TrinArt、Stable Diffusion、Wifu Diffusionで比較してみたいと思います。

TrinArt

a photograph of an astronaut riding a white horse in the desert

Wifu Diffusion

a photograph of an astronaut riding a white horse in the desert

Stable Diffusion

a photograph of an astronaut riding a white horse in the desert

生成したい画像がどういうものなのか、それに合わせたモデル選択をするとよりイメージに近い画像が生成できると思います。

それでは、良い画像生成ライフを!