年始に組み立てたカッケー自作PCがあるのですが、最近はパルワールドをするくらいで、そこまでゲームをするわけでもなく眠っているGTX4070を活かすため流行りの生成AIをやっていきます。
前組んだGTX1080世代のPCが古くなったから今回はケースも含めて組み直した
— AAkira (@_a_akira) January 8, 2024
各店舗の初売り限定n台を組み合わせて総額で5万弱安くなった代わりにグラボを妥協したからRTXのSuper出るし必要になったら買い替えたい
最近流行りのピラーレスケースがカッケー pic.twitter.com/fmwTkGN5ut
もともとは定番のStable diffusion WebUIをGit経由でダウンロードして使っていたのですが、いわゆるAUTOMATIC1111だと環境構築がいろいろ面倒なため、今回は管理が楽になると噂のStablilityMatrix に移行してみました。
今回はWindows 11に導入していきます。
インストール
GitHubのリリースページ
にzipがあるのでDLして解凍すると StablilityMatrix.exe があります。
Stable diffusion WebUIをインストールするためには、自分でPython, Gitをインストールして環境構築の必要があるので全て自動でできるのはとても楽ですね。
インストールディレクトリの選択でPortableモードにチェックを入れると、exeファイルと同じディレクトリにDataフォルダが作成されて、そこに諸々インストールされます。
複数PCでの作業をする際に設定をディレクトリごと移動すれば良くなるので個人的にはチェックをいれるのがおすすめですが、好みなので用途に合わせて選択してください。
私はCドライブとは別に、ソフトインストール用に4TBのSSDを使っているので、そこにインストールします。
(生成画像の保存ディレクトリだけ変えたい場合はWebUI上で変更できます)
インストールディレクトリを選択すると、インストーラー画面が表示されます。
いろいろありますが、今回はStable Diffusion WebUI Forgeをインストールします。
モデルも好きなのをダウンロードしましょう。
プラグインっぽくワンクリックでインストールできるので、めちゃくちゃ楽に追加できます。
これもそれなりに面倒だなと思っていた部分なので、こんなに簡単にできるのは驚きです。
起動&生成
- 起動
諸々のインストールが終わったら左のメニューからLaunchを開いて、緑色のLaunchボタン押して起動しましょう。
PythonやStable Diffusion WebUI Forge自体のバージョンなどが表示され、初回はGitからclone後にWEBブラウザにいつもの画面が自動起動します。
- 生成
最初にダウンロードしたモデルを選んで、プロンプトを入れて生成してみましょう。
なんとなく、30歳ぐらいの屈強な男性を作ってみました。ロケーションとかは指定していないのでイメージ通りの画像が作られたと思います。
こんな感じで、いろいろプロンプトを打ったりパラメータをいじって楽しめます。
モデル導入
人物だけだとつまらないので、他のモデルも使ってみます。
Stability MatrixのModel Browserを選んで、使いたいモデルを検索してみましょう。
今回はポケモンっぽいモンスターを生成してみます。
とりあえず、てきとうに選んだモデルでピカチュウを生成してみたら外国に行ったときに屋台とかで売ってそうなピカチュウが生成されましたｗ
これだと絵のタッチもポケモンっぽくなくピカチュウっぽいなにかなので、いい感じにポケモンを生成できるモデルを選んでから生成してみます。
今回は Pokemon と検索して一番ダウンロードされているモデルを選んでみます。
(モデルはNSFWなものが多くあるので気をつけてください。右上にある NSFWを表示にチェックをいれるとプレビュー画像は非表示になります。ただNSFWをチェックすると体感ほぼプレビューは見れなくなります)
一番ダウンロードされている、Pokemon LoRA をダウンロードします。
ただ、このモデルはLoRAなので、モデルタイプをCheckPoint に絞ってAnyLoRA Anime Mix
もダウンロードします。
モデル確認
メニューの Checkpoints を開けばインストール済みのモデル一覧が表示されます。
右上の モデルの見出し画像を表示 ボタンを押せば先ほど表示されていたモデルのプレビュー画像も表示可能です。
画像生成
モデルの準備ができたので、実際にモンスターを生成してみましょう。
WebUIに戻って左上の Stable Diffusion checkpoint の横にあるrefreshボタンで再読み込みします。
ダウンロードした AnyloraAnimeMix を選択しましょう。
プロンプトの書き方はいろいろあるのですが、コツが必要なので今回はAnyloraAnimeMixの作者のプロンプトをほぼ使わせていただきました。
ポイントは、AnyLoRA Anime Mix はClip Skipを2にする必要があるのと、Pokemon LoRA のドキュメントを見ると、V3からはweightを1, trigger wordがなくても動作するようになっているみたいです。
成果物
未だポケモン本編には登場していないタイプである、ノーマルとこおりの複合タイプを持った犬っぽいポケモンを生成します。
ポケモンのテイストがあって、色合いも実際にありそうです。パルワールドに登場していてもおかしくはないでしょう。
うちで飼っている犬にも似ていて可愛いですね🥰
他にもいくつか生成しましたが、個人的にはこの1枚が可愛くて好きでした。
おまけ
Stable Diffusion WebUIもいいですが、Stability MatrixではComfyUIをが使えるInference という機能があります。
Inferenceを使えばStability Matrix上でプロンプトから画像を生成できて、ブラウザ上でグラフィカルにパラメータを変更できます。(ComfyUIのダウンロードが必須)
いろいろ試していたら、よりポケモンっぽいモンスターも生成できました。
まとめ
今までは面倒だった環境構築や、複数ソフトウェアの利用、モデル管理が簡単なUIでできるようになって最高でした。
プロンプト力がまだ足りないので、もう少しいろいろ遊んでみたいと思います。