生成AiのLORAと六面図

生成Aiで静止画像を作っています。ある程度作り始めると同じキャラクタにいろいろなシーンを登場させたものを多く作るようになりました。

しかし同じ髪型＋服装プロンプトを使っても、背景、ポーズによって服装が微妙に違う事が多く悩んでいたところ、同じコミュの人からLORAを使う方法を教えていただきました。

LORA学習

LORA学習について調べてみました。
画像生成AIで「いつものキャラを同じ姿で出したい」時に使います。 髪型が変わったり、服の模様が消えたり、アクセサリが別物になったり……それを減らしてくれるのが LoRAという事です。
LoRAを使うと、キャラクターの髪型・服装・小物などをAIに覚えさせることができ、どんな構図でも安定した姿で生成できるようになる。

完璧になるという事ではなく、LORA学習されてないものよりは思ったものに近いものが生成されるという感じでしょうか。

教えていただいた方も、LORA学習してそれっぽいものが生成されるのでそこから、不要なものを消してを繰り返す作業という事でした。環境によってはコストと時間がかかるので、「どこまでこだわるか」「どこで妥協をするか」の話になってくるかと思います。

LORA学習手順

教えていただいた手順は
[六面図作成]ー[LORA学習]ー[生成画像確認]で、これを繰り返すという内容でした。
これだけでは詳細が分からなかったのでAiとネットで調べて取り掛かることにしました。

六面図を作成

六面図って聞いたことが無かったのですが、知れば「ああ」って感じでした。
アニメのキャラクターシートにある、白背景の正面、背面、側面の絵の事でした。アニメーターさんがこれを基本として動画の元となる１枚を書いていく作業になるのでしょうか。
それと同じようなことをAiにもさせるという事で学習という意味では納得がいきました。

六面図という事ですが、正面、背面、側面だと３面だけなので、作成するキャラの他に必要な面を確認して下記の画像を用意することになりました。
用意する基準はボタンの位置や襟袖部分、レースなどの装飾模様もなるべく同じものを選びます。

用意する画像も生成Aiなのですが、１回で同じようなものが出るはずもなく何度も同じプロンプトを回してそこから、なるべく同じような服装を選びました。　

アウター無しの画像は、服装にケープを着用しているので用意をしました。
ポーズや描画角度で上着などの下が見えた時に意図する画像にそろえるためにおこないます。

LORA学習に必要な項目

こちらは生成AIによって名称や項目の違いがあると思います。

トリガーワード

学習させたLORAを適応させるためのキーワードで、プロンプトの一部を入力することによりLORAの効果が効きます。
キーワードに入力するものは、キャラクタ名や固定となるプロンプトを入力します。
服装をキーワードにすると、キャラクタの服装を変えた場合プロンプトの服装よりもLORA学習時の服装が優先となる場合が多く、意図した作品にならないという事です。

私の場合はキャラクタの個性となる、[髪型][髪色][目の色][胸の大きさ]をキーワードとして登録しました。

カテゴリ

キャラクタのLORAなのでキャラを選択。

最後に

学習は１回で終わる場合もあれば、２回以上という事もあります。
１回目２回目とLORA学習させて画像生成して確認を行いましたが、LORA無よりは統一感は出てよくなりましたが、シーンによっては余分なものがついたりしました。
なるべくシンプルなものやAIが多く学習している標準的なものであれば、高い再現率が期待できますがその逆のものは中々難しいのかと感じます。