PonyモデルでAI動画やるのはまだまだ大変そうなのでまずはSD1.5で試行錯誤を続けていたところ、
Comfyui動画_mei3 (1)
左:最初のサンプリング結果
中:アップスケールした結果
右:フェイスデテクター後の結果
なっちLoraを入れてるんですが、効いてるかどうかよくわからんですねw同じモデルとプロンプトでForgeで描いてもらうと
00096-43435094
それっぽく描いてくれるんだけどなぁ(´・ω・`)
なみにワークフローのベースは以前参考にしたサイトのやつで、配線整理なんかの細々した変更はありますが、大きくはソフトエッジ処理をバイパスにして、フェイスデテクターのモデルを
e7465f42b9129e31f2ded551c99d1c28
コレ↑に変えたくらいです。
初期設定では顔を切り出しして貼り替えるモデルだったんですが、フェイスデテクターで処理をした部分は画像が荒ぶるのと、ぼやけた感じが消えるので、胴体との差が大きくアイコラ感がすごかったので
740a2c0ca2982d8e65afd2aea2fe9f71
全体を書き直すやつに変更しましたw
フェイスデテクター処理をするとゴミがかなり出るので、これくらいのサイズなら中で止めてもよさそうですけどね。フェイスデテクター部分はメモリ不足でよくエラーでますし(´・ω・`)
フェイスデテクター部分でメモリ不足の場合は、
87de8ac3ff6d85e6c6180526a10719d7
guide_sizeを小さくすればとりあえず処理が継続できるみたいです(゚∀゚)デメリットは不明w
それにしても服とかのブレがどうしても排除できないんですよねー。普通の服を着せるとこのレベルで荒ぶりますw
AnimateDiff_vid2vid_LoRA_Full_00171
でも、一番大事なのは元動画の選定なんだろうなぁw
↓フレーム補完までやったやつ。↑のグリーンバックのGIFの1/4のコマ数です。