実はAnimateDiffでPonyモデルを使いたいってのは、
この日記を書いた時から考えていて色々試してはいたんですが、SD15ではいけるもののXLモデルを使うと
こんな感じの謎画像になってしまって途方に暮れてたんですよね(´・ω・`)
今回3連休ということで本腰入れていじってみたところ、何とか一応使えるようになったので忘れないための備忘録です(゚∀゚)
この日記を書いた時から考えていて色々試してはいたんですが、SD15ではいけるもののXLモデルを使うと
こんな感じの謎画像になってしまって途方に暮れてたんですよね(´・ω・`)
今回3連休ということで本腰入れていじってみたところ、何とか一応使えるようになったので忘れないための備忘録です(゚∀゚)
ベースのワークフローは以前のやつじゃなくて、別サイトのを使わせてもらいました。
こちらのワークフローはSDXL用になっているのでそのままモデルだけponyにしても動いたりします(゚∀゚)
ただAnimateDiff loderの設定を弄っていたところ、いきなり画像が動画じゃなくてバラバラの画像に( ゚Д゚)
これの解決策がわかんなくてえらく時間を喰ったんですが、
AnimateDiff Loderのパラメータを弄ると、パラメータを元に戻してもちゃんと動画が作成されなくなってしまい、サーバ再起動が必要のようです。うちの環境だけかもですが(´・ω・`)
一応、図の設定で再起動したら、ちゃんと連続性のある画像に戻りました(゚∀゚)
これに、前回の動画のワークフローを参考に、ControlNetとかを足していったところ、
道明寺がベースの動画、できたのがなっち(generated by 7th Anime XL pony(merged by syaimu))です。動きがない元動画なのであまりぱっとしないんですがw
あと、上のはGIF変換してるんで現物はもっとノイズは少ないです。
PONYモデルを使おうとすると致命的な問題があって、低解像度のときの画像劣化がヒドイので解像度を上げてるんですが、グラボのメモリ不足でフレーム数がかなり制限されるんですよね(´・ω・`)
RTX3060(12GB)を使ってるんですが、正直このクラスのグラボだとPonyの綺麗さが生かせないので、PonyよりもSD1.5の方がウニウニ動くいい感じの動画ができそうな気がします。
まぁ、今のワークフローもロクに理解できてないのでまずそこからですけどねw
CivitaiにはPonyのすごくきれいなの上げてる人がいるんですよねー。もっと勉強しないと(´・ω・`)
こちらのワークフローはSDXL用になっているのでそのままモデルだけponyにしても動いたりします(゚∀゚)
ただAnimateDiff loderの設定を弄っていたところ、いきなり画像が動画じゃなくてバラバラの画像に( ゚Д゚)
これの解決策がわかんなくてえらく時間を喰ったんですが、
AnimateDiff Loderのパラメータを弄ると、パラメータを元に戻してもちゃんと動画が作成されなくなってしまい、サーバ再起動が必要のようです。うちの環境だけかもですが(´・ω・`)
一応、図の設定で再起動したら、ちゃんと連続性のある画像に戻りました(゚∀゚)
これに、前回の動画のワークフローを参考に、ControlNetとかを足していったところ、
道明寺がベースの動画、できたのがなっち(generated by 7th Anime XL pony(merged by syaimu))です。動きがない元動画なのであまりぱっとしないんですがw
あと、上のはGIF変換してるんで現物はもっとノイズは少ないです。
PONYモデルを使おうとすると致命的な問題があって、低解像度のときの画像劣化がヒドイので解像度を上げてるんですが、グラボのメモリ不足でフレーム数がかなり制限されるんですよね(´・ω・`)
RTX3060(12GB)を使ってるんですが、正直このクラスのグラボだとPonyの綺麗さが生かせないので、PonyよりもSD1.5の方がウニウニ動くいい感じの動画ができそうな気がします。
まぁ、今のワークフローもロクに理解できてないのでまずそこからですけどねw
CivitaiにはPonyのすごくきれいなの上げてる人がいるんですよねー。もっと勉強しないと(´・ω・`)
コメント