過去にも出てきたんですが、

HunyuanVideoのLoraが作れるMusubiTunerをGUIに対応させたコレ。
なにやらMusubiTunerがWan対応したのにあわせてこちらも対応したとのことなので試してみることに。（※本日記ではWanまで到達してませんw）
5070tiの方ではTorchのバージョンの関係ですぐに動かせなそうだったので以前使った3060環境を使用です。前回設定してるし楽勝と思ってたんですが結構苦労しましたｗ
まずはおさらいがてらHunyuanVideoの方をもう一度やってみようと思ったんですけど、tomlファイルの作成からして、/を2個重ねるの忘れてたりしてハマりました。前回の記録に書いてあるんですけどねー。手間を惜しんで過去日記見返さなかったおかげで無駄な時間を使いました(´・ω・`)
今回からキャッシュ作成時等のファイルの場所が指定できるようになってるんですけど、そのおかげで大ハマり_(:3 」∠)_
フォルダ指定でよくわからないところはあったものの、適当にやってみたらLora作成処理自体は終了したので、そのLoraを使って動画を描かせてみたら、

なんか目の配置オカシクね？( ﾟДﾟ)

ちなみに学習元は愛理ですｗ
なんとなく髪型とか反映されてる気がするものの推しの人にヌッコロされそうな出来栄えなので、ログを見直したところVAE等のファイル指定に問題がある様子。想定はしてたんですけどねw続きを読む

一連のSSDトラブル、結局、新しいSSDにデータを移し替えて一応の復旧はできたのですが、AI関係のデータが、特にStabilityMatrixの部分が飛んでおりサルベージ不能だったので新しいPCで環境を再構築することにしました。
新環境もStabilityMatrixを使うつもりだったのでなんの心配もしてなかったのですが・・・

AssertionError: Torch not compiled with CUDA enabled発生( ﾟДﾟ)ｷﾞｬｰ

発生したのはパッケージ追加したComfyUIの実行時。
直接の原因はパッケージ追加したComfyUIの中のtorchのバージョンが2.6で、まだ5070tiに対応してないということらしい。バージョン2.8.0だと対応してるのでそちらを入れなおせば解決なんですが、現時点では2.8.0はベータ版のようなので

こちらでインストール用のコマンドを確認して入れ直しました。
とりあえずこれで無事解決です。
今回、ComfyUIと一緒にreForgeのパッケージも追加してるんですけど、そっちはなにもしなくても普通に2.8.0がはいってるんですけどねー(´・ω・`)

Hunyuan Videoの方が、なかなか新しい情報が増えないので、新しいモデルでもないかなーと探していたところ、新しいモデルを見つけました。
ちょっと調べたら

アリババグループから公開されたもののようなので、これはまた性能に期待できるかも(ﾟ∀ﾟ)ということで早速導入です。
新しくComfyUIの環境を作って、各種モデル＆ワークフローはこちらで紹介されてるやつを使ってみます。あ、なんかワークフローを置いてるサイトのコメントでダウンロードしたら画像しか入ってないというコメントがあるんですけど、画像をComfyUIにドラック＆ドロップでワークフローが表示されます。
不足ノードはComfyUIManagerでインストールしました。
あとは基本的に配布元サイトに書いてあるとおりなんですけど、モデルデータとそれ以外のvaeなんかは別サイトが指定されてるのでそのとおりダウンロードして指定フォルダに配置。
で、適当な画像を読み込んで処理してみたんですが、

エラーでたー( ﾟДﾟ)
なんかTritonとかいうのが必要らしいです。で、Windows用のTriton入れてみたんですがまた別のエラーがでて収拾がつかないので、結局TorchCompileModelWanVideoのノードをバイパスしました(^^;;
速度にかかわる部分らしいので生成結果には影響ない・・はず・・たぶんｗ
再挑戦。
元画像は現在ガチャで出てるみやびん(∩´∀｀)∩

プロンプトはこちらに気づいてペロッと舌を出すみたいなプロンプトです。DeepLで英訳したんですけど、擬音とか入っててもだといい感じに翻訳してくれるのがAI翻訳はありがたいですねｗ
そしてできあがったのがこちら↓

これ元画像いるか？ｗまったく元画像が生かされてませんｗ
一応舌は出してますけど、

コレをみやびんとか言ったらボコられますよｗ
初っ端がヒドイ結果っだったのでイメージは最悪ですが、シードを変えれば一応少しはマシなのがでてきますｗ

なんで緑なのかは謎ですがｗ
HunYuanなんかとは全然使い勝手が違って、シードやネガティブプロンプトの影響がかなり高いのでどちらかといえば初期の画像生成に近いのかもですね。
他の人が作った動画はかなりいいのがあるんですけど、プロンプトを見ても狙った動作になってないのも多いんですよね。髪サラサラとか服ふわふわみたいな、なんとなく動く的なのはできるんですけど、狙った動きをさせるのはまだまだ情報が足りないなぁ。
HunYuanは比較的動きのコントロールがしやすかったので、あいうぉのショートアニメくらい作れるんじゃない？(ﾟ∀ﾟ)とか思いましたけど、現時点ではWan-AIでそれをやろうとは全く思えないですねｗ
まぁ、今回は普段全く使ってないi2vでのお試しということで、普段使うt2vの方で試してみたいところです。ホント時間足りないわー ε-(´・｀) 

※SSDトラブル直前に書いてたやつなので環境が吹っ飛んだ今となっては試すのはむっちゃ先になりそうです_(:3 」∠ )_

今までworkflowは、これ早い気がする～、くらいの感覚でチョイスしてたんですけど、ボチボチどれがいいのかわかんなくなってきたので、自分で指定してるプロンプトやサイズ、フレーム数、シードのみ指定してあとはデフォルト設定でどんなもんか試した結果のメモです。
各種パラメータは、動画のサイズが480x640、フレーム数45。プロンプトは
miyuki is a girl with brown hair and brown eyes, she is standing in a professional photography studio. front view.Realistic anime Style
シードは49543990584966にしてます。
続きを読む

えりりん登場！ということでガチャに合わせて作るつもりが、2月短いの忘れてたせいでガチャ終わっちゃいましたｗ
 
ということで猫とあそぶえりんｗ

ここんとこ毎日動画を作り続けてようやく使い方が見え始めたのですが、なっちモデルばかりなのも流石にアレなので他のキャラのLoraも追加していこうとしたところ、

やり方さっぱり忘れた( ﾟДﾟ)

既存のデータセットからLoraを作るところはこないだやったばかりなのでまだ記憶にあるのですが、昔作ったなっちのデータセットをずっと使いまわしてたので、データセットの作り方からして忘れてしまいました(ﾉ∀`)

てなわけで、またまた備忘録なんですけど、作業メモです。
---
続きを読む

弁当箱みたいなのしかできなかった ε-(´・｀) 

今話題の中国製AI、DEEPSEEKですが新たに環境を作るのが面倒なのでComfyUIで使えるやつないかなーとDEEPのキーワードでカスタムノードを探してたところ、ComfyUI_Custom_Nodes_AlekPetというのが出てきました。
コレ、DEEPSEEKとは全く関係ないヤツなんですけど、コレに含まれているTranslator CLIP Text Encode Nodeってのが入力したテキストを指定言語に翻訳してくれるノードらしくて、これを既存のプロンプトを入力するノードと入れ替えることで日本語入力が使えるようになりHunyuanVideoで作ってくれる画像が格段に良くなりました(ﾟ∀ﾟ)
静画作成と違って動画は単語のみの羅列では上手く書いてくれないというのもあって、なかなか苦労してたんですけれど、

こんな感じのがつくれるようになりました。ちなみにこれだとプロンプトはこんな感じ。（なっちLora使用）

むっちゃ便利なんですけど、いくつか問題も出ています。
これは実際に起きてしまってるんですが、一つは翻訳が全く効かないことがあるというもの。
原因ははっきりしないんですが、なんか翻訳先のサイトが使えないケースがちょこちょこあります。時間空けると回復してたりするんですが。

発生すると突然こんな感じになるｗ
もう一つがちょっと面倒な問題で翻訳内容が変化してしまうパターン。AI翻訳を使ってるせいか日本語プロンプトは同じなのに、時々で翻訳結果が変わってしまい完成する動画が変わってしまいます。動画のメタデータに埋め込まれてるのはComfyUIにD&Dしたときに取り込まれる部分のみなので、日本語しか入れてないと最終的にどんなプロンプトを使ったのかわかんなくて再現できなくなるので、

こんな感じで翻訳後の結果も表示するようにしておいた方が良いと思います(・ω・)
細かいニュアンスがコントロールしきれない部分もあるので、どうしてもダメなところは英語で入れてやるとその部分はそのまま英語で出てくれるので調整しやすいかもですね。