↓今回のゴールｗ中身はほぼ自己メモです(`・ω・´)

FramePackで色々遊んでたんですが、FramePackStudioってのが時間で動作指定できたり、キューで連続生成が可能ということらしいので、早速導入することにしました。
どうせならFramePackの導入で失敗したままになっているRTX5060のパソコンに入れたいということでで、現在使用中のpython3.13環境になんとか入れようとしたんだけど、エラーがでまくってどうにもならないので環境構築からやり直しデス_(:3 」∠)_ 
---
続きを読む

ホントこの分野は進化が早くて困っちゃいますが、最近ホットらしいFramepackとやらを試してみました(ﾟ∀ﾟ)
Stabilitymatrixで導入できたら楽だったんですがまだムリみたいなので公式から持ってくることに。

Windows用のお手軽パックが配布されているので、ダウンロードしたファイルを解凍＆実行でさっくり終わるはずだったんですが・・・。
実行後の必要ファイルのダウンロードで数時間。メイン画面は起動したので動かしたい画像をペタリと貼って【StartGeneration】をポチリ。

わたしは普段、Steamで覇道をプレイしてるんですが、Steam版は画面が広いのはいいんですが人数の多い戦闘なんかだと描画がおかしくなって、ロード馬が走ったままになったりクライアントが落ちたりするので、攻城戦のときにはNOXを使ってます。
なんですが、この間NOXのデータファイルが壊れてしまったらしく覇道が起動しなくなったので、この機会にNOXのアンドロイドのバージョンを７から12にあげてみたところ、

右クリックでキャンセルができなくなった( ﾟДﾟ)

覇道だけでなく全般的に利かないので、仕様変更かー(´・ω・`)と最初は受け入れてたんですけどねー。右クリでキャンセルできなくてもそんなに問題ないだろうと思ってたんですけど、これが予想以上に煩わしい( ﾟДﾟ)
いちいち【いいえ】とか選ぶのがこんなに面倒とは思いませんでしたｗ
こりゃあかんということで、まじめに解決方法を探してみた結果、

NOXの設定（歯車アイコン）のショートカットの設定内、赤枠のところのチェックがついてませんでした。このあたりの設定は特に触ってないと思うのでデフォルトがオフになったのかなぁ。
チェックをつけて再起動したところちゃんと右クリックでキャンセル(ESC)できるようになりました(∩´∀｀)∩ｶｲﾃｷ
マジ右クリキャンセルは必須だわぁｗ

なんでまたI2Vかというと例の目が再現できない症状がI2Vならいけるんじゃね？って考えたからです。
で、なんかいい感じのワークフローないかなーって探してたところ、CIVITAIで【IMG to VIDEO simple workflow WAN2.1 | GGUF | LoRA | UPSCALE | TeaCache】ってのを発見。
正直これが良いものかどうかわからんのですが、ダウンロード数も多いし他の探すのも面倒なので使ってみることにしました。
あ、いつもどおり備忘録も兼ねてますｗ
---
導入方法は今更なんですけど、CIVITAIからダウンロードしたファイルを展開するとjsonファイルが4つ入ってるんで使うやつをComfyuiにD&Dです。CIVITAIのサイトで必要なモデル等が書いてるんですがこの説明GGUF用なんですよね。
導入時になんも考えずにbase用のjsonをD&DしてたんでGGUFモデル取り込めねぇ( ﾟДﾟ)とか思ってましたがｗ
あと、導入時に大量のカスタムノードを入れることになりますが、

新しいバージョンのComfyUIではこの後なんか自動でインストールを促す画面がでるんですね。この画面だといくつか途中で止まっちゃうカスタムノードのがあったんですけど、ComfyUIManagerから入れると問題なく入りました(ﾟ∀ﾟ)
古いComfyUIの場合はいつも通りComfyUIManagerから自力でインストールですｗ
カスタムノードの導入が終わればとりあえず赤い枠で囲まれたところはなくなってると思います。

あとは公式で指定されてる↑ファイルを指定場所に配置すればOK。配置後ブラウザの再起動とファイルの再指定はお忘れなく。

アップスケーラーだけは指定場所に入れても選択肢に出てこないんですけどなんでだろうなぁ。デフォで入ってるの使えるからいいんだけど。
で、本番ですけど、まずは動かす静止画を指定。

プロンプトは一応入れることはできますが、入れても動きが元画像にかなり引っ張られるので今回はデフォで行きます。

解像度とかをマウスでお手軽に変更できるはずなのですが全然クリック効きませんｗということでデフォのままｗあとで再確認しよう
そのまま起動すると、

エラーが出ちゃうんですが、Tritonが入ってないと出るやつらしいです。
わたしはTritonの入れ方がよくわかんないのでTorchコンパイルをNOにしました。

とりあえずこれでエラーは出なくなります。生成速度に影響するらしいですが詳しくは知りませんｗ
結果

とりあえず目のイメージはそのままで動かせました
まぁ、今のレベルでは動きが全然足りてませんけどｗ
もう少し使いこなせればLora＋T2Vくらいまでいけるかなぁ。
これやってるとLoraとT2Vで直接動かすのと元画像生成してそれをI2Vで動かすのとどっちがいいんだろうとか思うんですよねー。CIVITAI見てるとI2V優勢に見えるけど自分でやるとT2Vの方が使いやすい気がするんだけどなぁ。

アイうぉLoraで目がいまいちいい感じで再現してくれないのでちょっと別のキャラで試してみることにしました。
ターゲットはこの人ですｗ

眼に特徴があるので〇×がわかりやすいはず。決してちょうどGQuuuuuuX見てテンション上がってるワケジャナイデス。
とはいえ私服登場シーンがあんまりないので学習材料が足りないんですけどね(´・ω・`)
続きを読む

こないだ作ったLoraを使って、ライブっぽいのを描かせてみました。
まずうらら＆愛音。

 
うららはともかくやっぱり愛音は厳しいんですよねー。一意専心の愛音はこんなかんじの髪型なんですけど普段はもっとクシャクシャしてますしね。なんて指定すればいいのやら(´・ω・`)
そして今回、ＧＷで時間が取れたので追加でめぐちゃんを生成。学習画像は7枚。

なお、めぐちゃんをチョイスした理由はそろそろガチャで登場しそうだからｗ



目は相変わらずなんだけど髪型で判別しやすいせいか意外とﾜﾙｸﾅｲ感じｶﾓ？学習枚数も影響してるのかしら？
枚数については少し他のキャラでも試してみよう(・ω・)

前回作ったまおちーに続いて、うららと愛音を作ってみたんですけど、

うららの方は最初、↑誰やねん！みたいな感じになったんで、なんとか怒る感じのプロンプトで

なんとかこの辺までもっていったんですけど、愛音の方は・・

いやホンマ誰やねん！( ﾟДﾟ)

で、色々プロンプトを直したりした結果、↑これが一番マシかなぁ。AIはトリッキーな髪型は再現しづらいんですけど、静止画ではうららのおでこ出しに比べれば愛音の髪は簡単に出てたんですけどねー。
でも一番きついのは目。まおちーもそうでしたけど目が一番操作効かない感じですね。
静止画だと眼って真っ先にLoraの恩恵でてたんですけどねー。
Loraが効いてないのかとも思ったんですが、


バイパスするとこんな感じなので一応効いてはいる模様。
ＧＷもあるんでもう少し試行錯誤してみようとは思いますが・・。

Lora自体は前回の

ここの手順に従って作りました。モデルは14Bを使ってます。
今回は学習元はまおちー。

続きを読む