先日ControlNet 1.1がリリースされいろいろ触っていたところ、手軽に写真をイラスト風にする手法を生み出したのでメモしておく。
以前からimg2imgとControlNetを組み合わせる手法は提案していたのだが、毎回写真に合わせたプロンプトを書かないとならなかったので面倒だった。今回ControlNet 追加されたInstructPix2Pixを使用することで、簡単にディティールを保ちながら変換することができた。
web UIへの拡張機能とモデルの導入は以下のリポジトリに記載されているとおりに行う。
設定値等は以下を参考にいろいろ試して研究してみてほしい。
- モデルは任意のイラスト生成モデルを使用
(下記の画像はAnything V5を使用) - プロンプトは「make it illustration」、ネガティブプロンプトは「EasyNegative, (worst quality, low quality:1.5)」など
- Denoising strengthは0.9程度
晴れの日に撮影した写真のほうがいい感じになるかも。
