Stable Diffusion生圖步驟 - Stable Diffusion練習，照片縫合AI圖 | Penana

Login

Register

Please use Chrome or Firefox for better user experience!

Comments

Show more...

9

0

Prev

Next

Style

Expand

Menu

coins

Sponsor

Request update

Share

Report

#6

Stable Diffusion練習，照片縫合AI圖

子不語

Apr 11, 2024

434

5 Mins Read

x

前言

今天要聊聊一個我最近AI作圖時常用的手法，就是使用真實世界的照片拼接縫合進AI生產的圖片後，補完AI作圖常出現的缺陷（歪曲的武器、錯誤的肢體姿勢、手指錯誤）。

使用這個方法，可以讓AI更貼近我所需要的完成圖，且少了很多用繪圖軟體修修補補的時間，對於畫技能力零的我來說，直接使用真實事件的物件（或繪圖軟體建模物件），可以讓我省略憑空畫出物件的功夫！

438Please respect copyright.ＰＥＮＡＮＡnRkcFPjYPc

正文

通常在AI生圖時，AI並不是什麼東西都認識，尤其ACG動漫裡很常見的武器、英雄蹲姿等帥氣姿勢，一般的AI其實並不太認識，因為這些姿勢的訓練圖片並不多，因此即使使用OpenPose等方法補助，也很容易出現歪曲肢體，更別談武器、槍械等元素，AI產出的武器要不是歪曲的，要不就是在錯的位置。

使用武器等提示詞出來的圖通常都是巨型災難。

而現行最簡單的解決方法，除了使用特定的LoRA來生成武器之外，一個更快的方法就是自己畫上去，再用Inpaint加上ControlNet的Canny保留線條但更改畫風。

但如果畫技不佳，或者需要讓物品保持穩定（例如武器都要同一把，顏色不能跑掉），那最簡便快速的方法，可能就是直接購買實物，然後拍照合成！

我以下圖為起始點，介紹這個方法。

438Please respect copyright.ＰＥＮＡＮＡvZjw43s1AQ

需求

為了在小說中配圖，我需要替女主角生成一個帥氣的持劍姿勢。並且保持她的服裝為定裝圖的同一套服裝。

在這邊AI會出現的問題是

AI產生出來的姿勢都不符合我的需求
她手持的武士刀必須是同一把
服裝必須與定裝圖一致

以下我使用了這些方法來生成圖片，以解決碰到的問題。

步驟

首先，我使用Google搜尋，找尋「忍者、蹲姿」等關鍵字，找尋我喜歡的姿勢。

在這方面，AI被搜尋引擎壓著打。截自目前為止，我最滿意的動作圖片，都是從網路上找到樣本照片然後再擷取骨架以生成AI圖片。

438Please respect copyright.ＰＥＮＡＮＡaXhSnBzTrT

438Please respect copyright.ＰＥＮＡＮＡAkzKdBFboD

zoomable

真實照片以及OpenPose圖

在這邊要注意，OpenPose的自動偵測演算法並不能百分之百找到所有的關節點，因此還需要開啟OpenPose Editor來自行調整骨架圖到正確的點上。

生成了幾十張1152X768圖片後，我挑選了一張我滿意的圖片：

438Please respect copyright.ＰＥＮＡＮＡGl7eYtbUup

zoomable

第一素材圖

438Please respect copyright.ＰＥＮＡＮＡOaKYQNiVt8

（生成1000像素以上的大圖片，優點是手部的手指有比較高的機率服從OpenPose的指揮，生出正常的手。）

以這張素材圖為出發點，我調整了人物的頭髮顏色（藍色變黑色），並且將真實照片的腳部剪下拼接到素材圖上，然後再從另一張圖上把紅色斗篷拼接到素材圖上，得到了一個半成品：

438Please respect copyright.ＰＥＮＡＮＡWnFjsb4yIp

zoomable

拼合後的半成品

438Please respect copyright.ＰＥＮＡＮＡ2y3tRL6B05

接下來，我要處理手持武器的部分。

由於對角色的愛，我真的去買了一隻武士刀造型的拆信刀當作角色武器的模型。

比較省錢的做法其實是使用Blender或CSP等軟體，購買武士刀的3D建模模組來擷取圖片，但因為實物拍照不用另外學建模技巧，且可以沒事拿來把玩😂，所以我選擇實物拍照。

將拆信刀依照需要的角度和透視擺出姿勢後拍照，然後去背後得到一個單純的素材圖：

武士刀模型

武士刀模型

438Please respect copyright.ＰＥＮＡＮＡwpj4jl8BHn

將圖片匯入繪圖軟體後，選轉、縮放、透視縮放後挪到預定的位置，再使用橡皮擦擦除手柄部位，讓手露出來，再稍稍修改彎曲手指並增加陰影之後，握著武士刀的手就完成了！

438Please respect copyright.ＰＥＮＡＮＡUO1tMtB3cT

zoomable

將武士刀合成後的半成品

438Please respect copyright.ＰＥＮＡＮＡz87G95mEII

接下來是服裝的統合度。AI生圖時，使用固定的服裝提示詞可以幫助我們粗略地做出大略一致的服裝，但是要想完全貼合定裝圖的樣子，我們可能只能自己畫，或像我一樣，使用剪貼大法，將衣物配件從定裝圖上剪下來後貼在新的圖上。

438Please respect copyright.ＰＥＮＡＮＡERN6QB3pYG

zoomable

角色定裝圖

438Please respect copyright.ＰＥＮＡＮＡaZa7hCcErK

以女主角的服裝為例，她有一個白色領巾，極難在AI中重複生成，所以除非自己畫，要不就得將它剪下貼上，再縮放貼上後，加上透視縮放更改它的角度與遠近，再依照圖片的光影改變他的色調與陰影，這些步驟都需要美術技巧，單純的AI生圖題示字是無能為力的。

438Please respect copyright.ＰＥＮＡＮＡiZTleJaRZr

下面的完成圖，除了白色領巾外，我也自行添加胸部高光塑造體積感，並將武士刀刀刃塗上藍色光芒。褲子上也添加了深色陰影以塑造體積。

438Please respect copyright.ＰＥＮＡＮＡX7pIvBJ0rO

zoomable

完成圖

438Please respect copyright.ＰＥＮＡＮＡzs7enDMVjz

而放在開頭的圖片，則是在完成圖的基礎上，再換了背景圖之後得到的另一版完成圖。

438Please respect copyright.ＰＥＮＡＮＡFbveJnOedk

結論

直到目前為止，AI生圖依舊有很多侷限，需要靠人類學習美術知識以修正，因此當我們在AI生圖碰上瓶頸時，最佳的作法依然是增強自己的美術知識，並且自己親手修正圖片的錯誤，甚至是使用現實世界的照片來引導AI，幫助它走出幻境。

438Please respect copyright.ＰＥＮＡＮＡKF0OjrVHKs

我也使用了同一件武器修正了許多非常離譜的AI錯誤。

可以發現，只要給予大致正確的半成品圖，再使用部分重繪，AI通常都能很好地修復錯誤！

438Please respect copyright.ＰＥＮＡＮＡNZXbL9Jxjb

zoomable

錯誤的武器圖

zoomable

修正的武器圖，連手指也一並修正了

438Please respect copyright.ＰＥＮＡＮＡJTs6rsoWAv

438Please respect copyright.ＰＥＮＡＮＡKn2DG5aZ2m

zoomable

錯手，且刀刃錯誤

zoomable

修正左右手，並改成正確刀鞘

438Please respect copyright.ＰＥＮＡＮＡ70BKFo7EFn

zoomable

直接將武士刀合成在腰帶位置

438Please respect copyright.ＰＥＮＡＮＡdgp3dgfYnO

438Please respect copyright.ＰＥＮＡＮＡ7wSfxpwtYL

祝大家AI生圖愉快！

ns216.73.216.111da2

0

coins

9 likes Suggest Edits

Previous Issue >

Stable Diffusion生圖步驟

Bookmark!

Request update 0

Table of Contents

#1 Stable Diffusion練習，友情

#2 Stable Diffusion練習，渡鴉招喚師

#3 Stable Diffusion練習，座狼騎兵哈娜

#4 Stable Diffusion練習，四美圖

#5 Stable Diffusion練習，阿蓮娜破蛹羽化

#6 Stable Diffusion練習，照片縫合AI圖

#7 Stable Diffusion練習，英雄落地姿

#8 Stable Diffusion練習，營火

#9 Stable Diffusion練習，凌空降落