Lora, Embedding(Textual inversion), Hyper Network 적용하기

우리는 기본적으로 스테이블 디퓨전에 대하여, 기본적인 셋팅과 용어들을 알아보았고, Checkpoint 다운받는 방법과 적용하는 방법까지 알아보았다.

스테이블 디퓨전 실행하기 [나만의 이미지 만들.. : 네이버블로그 (naver.com)

스테이블 디퓨전 실행하기 [나만의 이미지 만들기]

---

 

 

 2강 용어 정리에서 아래 이미지와 같이 checkpoint 모델과 더불어 함께 효과를 줄 수 있는 방법 또한 알아본 바 있다.

(대략, checkpoint model 스타일을 기점으로 Lora, Embedding(Textual inversion), Hyper Network의 부가적인 효과를 넣을 수 있다는 내용이다.) 

 

이제 Lora, Embedding(Textual inversion), Hyper Network의 적용 방법을 알아보자. 

대략, checkpoint model 스타일을 기점으로  Lora, Embedding(Textual inversion), Hyper Network의 부가적인 효과를 넣을 수 있다는 내용이다.

 

---

. 

아래 예시 이미지 및 링크를 확인해보도록 하자. 

 

예시

 

 

Ⅰ. Lora 적용하기

---

1. 시비타이에서 로라를 다운받도록 한다. (역시 애니는 시비타이)

2.  예시 링크

Officer D.Va ( う-´)づ/̵͇̿̿/’̿’̿ ̿ ̿̿ ̿̿ (LoRA) - Officer_D.va_V1 | Stable Diffusion LoRA | Civitai

3. 구글 드라이브에 넣어준다.

 sd / stable-diffusion-webui / models / lora

4. webui에서 Generate 버튼 아래 show extra networks를 눌러준다.

5. Negative prompt 아래 Textual inversion, Hyper Network, checkpoint 옆에 lora를 클릭해준다

6. 효과를 주고 싶은 로라를 클릭해준다. 

7. 여러 로라를 사용할 경우 합을 1로 맞추어 비율을 조정해준다.

8. 로라에 내재되어 있는 Trigger Words 를 입력해준다. (각 로라 다운받은 사이트에 표기되어 있음.)

 

 

---

---

 

 

이미지 확인

역시 가장 강한 것은 checkpoint 모델이고 로라는 그 부수적인 역할로 전반적인 이미지, 선명도를 조절해 준다는 것을 볼 수 있다. 뒤 배경도 좀 더 세련되게 변했고, 눈 모양과 머리가 변한 것을 확인 할 수 있다. 

좀 더 강한 로라를 강하게 사용해주면 보다 로라의 효과가 강해지겠지만, 어느정도 한계는 있는 듯 하다. 

 

 

 

 

Ⅱ. Embedding(Textual inversion) 적용하기

---

1. 시비타이에서 임베딩 다운받도록 한다. 

2.  예시 링크

Josephine Skriver - v1.0 | Stable Diffusion Textual Inversion | Civitai

3. 구글 드라이브에 넣어준다.

 sd / stable-diffusion-webui / embedding

4. webui에서 Generate 버튼 아래 show extra networks를 눌러준다.

5. Negative prompt 아래, 맨 앞에 있는 Textual inversion을 클릭해준다.

6. 효과를 주고 싶은 텍스쳐를 클릭해준다. (로라와 같다. )

7. 여러 텍스쳐를 사용할 경우 합을 1로 맞추어 비율을 조정해준다.(로라와 같다. )

8. 로라와 다른 점은, negative prompt를 입력한다는 것이다. 

 

 

 

 

Ⅲ. Hyper Network 적용하기

---

1. 시비타이에서 하이퍼 네트워크를 다운받도록 한다.

2.  예시 링크

Anna Miller Hypernetwork - v1.0 | Stable Diffusion Hypernetwork | Civitai

3. 구글 드라이브에 넣어준다.

 sd / stable-diffusion-webui / models / Hyper Network

4. webui에서 Generate 버튼 아래 show extra networks를 눌러준다.

5. Negative prompt 아래 Textual inversion 옆에 Hyper Network를 클릭해준다

6. 효과를 주고 싶은 하이퍼 네트워크를 클릭해준다. .(로라와 같다. )

7. 여러 하이퍼 네트워크를 사용할 경우 합을 1로 맞추어 비율을 조정해준다..(로라와 같다. )