[스테이블 디퓨전 용어정리] Checkpoint, Lora, Embedding(Textual inversion), Hyper Network

 

Ⅰ. Checkpoint (Model) 란? 

---

체크포인트(Checkpoint )는 구현되는 이미지의 모델(Model)이 되는 부분을 말한다. 

다르게 얘기하면 이미지 스타일이라고 보면 된다. 

주로 anything, pastelmix, orangemix, caramel, chilloutmix 등 다양한 곳에서 모델 파일을 다운받을 수 있다.

이 이미지에 대한 저작권 논의는 계속 되고 있다는 점 또한 감안하여야 한다.

 

Checkpoint (Model) 사용 방법

 

Ⅱ. Lora, Embedding(Textual inversion), Hyper Network 란? 

---

로라(Lora), 임베딩(Embedding(Textual inversion이라고도 한다)), 하이퍼 네트워크(Hyper Network) 는 위 모델(체크포인트)를 토대로 부가적인 모델링 역할을 한다. 

간략히 얘기해보자면 아래 이미지와 같다.

상기와 같이 체크포인트(모델)을 기점으로 로라, 임베딩, 하이퍼 네트워크 3가지를 선택하여 부가적인 효과를 줄 수 있다.

여기서 고유의 효과를 강하게 나타내주는 Lora > Hyper Network > Embedding(Textual inversion)라고 생각하면 된다.

장단점을 간략히 기술해보자면 다음과 같다. 

 

1.  Lora

장점

로라는 영향력이 가장 큰 효과로 원하는 스타일을 가장 효과적으로 가정할 수 있다. 

따라서 시간 효율이 더 좋고, 이러한 장점을 바탕으로 선택할 수 있는 모델도 많다. 

동시에 여러 Lora를 사용할 수 있으며, 강도도 조절 가능하다. 

단점

단점은 딱히 없는 것 같다. 

Embedding(Textual inversion)보다 용량은 있지만, 크게 차이나지는 않는 것 같고, 좋은 모델들이 많기 때문에 큰 단점은 없다. 

2. Embedding(Textual inversion)

장점

임베딩은 로라에 비해서 큰 영향을 주지 않는 효과이다. 

좀 더 선명하게 표현한다던지, 명암의 강도를 올려주는 정도라고 생각하면 좋을 것 같다. 

2D 애니메이션의 경우 색감을 좀 더 예쁘게 한다던지, 수채화 느낌을 좀 더 주는 그 정도? 

용량도 가벼우면서 동시에 여러 Embedding도 사용 가능하다. 

단점

용량이 가볍지만, 효과가 적기 때문에 큰 효율은 기대하기 어렵다. 

 

3. Hyper Network

장점

하이퍼 네트워크는 상기 임베딩과 유사하다. 하지만 하이퍼 네트워크의 경우 효과가 조금 더 강하게 나타나기도 한다. 

로라와 임베딩의 중간으로 용량도 그에 비례한다. 

 

단점

단점 또한 로라와 임베딩의 중간이라고 생각하면 좋을 것 같다. 

첨언하자면, 큰 메리트가 딱히 없는 효과여서 모델 찾기가 쉽지 않다. 

모델은 로라가 더 많기 때문에 로라를 더 사용하게 되는 것 같다.