진짜 사람같은 AI 그림을 만들어보자! Stable Diffusion + Custom model 적용 방법 (예제 Prompt 공유)

chilloutmix model + koreanDollLikeness 조합으로 10초만에 생성한 그림

	Parameters
Prompt	best quality, ultra high res, (photorealistic:1.4), 1girl, (Kpop idol), posing, (aegyo sal:1), busty, curvy, small chest, (light blue hair:1), ((puffy eyes)), looking at viewer, laughing, happy, full body, sleeveless white button shirt, black skirt, black choker, beach <lora:koreanDollLikeness_v10:0.6>
Negative prompt	paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,
Steps	28
Sampler	DPM++ SDE Karras
CFG scale	8
Seed	2139785951
Face restoration	GFPGAN
Size	512x512
Model	chilloutmix_NiCkpt

 

※ 이 게시물에서 소개해드린 모델들의 링크가 만료된 것들이 많습니다. 아래 업데이트 글에서 최신 모델 링크도 공유하였으니 참고하시기 바랍니다.

2023.03.06 - [공부/AI] - 업데이트된 커스텀 모델 받아가세요 (진짜 사람같은 AI그림 - Stable Diffusion) - 자세한 설명 포함

업데이트된 커스텀 모델 받아가세요 (진짜 사람같은 AI그림 - Stable Diffusion) - 자세한 설명 포함

 

준비

Stable Diffusion WebUI

우선 Stable Diffusion을 웹 인터페이스로 사용하기 위해 Stable Diffusion WebUI 설치가 필요합니다.

 

AUTOMATIC1111이라는 제작자가 만들었으며 아래 링크에 들어가면 모든 설명이 자세하게 나와있습니다.

https://github.com/AUTOMATIC1111/stable-diffusion-webui

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

 

온라인 서비스를 사용하여 클라우드 공간에 설치할 수 있으며, 본인의 PC에 직접 설치할 수도 있습니다.

두가지 방법의 장단점에 대해 간단히 요약하면 다음과 같습니다.

 

온라인 서비스

구글 코랩을 통해 클라우드 상에서 PC 및 GPU 자원을 임시로 대여하여 설치 및 실행하는 방법입니다.

 

구글 코랩 사용 시, 구글 로그인 및 확장 프로그램 설치, GPU 설정 등의 준비가 필요하므로 아래 링크를 참고하시기 바랍니다 (링크로 지정된 위치의 내용부터 런타임 유형 변경을 통해 GPU 설정 부분까지만 보시면 됩니다)

 

인공지능(AI) 그림을 크레딧 충전없이 무제한으로 1분만에 그리는 방법 (Stable Diffusion + 구글 Colab

 

Stable diffusion WebUI의 온라인 서비스를 위한 여러 관리자의 코랩 문서가 있지만 그 중 하나의 링크를 아래에 걸어드립니다.

https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast_stable_diffusion_AUTOMATIC1111.ipynb

fast_stable_diffusion_AUTOMATIC1111.ipynb

 

위의 링크에 들어가서 "Drive로 복사" 버튼을 누르면 자신만의 사본을 만들 수 있습니다.

사본 만들기

 

이후 왼쪽에 표시된 재생 버튼을 순서대로 눌러주시면 필요한 코드들이 실행됩니다.

순서대로 코드를 실행시킨다.

첫번째 코드를 실행하면 본인의 구글 드라이브 권한을 허용해달라고 하는데 생성 이미지 저장이나 모델 파일 지정을 위해 필요하므로 허용을 해줍니다.

 

각 단계의 코드 실행이 완료된 것을 확인한 뒤 다음 코드를 실행하면 됩니다.

코드 실행 중

 

코드 실행 완료

 

다운로드할 모델을 선택할 수도 있고 다른 곳에서 받은 모델을 본인의 구글 드라이브에 업로드하여 그 경로를 입력하는 방법, 외부 링크를 입력하는 방법이 있습니다.

 

첫 실행은 기본 모델로 진행해보도록 하겠습니다.

모델 선택

 

1.5 버전을 선택한 뒤 다른 것은 그대로 두고 코드 실행을 합니다.

 

마지막으로 Stable Diffusion을 실행해줍니다.

"Use_localtunnel"에 체크를 하지 않고 인증 정보도 필요없으니 비워둔 상태로 진행합니다.

최종 실행

 

모두 완료가 되면 다음과 같이 임시 링크가 생성되는데 이곳에 접속하면 Stable Diffusion WebUI의 화면을 볼 수 있습니다.

임시 링크가 생성되었다.

 

온라인 서비스로 실행된 Stable Diffusion WebUI 화면

 

다만 무료로 사용 시에는 유지되는 세션 시간에 제한이 있으며 세션이 만료되면 대부분의 설치 과정을 다시 진행해야하는 번거로움이 있습니다.

또한 모델 파일을 받아서 구글 드라이브에 업로드한 뒤 경로 지정을 해줘야 하는 등의 불편함도 있습니다.

 

그러나 최소 사양을 만족하는 GPU를 보유하지 않고 있는 분들도 위의 몇가지 단점만 감안한다면 무료로 사용이 가능하므로 참고하시기 바랍니다.

 

로컬 PC 설치

직접 본인의 PC에 설치하여 동작시키는 방법입니다.

요구되는 GPU의 최소 사양이 있고 사용을 원할 때마다 PC을 켜야한다는 불편함이 있습니다.

 

설치는 어렵지 않으며 한번 설치해놓으면 기간 제한 없이 계속하여 무제한으로 사용이 가능한 장점이 있습니다.

서비스를 종료하더라도 최초 설치 과정만 지나면 재구동은 상당히 빠르게 이루어집니다.

 

또한 모델 다운로드 후 지정된 폴더에 복사만 해놓으면 바로 적용이 가능하기 때문에 이 부분도 매우 편리하다고 생각됩니다.

 

온라인 서비스의 경우 생성된 이미지가 구글 드라이브 등으로 저장되나 로컬 PC 버전은 지정된 폴더에 저장이 되므로 상대적으로 용량 걱정도 적습니다.

 

설치 방법은 아래 내용이 전부입니다.

 

Automatic Installation on Windows

1. Install Python 3.10.6, checking "Add Python to PATH"
2. Install git.
3. Download the stable-diffusion-webui repository, for example by running git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git.
4. Place stable diffusion checkpoint (model.ckpt) in the models/Stable-diffusion directory (see dependencies for where to get it).
5. Run webui-user.bat from Windows Explorer as normal, non-administrator, user.

하나씩 진행해보도록 하겠습니다.

우선 아래 링크를 통해 파이썬 3.10.6 버전을 받아서 설치합니다.

https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64.exe

 

안내대로 "Add Python to PATH" 항목에 체크를 하고 Install Now 를 누릅니다.

Add Python 3.10 to PATH 체크

 

정상적으로 설치가 완료된 것을 확인합니다.

설치 완료

 

다음으로 아래 링크를 통해 git을 설치합니다.

https://github.com/git-for-windows/git/releases/download/v2.39.2.windows.1/Git-2.39.2-64-bit.exe

 

특정 버전이 지정되지 않았으므로 아래 링크에서 최신 버전으로 설치할 수도 있습니다.

https://git-scm.com/download/win

Git - Downloading Package

 

Install

 

Finish

 

탐색기로 설치를 원하는 폴더를 열고 주소창에 'cmd' 라고 입력합니다.

탐색기 - 주소창에 'cmd' 입력 후 엔터

 

"git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git" 을 복사 후 붙여넣기한 뒤 엔터를 칩니다.

git clone  https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

 

자동으로 파일을 다운받습니다.

자동으로 다운로드 완료

 

마지막으로 "\stable-diffusion-webui\" 폴더의 "webui-user.bat" 파일을 실행합니다.

"webui-user.bat" 실행

 

필요한 것들을 모두 자동으로 설치해줍니다.

뭔진 잘 몰라도 알아서 다 해준다.

 

자동으로 기본 모델까지 다운로드가 완료됩니다.

모델 폴더에 아무 모델 파일도 없을 경우 자동으로 기본 모델을 다운 받는다.

 

모두 완료되면 로컬 접속용 주소가 표시됩니다 (기본은 http://127.0.0.1:7860)

로컬 접속용 IP 주소와 Port

 

설치된 PC의 웹브라우저 주소창에 http://127.0.0.1:7860 을 입력하여 접속하면 됩니다.

온라인 서비스와 동일한 UI

 

CMD 창이 닫히거나 재부팅 후 다시 실행하기 위해서는 "webui-user.bat" 만 재실행하면 됩니다.

최초 1회 설치가 완료된 이후부터는 재실행에 시간이 오래 걸리지 않습니다.

 

7860 포트가 사용 중이거나 이미 Stable-Diffusion-WebUI가 실행 중이라면 다음 포트 번호인 7861, 7862... 등으로 자동 부여되어 다중 실행도 가능합니다.

 

모델 변경

구글 코랩

다운받은 모델 파일을 본인의 구글 드라이브의 아래 경로에 복사합니다.

ddosmix_v1 모델을 복사했다.

 

온라인 버전의 경우 웹페이지 새로 고침을 하거나 모델 List 새로 고침 버튼을 눌러도 새로 복사한 모델 파일이 표시되지 않기 때문에 코랩에서 "Start Stable-Diffusion" 코드를 실행 중단 후 다시 실행을 해줘야 합니다.

모델 복사 후 새로 고침을 해도 List에 표시되지 않는다.

 

다시 실행하면 기존의 임시 링크는 사용 중단이 되므로 새롭게 생성된 링크로 접속을 해야합니다.

이제 모델 List에 복사한 모델이 보입니다.

선택해주면 해당 모델을 로딩 후 적용하게 됩니다.

새로 복사한 모델이 List에 보인다.

 

로컬 PC 설치 버전

설치된 폴더의 "\models\Stable-diffusion\" 폴더에 모델 파일을 복사한 뒤, Stable Diffusion checkpoint 항목 우측의 새로 고침 버전을 눌러주면 바로 List가 업데이트 됩니다.

서비스를 재시작하지 않고도 즉시 적용이 가능하단 점이 매우 편리합니다.

"\models\Stable-diffusion\" 폴더에 복사하기만 하면 끝

 

서비스 재시작 없이 바로 갱신

 

커스텀 모델 다운로드 및 예시

CIVITAI

https://civitai.com/

Civitai | Stable Diffusion models, embeddings, hypernetworks and more

추천 모델은 다음과 같습니다.

 

1. DosMix

https://civitai.com/api/download/models/7328

 

예시입니다.

DosMix 예시

	Parameters
Prompt	best quality, masterpiece, (realistic:1.2), 1 girl, brown hair, brown eyes,Front, detailed face, beautiful eyes,
Negative prompt	(low quality, worst quality:1.4),
Steps	28
Sampler	DDIM
CFG scale	6
Seed	2706588910
Face restoration	-
Size	512x768
Model	dosmix_

 

특정 모델 중 (DOSMIX 포함) 완성 후 색상이 흐려지는 문제는 뒤에 해결 방법을 안내해드리도록 하겠습니다.

 

2. ChilloutMix

https://civitai.com/api/download/models/10332

 

단독으로 사용했을 때의 예시입니다.

ChillOutMix 단독 사용 예시

	Parameters
Prompt	best quality, ultra high res, (photo realistic:1.4),1 girl ,(depth of field:1.4), (pov:1.2),(looking at camera:1.4), (symmetry:1.2),(portrait:1.4),(close-up:1.2), 24 years old, (fitting room:1.4), (pale skin),(aegyo sal:1.4),(Kpop idol:1.2),(silver blonde color hair:1.2),(large breasts:1),(muscular:2),(teasing smile:1.4), (black oversized hoodie:1.4),
Negative prompt	paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy,(long hair:1.6),DeepNegative,facing away, looking away,tilted head, dutch angle,neckless,nipple,(fat:1.2)
Steps	20
Sampler	DPM++ SDE Karras
CFG scale	7
Seed	4190977980
Face restoration	-
Size	512x768
Model	chilloutmix_NiCkpt

 

Hugging Face

Text to Image용 모델 뿐만 아니라 전세계의 모든 모델이 모여있는 곳입니다.

아래 링크를 통해서 Text to Image용 모델을 구할 수 있습니다.

https://huggingface.co/models?pipeline_tag=text-to-image&sort=downloads 

Models - Hugging Face

 

범용적으로 가장 유명한 모델 하나를 소개해드립니다.

 

Runwayml/stable-diffusion-v1.5

https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.ckpt

 

위의 추천 모델 중 하나와 동일한 프롬프트를 사용해서 예시를 만들어봤습니다.

Runwayml/stable-diffusion-v1.5 예시

	Parameters
Prompt	best quality, ultra high res, (photo realistic:1.4),1 girl ,(depth of field:1.4), (pov:1.2),(looking at camera:1.4), (symmetry:1.2),(portrait:1.4),(close-up:1.2), 24 years old, (fitting room:1.4), (pale skin),(aegyo sal:1.4),(Kpop idol:1.2),(silver blonde color hair:1.2),(large breasts:1),(muscular:2),(teasing smile:1.4), (black oversized hoodie:1.4),
Negative prompt	paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy,(long hair:1.6),DeepNegative,facing away, looking away,tilted head, dutch angle,neckless,nipple,(fat:1.2)
Steps	20
Sampler	DPM++ SDE Karras
CFG scale	7
Seed	4190977980
Face restoration	-
Size	512x768
Model	v1-5-pruned

 

사람을 그리는 것에 한하여 CIVITAI에 등록된 모델들이 더 나은 것으로 보입니다.

다만 사람 특화 모델에 다른 것을 그리게 하면 범용 모델보다 훨씬 낮은 퀄리티의 결과가 나올 수도 있습니다.

 

 

더 진짜같은 AI 그림을 그리기 위한 Extra 모델 적용

정확한 원리는 잘 모르겠으나 여러가지 방식으로 결과에 변화를 주는 Extra 모델들이 있습니다.

웹UI상에서 화투장 모양의 아이콘을 클릭하면 Extra 모델 적용 메뉴가 열립니다.

Extra 모델 메뉴 열기

 

Extra 모델 메뉴. 탭별로 다양한 방식이 있고 모델을 복사해야할 경로도 안내된다.

 

많은 Extra 모델 중, Lora 라는 모델이 얼굴 쪽 변형에 가장 영향을 주는 것으로 보입니다.

 

다양한 나라의 모델이 있으나 한국 아이돌을 기반으로 한 아래 모델과 위에서 추천했던 ChillOutMix 모델의 조합이 좋은 것 같습니다.

 

Lora 모델

Korean Doll Likeness

아래 링크를 통해 Lora 모델을 받은 뒤 models - Lora 폴더에 넣어줍니다.

https://civitai.com/api/download/models/8750

 

\models\Lora\ 폴더에 넣어주자.

 

그 다음, Extra 메뉴의 Lora 탭을 선택한 뒤 Refresh 버튼을 눌러주면 아래와 같이 인식이 됩니다.

복사 후 Refresh

 

인식된 카드를 클릭해도 되고 알고 있는 전용 프롬프트를 직접 입력해도 됩니다.

그냥 클릭해보면 프롬프트 항목 맨 뒤에 자동으로 전용 프롬프트가 생성됩니다.

자동으로 생성된 전용 프롬프트

 

즉, Lora 모델도 여러개를 복사해둔 뒤, 원하는 모델을 프롬프트에 입력하여 적용시키면 됩니다.

 

다음은 위 예시 중 두번째 예시였던 ChillOutMix의 프롬프트 값에 해당 Lora 프롬프트만 추가한 결과입니다.

ChillOutMix + KoreanDollLikeness

	Parameters
Prompt	best quality, ultra high res, (photo realistic:1.4),1 girl ,(depth of field:1.4), (pov:1.2),(looking at camera:1.4), (symmetry:1.2),(portrait:1.4),(close-up:1.2), 24 years old, (fitting room:1.4), (pale skin),(aegyo sal:1.4),(Kpop idol:1.2),(silver blonde color hair:1.2),(large breasts:1),(muscular:2),(teasing smile:1.4), (black oversized hoodie:1.4), <lora:koreanDollLikeness_v10:1>
Negative prompt	paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy,(long hair:1.6),DeepNegative,facing away, looking away,tilted head, dutch angle,neckless,nipple,(fat:1.2)
Steps	20
Sampler	DPM++ SDE Karras
CFG scale	7
Seed	4190977980
Face restoration	-
Size	512x768
Model	chilloutmix_NiCkpt

 

첫번째 예시였던 DosMix 모델에 Lora만 적용을 한 예시입니다.

(손가락이 이상하게 나와서 Negative prompt에 "4 fingers" 라는 단어를 넣었더니 손을 그냥 내려버렸습니다)

DosMix + KoreanDollLikeness

	Parameters
Prompt	best quality, masterpiece, (realistic:1.2), 1 girl, brown hair, brown eyes,Front, detailed face, beautiful eyes, <lora:koreanDollLikeness_v10:0.5>
Negative prompt	(low quality, worst quality:1.4), 4 fingers
Steps	28
Sampler	DDIM
CFG scale	6
Seed	2706588910
Face restoration	-
Size	512x768
Model	dosmix_

 

색상 문제가 있는 모델의 수정 방법

VAE 적용

완성 후 색이 바래보인다거나 채도가 낮게 변한 것처럼 되는 일부 모델이 있습니다.

이 경우 VAE라는 것을 적용해주면 해결이 된다고 하여 찾아보았습니다.

 

아래 링크의 VAE를 지정된 폴더(\stable-diffusion-webui\models\VAE)에 복사한 뒤 WebUI의 Setting 메뉴를 통해 적용을 해주면 됩니다.

 

https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt

 

https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt

vae-ft-mse-840000-ema-pruned.ckpt · stabilityai/sd-vae-ft-mse-original at main

 

https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt

vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main

 

\models\VAE\ 폴더에 넣어주자.

 

웹UI의 Settings 탭에 들어간 뒤 Stable Diffusion 메뉴를 누르면 SD VAE 라는 항목이 보입니다.

Settings - Stable Diffusion - SD VAE

 

그러나 이 항목은 기존 모델들과 달리 최초 실행 시에 인식을 하는 구조인 것 같습니다.

새로 고침을 해봐도 "Automatic" 이외의 항목은 표시되지 않습니다.

 

따라서 WebUI 서비스를 실행 중인 CMD 창을 닫은 뒤 "webui-user.bat"를 실행하여 재시작해줍니다.

재시작 후 웹페이지도 새로 고침을 해준 뒤 다시 위의 SD VAE 설정 항목으로 이동합니다.

 

이제 복사해둔 VAE 파일들이 List에 표시됩니다.

VAE

 

VAE 파일들의 인식이 되었더라도 Automatic 상태에서는 결과가 그대로이니 3가지 중 아무거나 하나 고른 뒤 Apply settings를 눌러 적용을 해줍니다.

반드시 Apply settings 을 눌러서 적용을 해줘야 한다.

 

적용 후 색상을 비교해보면 다음과 같이 확연한 차이가 있음을 알 수 있습니다.

 

DosMix 모델에 VAE 미적용(좌), VAE 적용(우)

 

위에 첫번째 예시였던 흐릿한 이미지에도 적용을 해보았습니다.

DosMix 모델에 VAE 적용

 

마치며

그 외에 온라인 서비스 버전에서 Extra 모델 적용 방법과 로컬 PC 버전의 외부 IP 접속 허용 및 포트포워딩을 통해 집 밖에서도 PC의 웹UI 페이지에 접근할 수 있는 방법, WebUI의 다른 기능들, 그리고 위의 예제를 만들어낸 상세한 프롬프트 정보 등은 별도로 포스팅해보도록 하겠습니다.

 

AI 그림을 그려보자고 Stable Diffusion 포스팅을 올렸던 것이 불과 몇 달 전인데 짧은 기간동안 이렇게 편리한 WebUI 및 커스텀 모델, Extra 모델 등이 나오는 것을 보면 정말 인공지능의 발전 속도가 엄청나다는 것을 느낄 수 있는 것 같습니다.

 

이 포스팅을 통해 여러분들도 다양한 AI 그림을 즐겨보셨으면 좋겠습니다.

 

RealDosMix 모델

	Parameters
Prompt	modelshoot style, (extremely detailed CG unity 8k wallpaper), full shot body photo of the most beautiful artwork in the world, medieval armor, professional majestic oil painting by Ed Blinkey, Atey Ghailan, Studio Ghibli, by Jeremy Mann, Greg Manchess, Antonio Moro, trending on ArtStation, trending on CGSociety, Intricate, High Detail, Sharp focus, dramatic, photorealistic painting art by midjourney and greg rutkowski, man.
Negative prompt	canvas frame, cartoon, 3d, ((disfigured)), ((bad art)), ((deformed)),((extra limbs)),((close up)),((b&w)), wierd colors, blurry, (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), Photoshop, video game, ugly, tiling, poorly drawn hands, poorly drawn feet, poorly drawn face, out of frame, mutation, mutated, extra limbs, extra legs, extra arms, disfigured, deformed, cross-eye, body out of frame, blurry, bad art, bad anatomy, 3d render
Steps	28
Sampler	DPM++ SDE Karras
CFG scale	7
Seed	721564901
Face restoration	-
Size	512x768
Model	dosmix_