ComfyUI Flux.1 ControlNet 예제

ComfyUI용 FLUX.1 Canny 및 Depth 워크플로 예제: Black Forest Labs의 FLUX.1 Tools로 FLUX.1에 ControlNet 스타일 구조 제어를 추가합니다.

​

FLUX.1 ControlNet 모델 소개

FLUX.1 Canny와 Depth는 Black Forest Labs가 출시한 FLUX.1 도구의 두 가지 강력한 모델입니다. 이 툴킷은 FLUX.1에 제어 및 안내 기능을 추가하도록 설계되어, 사용자가 실제 이미지나 생성된 이미지를 수정하고 재창조할 수 있게 해줍니다.

FLUX.1-Depth-dev와 FLUX.1-Canny-dev는 모두 12B 파라미터의 Rectified Flow Transformer 모델로, 입력 이미지의 구조적 특성을 유지하면서 텍스트 설명을 기반으로 이미지를 생성할 수 있습니다.

Depth 버전은 깊이 맵 추출 기법을 통해 원본 이미지의 공간적 구조를 유지하며, Canny 버전은 경계 검출 기법을 사용해 원본 이미지의 구조적 특성을 보존합니다. 따라서 사용자는 서로 다른 요구 사항에 따라 적합한 제어 방식을 선택할 수 있습니다.

두 모델 모두 다음과 같은 특징을 가지고 있습니다:

• 최고 수준의 출력 품질과 디테일 표현
• 원본 이미지와 일관성을 유지하면서도 훌륭한 프롬프트 반응 능력
• 안내형 디스틸레이션 기법을 사용해 효율성 개선
• 연구 커뮤니티를 위한 오픈 소스 가중치
• API 인터페이스(프로 버전) 및 오픈소스 가중치(개발자 버전)

또한 Black Forest Labs는 완전한 모델에서 추출한 FLUX.1-Depth-dev-lora와 FLUX.1-Canny-dev-lora 어댑터 버전도 제공합니다. 이들은 FLUX.1 [개발자] 기본 모델에 적용해 더 작은 파일 크기로 유사한 기능을 제공하며, 특히 리소스 제약이 있는 환경에 적합합니다.

우리는 FLUX.1-Canny-dev와 FLUX.1-Depth-dev-lora의 전체 버전을 사용해 워크플로우 예제를 완성할 것입니다.

모든 워크플로우 이미지의 메타데이터에는 해당 모델 다운로드 정보가 포함되어 있습니다. 다음 방법으로 워크플로우를 로드할 수 있습니다:

• ComfyUI로 직접 드래그하기
• 또는 메뉴 워크플로우 -> 열기（ctrl+o）를 이용하기

데스크톱 버전을 사용하지 않거나 일부 모델이 자동으로 다운로드되지 않는 경우, 수동 설치 섹션을 참고해 모델 파일을 해당 폴더에 저장하세요.

이미지 전처리기를 사용하려면 다음 커스텀 노드를 사용해 이미지 전처리를 완료할 수 있습니다. 이번 예제에서는 처리된 이미지를 입력으로 제공하겠습니다.

• ComfyUI-Advanced-ControlNet
• ComfyUI ControlNet aux

​

FLUX.1-Canny-dev 전체 버전 워크플로우

Comfy Cloud에서 실행

​

1. 워크플로우 및 자산

아래 워크플로우 이미지를 다운로드해 ComfyUI로 드래그하여 워크플로우를 로드해주세요.

아래 이미지를 다운로드해, 이를 입력 이미지로 사용하겠습니다.

​

2. 수동 모델 설치

이전에 Flux 관련 워크플로우의 전체 버전을 사용한 적이 있다면, flux1-canny-dev.safetensors 모델 파일만 다운로드하면 됩니다. black-forest-labs/FLUX.1-Canny-dev의 이용 약관에 동의해야 하므로, black-forest-labs/FLUX.1-Canny-dev 페이지를 방문해 아래 이미지와 같이 해당 약관에 동의했는지 확인해 주세요.

완전한 모델 목록:

• clip_l.safetensors
• t5xxl_fp16.safetensors
• ae.safetensors
• flux1-canny-dev.safetensors (해당 리포지토리의 이용 약관에 동의했는지 확인해 주세요)

파일 저장 위치:

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── t5xxl_fp16.safetensors
│   ├── vae/
│   │   └── ae.safetensors
│   └── diffusion_models/
│       └── flux1-canny-dev.safetensors

​

3. 단계별 워크플로우 실행

1. Load VAE 노드에서 ae.safetensors가 로드되었는지 확인하세요.
2. Load Diffusion Model 노드에서 flux1-canny-dev.safetensors가 로드되었는지 확인하세요.
3. DualCLIPLoader 노드에서 다음 모델들이 로드되었는지 확인하세요:
   • clip_name1: t5xxl_fp16.safetensors
   • clip_name2: clip_l.safetensors
4. 제공된 입력 이미지를 Load Image 노드에 업로드하세요.
5. Queue 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 워크플로우를 실행하세요.

​

4. 실험 시작하기

FLUX.1-Depth-dev 모델을 사용해 Depth 버전의 워크플로우를 완성해보세요.

아래 이미지를 입력으로 사용할 수 있습니다.

또는 다음 커스텀 노드를 사용해 이미지 전처리를 완료하세요:

• ComfyUI-Advanced-ControlNet
• ComfyUI ControlNet aux

​

FLUX.1-Depth-dev-lora 워크플로

​

Flux.1 Depth LoRA

Flux.1 LoRA를 사용하여 깊이 정보를 기반으로 이미지를 생성합니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “Flux.1 Depth LoRA”를 검색하세요.

입력 자료

이 파일을 해당 LoadImage 노드에 업로드하세요:

flux_depth_lora_example_input_image.png

LoadImage 노드 17 · flux_depth_lora_example_input_image.png

​

1. 워크플로 및 자산

​

2. 수동 모델 다운로드

이전에 Flux 관련 워크플로의 전체 버전을 사용한 적이 있다면 flux1-depth-dev-lora.safetensors 모델 파일만 다운로드하면 됩니다.

전체 모델 목록:

• clip_l.safetensors
• t5xxl_fp16.safetensors
• ae.safetensors
• flux1-dev.safetensors
• flux1-depth-dev-lora.safetensors

파일 저장 위치:

ComfyUI/
├── models/
│   ├── text_encoders/
│   │   ├── clip_l.safetensors
│   │   └── t5xxl_fp16.safetensors
│   ├── vae/
│   │   └── ae.safetensors
│   ├── diffusion_models/
│   │   └── flux1-dev.safetensors
│   └── loras/
│       └── flux1-depth-dev-lora.safetensors

​

3. 단계별 워크플로 실행

1. Load Diffusion Model 노드에서 flux1-dev.safetensors가 로드되었는지 확인하세요.
2. LoraLoaderModelOnly 노드에서 flux1-depth-dev-lora.safetensors가 로드되었는지 확인하세요.
3. DualCLIPLoader 노드에 다음 모델들이 로드되었는지 확인하세요:
   • clip_name1: t5xxl_fp16.safetensors
   • clip_name2: clip_l.safetensors
4. 제공된 입력 이미지를 Load Image 노드에 업로드하세요.
5. Load VAE 노드에서 ae.safetensors가 로드되었는지 확인하세요.
6. Queue 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 워크플로를 실행하세요.

​

4. 실험 시작하기

FLUX.1-Canny-dev-lora 모델을 사용해 Canny 버전의 워크플로를 완성해 보세요.

ComfyUI-Advanced-ControlNet 또는 ComfyUI ControlNet aux를 사용해 이미지 전처리를 완료하세요.

​

Flux Controlnets의 커뮤니티 버전

XLab과 InstantX + Shakker Labs는 Flux용 Controlnet을 출시했습니다.

InstantX:

• FLUX.1-dev-Controlnet-Canny
• FLUX.1-dev-ControlNet-Depth
• FLUX.1-dev-ControlNet-Union-Pro

XLab: flux-controlnet-collections

이 파일들을 ComfyUI/models/controlnet 디렉토리에 배치하세요.

Flux Controlnet 예제를 방문해 해당 워크플로우 이미지를 얻고, 여기의 이미지를 입력 이미지로 사용하세요.