Skip to main content
Wan2.2-Fun-Camera-Control은 알리바바 PAI가 개발한 차세대 동영상 생성 및 카메라 제어 모델입니다. 혁신적인 카메라 제어 코드를 도입하고 딥러닝과 멀티모달 조건 입력을 결합해 미리 정의된 카메라 모션 조건을 준수하는 고품질 동영상을 생성합니다. 이 모델은 Apache 2.0 라이선스 하에 공개되어 상업적 사용이 가능합니다. 주요 특징:
  • 카메라 모션 제어: 다양한 카메라 모션 모드를 지원하며, Pan Up, Pan Down, Pan Left, Pan Right, Zoom In, Zoom Out 및 이들의 조합을 포함합니다.
  • 고품질 동영상 생성: Wan2.2 아키텍처를 기반으로 영화 같은 품질의 동영상을 출력합니다.
다음은 관련 모델 가중치와 코드 저장소입니다:

​
Wan2.2 Fun 카메라 제어: 동영상 생성 워크플로우 예시

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.이 가이드의 워크플로우는 워크플로우 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다. (데스크톱 버전의 업데이트는 다소 지연될 수 있습니다)워크플로우를 로드할 때 노드가 누락되는 경우, 가능한 원인:
  1. 최신 ComfyUI 버전(야간 빌드)을 사용하고 있지 않음
  2. 일부 노드가 시작 시 가져오기에 실패함
제공되는 워크플로우는 두 가지 버전이 있습니다:
  1. Wan2.2-Lightning 4단계 LoRA를 lightx2v를 통해 사용하는 경우: 이 방식은 동영상 다이내믹스가 감소할 수 있지만 더 빠른 생성 속도를 제공합니다.
  2. 가속화된 LoRA 없이 fp8_scaled 버전을 사용하는 경우.
아래는 RTX4090D 24GB GPU에서 640×640 해상도, 81프레임 길이로 테스트한 타이밍 결과입니다: 4단계 LoRA는 초기 사용자 경험을 개선하지만 동영상 다이내믹스를 약간 떨어뜨릴 수 있습니다. 기본적으로 가속화된 LoRA 버전이 활성화되어 있습니다. 워크플로우를 전환하려면 노드를 선택한 후 Ctrl+B를 누르세요.

​
1. 워크플로우 및 자산 다운로드

아래 동영상 또는 JSON 파일을 다운로드해 ComfyUI로 드래그하여 해당 워크플로우를 로드하세요. 워크플로우는 모델 다운로드를 요청합니다.

JSON 워크플로우 다운로드

 아래 이미지를 다운로드해 입력으로 사용하세요.

​
2. 모델 링크

다음 모델들은 Wan_2.2_ComfyUI_Repackaged에서 확인할 수 있습니다: 디퓨전 모델 Wan2.2-Lightning LoRA (선택사항, 가속화용) VAE 텍스트 인코더 파일 저장 위치

​
3. 워크플로우 단계별 완료하기

이 워크플로우는 LoRA를 사용합니다. 디퓨전 모델과 LoRA가 일치하도록 하세요; 고노이즈 모델과 저노이즈 모델, 그리고 LoRA는 반드시 맞춰야 합니다.
  1. 고노이즈 모델 및 LoRA 로딩
  • Load Diffusion Model 노드가 wan2.2_fun_camera_high_noise_14B_fp8_scaled.safetensors를 로드하도록 설정하세요.
  • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하도록 설정하세요.
  1. 저노이즈 모델 및 LoRA 로딩
  • Load Diffusion Model 노드가 wan2.2_fun_camera_low_noise_14B_fp8_scaled.safetensors를 로드하도록 설정하세요.
  • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하도록 설정하세요.
  1. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors를 로드하도록 설정하세요.
  2. Load VAE 노드가 wan_2.1_vae.safetensors를 로드하도록 설정하세요.
  3. Load Image 노드에서 시작 프레임을 업로드하세요.
  4. 프롬프트를 수정하세요(중국어와 영어 모두 가능).
  5. WanCameraEmbedding 노드에서 카메라 제어 매개변수를 설정하세요:
    • 카메라 모션: 카메라 모션 유형 선택(Zoom In, Zoom Out, Pan Up, Pan Down, Pan Left, Pan Right, Static 등)
    • 너비/높이: 동영상 해상도 설정
    • 길이: 동영상 프레임 수 설정(기본값은 81프레임)
    • 속도: 동영상 속도 설정(기본값은 1.0)
  6. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용해 동영상 생성을 실행하세요.