TrainLoRA 노드

TrainLoRA 노드는 제공된 잠재 표현(latents)과 컨디셔닝 데이터를 사용하여 확산 모델에 대한 LoRA(저차원 적응) 모델을 생성하고 학습합니다. 사용자 정의 학습 매개변수, 최적화기 및 손실 함수를 사용하여 모델을 미세 조정할 수 있습니다. 이 노드는 학습된 LoRA 가중치, 손실 이력 맵 및 완료된 총 학습 단계 수를 출력합니다.

입력

매개변수	설명	데이터 타입	필수	범위
`모델`	LoRA를 학습할 모델입니다.	MODEL	예	-
`잠재 변수`	학습에 사용할 잠재 표현으로, 모델의 데이터셋/입력 역할을 합니다.	LATENT	예	-
`긍정 조건`	학습에 사용할 긍정 컨디셔닝입니다.	CONDITIONING	예	-
`배치 크기`	학습에 사용할 배치 크기입니다(기본값: 1).	INT	예	1-10000
`기울기 누적 단계 수`	학습에 사용할 그래디언트 누적 단계 수입니다(기본값: 1).	INT	예	1-1024
`단계 수`	LoRA를 학습할 단계 수입니다(기본값: 16).	INT	예	1-100000
`학습률`	학습에 사용할 학습률입니다(기본값: 0.0005).	FLOAT	예	0.0000001-1.0
`랭크`	LoRA 계층의 순위입니다(기본값: 8).	INT	예	1-128
`옵티마이저`	학습에 사용할 최적화기입니다(기본값: “AdamW”).	COMBO	예	”AdamW" "Adam" "SGD" "RMSprop”
`손실 함수`	학습에 사용할 손실 함수입니다(기본값: “MSE”).	COMBO	예	”MSE" "L1" "Huber" "SmoothL1”
`시드`	학습에 사용할 시드입니다(LoRA 가중치 초기화 및 노이즈 샘플링을 위한 생성기에 사용됨)(기본값: 0).	INT	예	0-18446744073709551615
`훈련 데이터 타입`	학습에 사용할 데이터 타입입니다. ‘none’은 모델의 기본 계산 데이터 타입을 재정의하지 않고 유지합니다. fp16 모델의 경우 GradScaler가 자동으로 활성화됩니다(기본값: “bf16”).	COMBO	예	”bf16" "fp32" "none”
`LoRA 데이터 타입`	LoRA에 사용할 데이터 타입입니다(기본값: “bf16”).	COMBO	예	”bf16" "fp32”
`quantized_backward`	training_dtype이 ‘none’이고 양자화된 모델에서 학습할 때, 활성화되면 역전파 시 양자화된 행렬 곱셈을 사용합니다(기본값: False).	BOOLEAN	예	-
`알고리즘`	학습에 사용할 알고리즘입니다.	COMBO	예	여러 옵션 사용 가능
`기울기 체크포인팅`	학습에 그래디언트 체크포인팅을 사용합니다(기본값: True).	BOOLEAN	예	-
`checkpoint_depth`	그래디언트 체크포인팅의 깊이 수준입니다(기본값: 1).	INT	예	1-5
`offloading`	GPU 메모리 절약을 위해 학습 중 모델 가중치를 CPU로 오프로드합니다(기본값: False).	BOOLEAN	예	-
`기존 LoRA`	추가할 기존 LoRA입니다. 새 LoRA의 경우 None으로 설정합니다(기본값: “[None]”).	COMBO	예	여러 옵션 사용 가능
`bucket_mode`	해상도 버킷 모드를 활성화합니다. 활성화되면 ResolutionBucket 노드에서 사전 버킷팅된 잠재 표현을 필요로 합니다(기본값: False).	BOOLEAN	예	-
`bypass_mode`	학습을 위한 우회 모드를 활성화합니다. 활성화되면 어댑터가 가중치 수정 대신 순방향 훅을 통해 적용됩니다. 가중치를 직접 수정할 수 없는 양자화된 모델에 유용합니다(기본값: False).	BOOLEAN	예	-

참고: 긍정 컨디셔닝 입력의 수는 잠재 이미지의 수와 일치해야 합니다. 여러 이미지에 대해 하나의 긍정 컨디셔닝만 제공된 경우, 모든 이미지에 대해 자동으로 반복됩니다. training_dtype 참고: “none”으로 설정하면 모델의 기본 계산 데이터 타입이 유지됩니다. fp16 모델의 경우 그래디언트 계산 중 언더플로를 방지하기 위해 GradScaler가 자동으로 활성화됩니다. fp16_accumulation도 활성화된 경우(--fast 플래그를 통해), 이 조합은 수치적으로 불안정하여 NaN 값을 유발할 수 있습니다. quantized_backward 참고: 이 매개변수는 training_dtype이 “none”으로 설정되고 모델이 양자화된 모델인 경우에만 관련됩니다. 역전파 중 양자화된 행렬 곱셈을 활성화합니다. bypass_mode 참고: 활성화되면 어댑터가 모델 가중치를 직접 수정하는 대신 순방향 훅을 통해 적용됩니다. 이는 가중치를 직접 수정할 수 없는 양자화된 모델에 특히 유용합니다.

출력

출력 이름	설명	데이터 타입
`손실 맵`	저장하거나 다른 모델에 적용할 수 있는 학습된 LoRA 가중치입니다.	LORA_MODEL
`스텝`	시간에 따른 학습 손실 값을 포함하는 사전입니다.	LOSS_MAP
`단계 수`	완료된 총 학습 단계 수입니다(기존 LoRA의 이전 단계 포함).	INT

이 문서는 AI에 의해 생성되었습니다. 오류를 발견하거나 개선 제안이 있으시면 기여해 주세요! GitHub에서 편집

Source fingerprint (SHA-256): df315ef416ff3ce81e6a526af2c4e5115980e6c35830825967e7189d4f8541d8

​TrainLoRA 노드

​입력

​출력

TrainLoRA 노드

입력

출력