Optimierung von Stable Diffusion 3 Medium für personalisierte Bildkreationen

Schritte zur Feinabstimmung

1. Vorbereitung der Umgebung

Zunächst müssen Sie sicherstellen, dass Sie die richtige Umgebung eingerichtet haben. Dies umfasst die Installation der erforderlichen Bibliotheken und Tools wie Python 3.10 oder 3.11, Hugging Face CLI und Conda.

2. Installation der Abhängigkeiten

Folgen Sie den Anweisungen zur Installation der Abhängigkeiten: - Klonen Sie das Repository mit `git clone --branch=release https://github.com/bghira/SimpleTuner.git` - Wechseln Sie in das Verzeichnis SimpleTuner und aktivieren Sie die virtuelle Umgebung mit `python -m venv .venv` und `source .venv/bin/activate` - Installieren Sie die Abhängigkeiten mit `pip install -U poetry pip` und `poetry install --no-root`

3. Konfiguration der Trainingsumgebung

Erstellen Sie eine Konfigurationsdatei `config.env` und eine `multibackend.json` Datei. Diese Dateien enthalten wichtige Einstellungen wie das Modell, das Sie trainieren möchten, und die Verzeichnisse für Ihre Daten.

4. Datensatzvorbereitung

Bereiten Sie Ihren Datensatz vor, indem Sie sicherstellen, dass Ihre Bilder und dazugehörigen Beschreibungen in den richtigen Verzeichnissen liegen. Achten Sie darauf, dass Ihre Bilder vorab auf die richtigen Größen und Seitenverhältnisse zugeschnitten sind.

5. Feinabstimmung Starten

Starten Sie die Feinabstimmung mit den folgenden Befehlen: - `wandb login` (Optional, für Logging) - `huggingface-cli login` (Erforderlich, um das Modell herunterzuladen) Führen Sie das Trainingsskript aus: ``` accelerate launch train_dreambooth_lora_sd3.py \ --pretrained_model_name_or_path=${MODEL_NAME} \ --instance_data_dir=${INSTANCE_DIR} \ --output_dir=${OUTPUT_DIR} \ --mixed_precision="bf16" \ --instance_prompt "PROMPT FOR TRAINING IMAGES" \ --resolution=512 \ --train_batch_size=4 \ --gradient_accumulation_steps=4 \ --learning_rate=0.001 \ --report_to="wandb" \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --max_train_steps=1000 \ --weighting_scheme="logit_normal" \ --seed="42" \ --use_8bit_adam \ --gradient_checkpointing \ --prior_generation_precision="bf16" ```

6. Inferenz Ausführen

Nach dem Training können Sie die Inferenz mit Ihrem neuen Modell durchführen: ``` python run_trained.py ``` Passen Sie den `lora_scale` Wert an, um die Balance zwischen dem ursprünglichen und dem feinabgestimmten Modell zu ändern.

Schlussfolgerung

Die Feinabstimmung von Stable Diffusion 3 Medium ermöglicht es Ihnen, hochqualitative und maßgeschneiderte Bilder zu generieren. Mit dieser Anleitung können Sie den Prozess der Feinabstimmung erfolgreich durchführen und die Unterschiede zwischen SD1.5, SDXL und SD3M verstehen. Nutzen Sie diese Möglichkeit, um Ihre kreativen Projekte auf das nächste Level zu heben.

Bibliographie

1. https://stability.ai/news/stable-diffusion-3-medium-fine-tuning-tutorial
2. https://stablediffusion3.net/blog-FineTune-Stable-Diffusion-3-Medium-On-Your-Own-Images-Locally-39335
3. https://www.youtube.com/watch?v=tfWvh7SCSS0
4. https://huggingface.co/stabilityai/stable-diffusion-3-medium-diffusers
5. https://medium.com/@filipposantiano/fine-tuning-stable-diffusion-3-medium-with-16gb-vram-36f4e0d084e7
6. https://tryolabs.com/blog/2022/10/25/the-guide-to-fine-tuning-stable-diffusion-with-your-own-images
7. https://www.youtube.com/watch?v=v89kB4OScOA
8. https://stability.ai/news/stable-diffusion-3-medium