LoRA Fine-Tuning Stable Diffusion: Mekanisme untuk Model NSFW Kustom

Saya menghabiskan tiga hari yang membuat frustrasi mencoba mengustomisasi model Stable Diffusion untuk tipe tubuh dan pose yang sangat spesifik tahun lalu. Pendekatan fine-tuning penuh terus membuat GPU saya crash dan menghapus semua yang diketahui model dasar tentang pencahayaan dan komposisi. Kemudian saya mencoba LoRA fine-tuning Stable Diffusion sebagai gantinya. Hingga Mei 2026, teknik ini masih mendominasi karena membekukan bobot asli dan hanya menambahkan matriks kecil yang dapat dilatih. Analisis dari akhir 2025 menunjukkan bahwa ini mengurangi parameter yang dapat dilatih lebih dari 99 persen. Pelatihan yang dulu memakan waktu berhari-hari sekarang selesai dalam kurang dari dua jam pada satu RTX 4090. Kreator akhirnya mendapatkan wajah, tubuh, dan pose erotis yang sangat spesifik tanpa merusak pengetahuan umum model.

Ide intinya elegan. Alih-alih memperbarui seluruh matriks bobot W, LoRA mengaproksimasi perubahan sebagai produk dari dua matriks yang jauh lebih kecil: ΔW = BA. B tinggi dan ramping, A pendek dan lebar, dan rank r mereka sengaja dibuat kecil—sering antara 8 dan 64. Trik low-rank ini bekerja sangat baik untuk model difusi karena sebagian besar pembaruan penting berada di subruang berdimensi rendah. Alpha menskalakan output sehingga adapter tidak mengalahkan basis yang dibekukan. Hasilnya terasa hampir ajaib: Anda melatih sebagian kecil parameter namun masih menangkap detail halus seperti kurva pinggul tertentu atau drape lingerie lace.

Modul LoRA masuk ke lapisan cross-attention dari U-Net dan text encoder. Penempatan ini penting. Lapisan ini mengontrol bagaimana prompt teks diterjemahkan menjadi fitur visual, sehingga LoRA yang terlatih dengan baik mempertajam kepatuhan prompt untuk adegan erotis yang sangat spesifik tanpa menyentuh sisa jaringan. Karena bobot dasar tetap dibekukan, model mempertahankan pemahaman luasnya tentang anatomi, pencahayaan, dan komposisi. Anda bisa meminta "seorang wanita dalam pose tepat itu hanya mengenakan jubah sutra terbuka" dan adapter menangani detail kustom sementara model fondasi menyediakan segala sesuatu yang lain. Pemisahan inilah yang membuat penggabungan beberapa LoRA nanti terasa natural daripada kacau.

Mulai dengan 10–30 gambar yang dipilih dengan cermat dari tipe tubuh, pose, atau outfit yang Anda inginkan. Potong secara konsisten, beri caption dengan detail spesifik yang Anda pedulikan, dan masukkan set tersebut ke Kohya_ss. Pengaturan tipikal untuk konten dewasa mencakup rank 32, alpha 32, dan learning rate sekitar 1e-4. Sebagian besar pelatihan selesai dalam 60–90 menit pada 4090. Setelah Anda memiliki beberapa LoRA—satu untuk wajah, satu untuk pose, satu untuk lingerie—Anda bisa memuatnya bersama dengan kekuatan berbeda. Kemampuan LoRA untuk memberikan kustomisasi presisi rendah biaya langsung ke proses difusi inilah yang memungkinkan gambar dan frame video dewasa hiper-realistis spesifik performer yang dihasilkan pada platform AI modern. LoRA fine-tuning Stable Diffusion: Model NSFW Kustom dalam Hitungan Jam menunjukkan persis bagaimana adapter ini berskala ke adegan penuh.