Modelli e pesi
di Diff-FIT Studio

00Mappa dei componenti

Diff-FIT non è un modello unico: è una catena di componenti specializzati, ciascuno attivo solo in certe pipeline. Questa tabella dice chi entra in funzione e quando.

01Inventario dei pesi

Quello che c'è davvero sul disco in profilo lite. I pesi vivono fuori dai container Docker, su un volume dell'host, così sopravvivono a rebuild e riavvii.

Totali

• Profilo lite: ~5,2 GB di modello di generazione più ~155 MB tra landmark e backbone.
• Profilo full: circa 20 GB, per via dello stack SDXL e dei cinque repository di Lightning Drag.

02Profilo lite · SD 1.5 Dreamshaper 8 inpainting

È il modello che gira in tutte le demo di questa presentazione. Non è Stable Diffusion 1.5 «di serie»: è un fine-tuning fotorealistico (Dreamshaper 8) nella sua variante inpainting, scelta perché un solo checkpoint copre sia la generazione da zero sia la riscrittura di una zona mascherata.

Il file weights/generation/active_lite_model.txt registra quale dei due candidati è stato effettivamente scaricato: serve a rendere ricostruibile a posteriori quale checkpoint ha prodotto una certa immagine.

03VAE e spazio latente

Il VAE è il traduttore tra pixel e spazio latente. Comprime l'immagine in una rappresentazione molto più piccola su cui avviene tutta la diffusione, e sa poi ricostruirla. È il motivo per cui generare a 512 × 512 è praticabile su una scheda consumer.

Il conto della compressione

Un'immagine 512 × 512 × 3 sono 786.432 valori. Il latente corrispondente è 64 × 64 × 4, cioè 16.384 valori: un fattore 48×. La U-Net lavora su quest'ultimo, e ogni passo di denoising costa quindi quasi cinquanta volte meno di quanto costerebbe sui pixel.

04La U-Net e i suoi 9 canali

È il cuore del modello e il file più pesante: la rete che, dato un latente rumoroso e il testo, prevede il rumore da togliere. Ha forma a «U» — prima riduce la risoluzione per cogliere la struttura d'insieme, poi la risale per recuperare il dettaglio, con collegamenti diretti tra i due rami.

Perché nove canali di ingresso

Una U-Net di sola generazione ne avrebbe quattro, quanti i canali latenti. La variante inpainting ne prende nove perché a ogni passo riceve tre cose concatenate:

È questa struttura a rendere l'inpainting nativo invece che simulato: il modello sa fin dal primo passo quali pixel deve inventare e quali deve rispettare. La ricomposizione finale col bordo sfumato è una garanzia in più, non il meccanismo principale.

05Encoder di testo CLIP

Traduce il prompt in una sequenza di vettori che la U-Net consulta a ogni passo tramite cross-attention. È il meccanismo per cui la parola «barba» agisce sul mento e non sulla fronte: per ogni zona dell'immagine la rete pesa quali token del prompt sono rilevanti.

06Precisione numerica

I pesi stanno su disco in float32 ma vengono convertiti al caricamento. La scelta non è fissa: dipende dalla compute capability della scheda.

# diff_fit/generation_utils/face_generation_utils.py
def _sd15_torch_dtype() -> torch.dtype:
    """GTX 16xx / Turing (CC < 8) often NaNs the SD1.5 VAE in fp16 → black images."""
    if torch.cuda.is_available():
        major, _ = torch.cuda.get_device_capability()
        if major < 8:
            return torch.float32
    return torch.float16

Su schede con compute capability inferiore a 8 — Pascal e Turing, quindi tutta la serie GTX 16xx e le RTX 20xx — il decoder del VAE in mezza precisione produce valori che vanno in overflow e diventano NaN. L'effetto visibile è un'immagine completamente nera: non un errore, non un'eccezione, solo un rettangolo vuoto.

07Profilo full · SDXL

Il profilo di riferimento del paper. Non era eseguibile sulla macchina di questa presentazione, ma è quello per cui Diff-FIT è stato progettato.

Il VAE sostituito

Con SDXL il codice non usa il VAE del checkpoint: ne carica uno diverso, madebyollin/sdxl-vae-fp16-fix. Il VAE originale di SDXL soffre dello stesso problema di overflow visto al §06, ma in modo strutturale e non legato alla scheda; questa versione ricalibrata lo evita permettendo di restare in float16 e dimezzare la memoria.

Le altre scelte disponibili

08Gli otto scheduler

Lo scheduler decide la traiettoria del denoising: quanto rumore togliere a ogni passo e come distribuire i passi lungo il percorso. Non cambia i pesi, cambia il modo di percorrerli — e quindi qualità e velocità a parità di modello.

Che cosa sono i «sigma di Karras»

Sono una distribuzione non uniforme dei livelli di rumore lungo i passi. Invece di scendere linearmente, concentrano i passi dove la stima è più delicata — verso la fine, quando si definisce il dettaglio. A parità di numero di passi si ottengono in genere transizioni più morbide.

Una correzione applicata all'avvio

Il checkpoint Dreamshaper dichiara nel proprio config uno scheduler DEIS, incompatibile con i solver DPM. Il codice riscrive la configurazione prima di costruirli:

if cfg.get("algorithm_type") in ("deis", "deis-dpm"):
    cfg["algorithm_type"] = "dpmsolver++"
if cfg.get("final_sigmas_type") == "zero":
    cfg["final_sigmas_type"] = "sigma_min"

Senza questo adattamento gli scheduler DPM non si costruirebbero, e la scelta nell'interfaccia sarebbe inerte. TCD ed Euler invece partono dalla configurazione originale, non da quella corretta.

09Parser facciale

Assegna a ogni pixel una delle 19 classi facciali. È ciò che trasforma «voglio cambiare i capelli» in una maschera binaria. Esistono due implementazioni nello stesso progetto, e la differenza conta.

La seconda esiste perché il servizio OpenRouter deve poter girare su una macchina senza scheda video: la segmentazione resta locale anche quando la generazione è delegata al cloud, e quindi deve costare poco.

Il preprocessing

10Le 19 classi e le regioni dell'interfaccia

Lo schema di classi arriva da CelebAMask-HQ: 30.000 volti annotati a mano. Il parser predice queste etichette, e l'interfaccia le raggruppa in regioni utilizzabili.

11Landmark facciali

Il predittore che individua 68 punti chiave del volto. Alimenta gli slider del tab Transform: uno spostamento diventa un insieme di frecce punto-a-punto più il rettangolo che le contiene, cioè la maschera.

Come si passa dallo slider alla freccia

• Ogni slider dichiara una regione e un asse — per esempio «mascella · verticale» agisce sui punti del contorno mandibolare lungo y.
• Il valore dello slider (da −40 a +40, o −10/+10 per la dimensione degli occhi) diventa lo spostamento applicato a quei punti.
• Da ogni punto originale e dal suo corrispondente spostato nasce una coppia: origine in rosso, destinazione in blu.
• Il rettangolo che contiene tutti i punti coinvolti diventa la maschera dell'area da rigenerare — il riquadro verde visibile sul canvas.

Se il file dei landmark manca, l'API espone landmarks_available: false con la relativa motivazione, e gli slider premade smettono di funzionare: restano il pennello e le frecce manuali.

12Lo stack Lightning Drag

L'editing geometrico del paper non è un modello ma un insieme di cinque repository che vengono scaricati insieme, solo in profilo full. È la voce che porta il download complessivo a circa 20 GB.

13Il ripiego testuale del Transform

Quando Lightning Drag non è disponibile — profilo lite, oppure modalità OpenRouter — il tab Transform non si limita a spegnersi: il backend prende una strada diversa, dichiarata nel codice come _transform_via_img2img().

14Il mapper EVC

È il punto di giunzione con la pipeline genetica AiDNA, e l'unico componente della catena che non è un modello.

Cosa sa tradurre

15Modelli hosted

In modalità OpenRouter la generazione viene delegata. Cambiano il costo, la latenza e soprattutto il perimetro dei dati; restano locali il parser e i landmark.

L'inpainting emulato

Nessuno di questi modelli accetta una maschera binaria: rigenerano l'intera immagine a partire da un prompt. Diff-FIT ricostruisce il comportamento dell'inpainting in tre mosse: segmenta in locale, invia immagine e istruzione localizzata, poi ricompone solo dentro la maschera con bordo sfumato. Fuori dalla maschera i pixel restano quelli di partenza, esattamente come nel percorso locale — ma la garanzia arriva dalla ricomposizione, non dal modello.

16Riferimenti

I PDF sono nella cartella papers/ del repository, con la licenza indicata per ciascuno. Il paper Diff-FIT è CC BY 4.0.