Cum alegi un model AI potrivit pentru hardware-ul tău

Modelele AI vin în dimensiuni diferite, măsurate în miliarde de parametri (B). Cu cât mai mari, cu atât mai capabile, dar cer mai multă memorie.

Regula de bază a memoriei

Un model cuantizat (comprimat) are nevoie aproximativ de atâția GB de memorie câți miliarde de parametri are:

• 3B: ~3-4 GB, merge pe CPU cu RAM suficient.
• 7-8B: ~6-8 GB, ideal pe un GPU de intrare.
• 13B: ~10-14 GB, cere un GPU decent.
• 70B: ~40+ GB, cere GPU puternic sau mai multe.

CPU sau GPU

Pe CPU, modelele mici merg, dar lent. Pe GPU, totul este de zeci de ori mai rapid. Vezi când ai nevoie de un GPU.

Cuantizarea

Versiunile cuantizate (Q4, Q5) reduc memoria necesară cu pierdere mică de calitate. Pentru majoritatea cazurilor, o cuantizare Q4 este un compromis excelent.

Cum alegi practic

1. Începe cu un model mic și testează dacă îți rezolvă sarcina.
2. Urcă la unul mai mare doar dacă ai nevoie de mai multă calitate.
3. Potrivește dimensiunea cu memoria disponibilă; vezi planurile GPU pentru modele mari.

Cu facturare orară poți testa un model mare pe un GPU pentru câteva ore, ca să vezi dacă merită, fără angajament.