Cum rulezi un API compatibil OpenAI pe serverul tău

Multe aplicații și biblioteci sunt scrise pentru API-ul OpenAI. Poți rula un API local cu aceeași structură, ca aplicațiile să folosească modelele tale fără modificări majore.

Ollama expune un API compatibil

Ollama oferă deja un endpoint compatibil OpenAI:

curl http://localhost:11434/v1/chat/completions -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Salut"}]
}'

Configurează aplicația

În aplicația ta, schimbi doar adresa de bază a API-ului și cheia:

OPENAI_API_BASE=http://localhost:11434/v1
OPENAI_API_KEY=ollama

Codul care folosea OpenAI funcționează acum cu modelul tău local.

Alternative

Pentru mai multe funcții (imagini, embeddings, mai multe modele), proiecte ca LocalAI oferă un API compatibil OpenAI mai complet, rulat tot pe serverul tău.

De ce merită

• Cost fix în loc de plată per token.
• Confidențialitate: datele nu pleacă de pe server.
• Fără limite de rată impuse din exterior.

Pentru modele mari și viteză, vezi planurile GPU.