Обзор

Ollama — local-first, OpenAI-совместимый inference-движок для запуска больших языковых моделей на персональных компьютерах или серверах. Meridian делегирует обработку OpenAI-реализации, поддерживая при этом специфические для Ollama требования к конфигурации. Ключевые особенности:

• Local-first развёртывание — запуск моделей локально или на приватной инфраструктуре;
• OpenAI API-совместимость — идентичный формат запроса/ответа;
• Полная поддержка фич — chat, text, embeddings и streaming;
• Tool calling — полное определение и исполнение функций;
• Self-hosted — не требует внешней API-зависимости.

Поддерживаемые операции

1. Chat Completions

Параметры запроса

Ollama поддерживает все стандартные параметры OpenAI chat completion. Полное описание параметров и их поведения — на странице OpenAI Chat Completions.

Фильтруемые параметры

Удаляются для совместимости с Ollama:

• prompt_cache_key — не поддерживается;
• verbosity — специфика Anthropic;
• store — не поддерживается;
• service_tier — не поддерживается.

Ollama поддерживает все стандартные типы сообщений, tools, responses и streaming-форматы OpenAI. Детали по обработке сообщений, конвертации tools, responses и streaming — на странице OpenAI Chat Completions.

2. Responses API

Внутренне конвертируется в Chat Completions:

ResponsesRequest → ChatRequest → ChatCompletion → ResponsesResponse

Поддержка параметров такая же, как у Chat Completions.

3. Text Completions

Ollama поддерживает legacy формат text completion:

4. Embeddings

Ollama поддерживает text embeddings:

Ответ содержит embedding-векторы и информацию о потреблённых токенах.

5. List Models

Возвращает список моделей, загруженных в Ollama, с информацией о capabilities и контексте.

Неподдерживаемые фичи

Конфигурация

# Указать на локальный инстанс Ollama
curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ollama/llama3.1:latest",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

# Шлюз должен быть сконфигурирован с BaseURL для Ollama

Настройка окружения:

1. Установите Ollama с https://ollama.ai
2. Скачайте модель:

   ollama pull llama3.1
   ollama pull mistral
   ollama pull neural-chat

3. Запустите сервер Ollama:

   ollama serve

4. Проверьте, что он работает:

   curl http://localhost:11434/api/tags

Подробнее о настройке BaseURL и параметров провайдера — на странице Настройка провайдеров.

Замечания по производительности

Streaming для больших моделей: Для лучшего пользовательского опыта с большими моделями используйте streaming:

{
  "model": "llama3.1:latest",
  "messages": [...],
  "stream": true
}

Контекст токенов: У разных моделей разные окна контекста:

• Llama 3.1 70B: 128K токенов;
• Mistral 7B: 32K токенов;
• Neural Chat 7B: 8K токенов.

GPU-ускорение: Ollama автоматически использует GPU, если он доступен. Для CPU-only режима убедитесь, что таймаут достаточен.

Популярные модели

Нюансы