Локальные модели (Ollama)

Ollama позволяет запускать языковые модели полностью на вашем устройстве — запросы не покидают машину и не требуют внешнего API-ключа. Kodik автоматически обнаруживает запущенный Ollama-сервер и предлагает все загруженные модели для выбора.

Установка Ollama

Если Ollama ещё не установлена, Kodik предложит установить её прямо из интерфейса. Вы также можете сделать это вручную.

ОС	Команда
Linux	`curl -fsSL https://ollama.com/install.sh \| sh`
macOS	`brew install ollama`
Windows	`winget install -e --id Ollama.Ollama`

Запуск и остановка сервера

Kodik умеет запускать и останавливать Ollama-сервер через встроенный интерфейс:

Запустить — Kodik выполняет ollama serve в фоне. Процесс остаётся живым даже после закрытия терминала.
Остановить — Kodik отправляет команду завершения, подходящую для текущей ОС.

Можно также запустить сервер самостоятельно командой ollama serve в терминале.

Настройка базового URL

По умолчанию Kodik обращается к http://localhost:11434. Если вы запускаете Ollama на другом хосте или порту — например, в Docker или на удалённой машине — укажите нужный URL в настройках провайдера Ollama.

Загрузка и удаление моделей

В разделе настроек Ollama доступен список моделей с кнопками Pull и Delete:

Pull — Kodik открывает терминал и запускает ollama pull <model>. Следите за прогрессом в окне терминала.
Delete — удаляет модель с диска через API Ollama.

Если нужная модель ещё не загружена, найдите её имя на ollama.com/library и введите его в поле загрузки.

Тест модели

Кнопка Протестировать модель отправляет короткое тестовое сообщение выбранной модели и показывает ответ и время отклика. Это удобно для проверки корректности настройки перед началом работы.

Определение окна контекста

Kodik автоматически определяет размер окна контекста каждой загруженной модели через API Ollama (/api/show). Если Kodik не может выяснить точный размер — он использует значение по умолчанию 32 768 токенов.

Адаптация на лету

При локальных запросах Kodik использует зондирование: пробует запрос с текущим размером окна контекста. Если Ollama возвращает ошибку нехватки памяти для выбранного num_ctx, Kodik автоматически снижает значение и повторяет попытку. Успешный и неудачный размеры запоминаются локально для каждой модели, чтобы следующий запрос начинался с заведомо рабочего значения.

Опция «запомнить окно контекста»

Кнопка Запомнить окно контекста фиксирует текущее рабочее значение как постоянное. После этого зондирование для данной модели не проводится — Kodik сразу использует сохранённое значение.

Авторизация

Если ваш Ollama-сервер требует Bearer-токена (например, при использовании Ollama Cloud или закрытого корпоративного экземпляра), введите его в поле API Key в настройках провайдера Ollama. Для стандартной локальной установки оставьте это поле пустым.