Перейти к содержимому

Локальные модели (Ollama)

Ollama позволяет запускать языковые модели полностью на вашем устройстве — запросы не покидают машину и не требуют внешнего API-ключа. Добавьте Ollama через тот же процесс подключения провайдера, что и другие конечные точки, и выберите модели для списка выбора модели чата. Ollama остаётся бесплатной на любом тарифе.

Image

Откройте настройки Kodik → Модели → Добавить провайдер и выберите Ollama в группе На этом компьютере. Ollama бесплатна на любом тарифе.

  1. Подключение — пресет подставляет http://localhost:11434/v1 и формат OpenAI-совместимый (Completions). Ключ API необязателен. Изменить конечную точку позволяет задать имя и URL удалённого сервера, другого порта или прокси. Нажмите Продолжить.
  2. Выбор моделей — Kodik получает каталог моделей конечной точки. Используйте поиск, выберите отдельные модели или Выбрать все. Обновить повторно запрашивает каталог. Добавить модели сохраняет подключение и только выбранные модели; кнопка недоступна, пока не выбрана хотя бы одна модель.

Подключение получает ту же карточку провайдера, что и другие конечные точки. Добавить модели позволяет выбрать дополнительные модели сервера, Настройки — изменить или удалить подключение, а у каждой модели есть переключатель доступности и настройки модели. Удаление подключения или отключение модели не удаляет модель из Ollama.

Размер окна контекста берётся из метаданных модели Ollama и используется в настройках модели, счётчике контекста и автоматическом сжатии. Ваши ручные изменения окна контекста сохраняются.

Можно добавить несколько подключений Ollama: второе получает имя Ollama 2. Рекомендаций и загрузки моделей в окне настройки нет: установите модели через Ollama, затем обновите каталог.

Настройки, сохранённые через прежнюю встроенную интеграцию, продолжают работать. Их карточка сохраняет описанные ниже средства управления сервером. Новые подключения используют общий процесс настройки провайдера выше.

Карточка показывает адрес сервера и его состояние: Подключено, Проверка, Не установлено или Не в сети. В карточке можно:

  • Проверить подключение — проверить сервер ещё раз.
  • Запустить Ollama / Остановить Ollama — запустить или остановить сервер на этом компьютере (см. ниже).
  • Посмотреть Установленные модели — у каждой указаны окно контекста, ОЗУ, число параметров, квантизация и размер, — и нажать Тест или Удалить.
  • Добавить модели — установить рекомендуемую модель или загрузить модель по имени на существующей карточке сервера.
  • Открыть Настройки Ollama кнопкой с шестерёнкой: базовый URL, ключ API, окно контекста, таймаут запроса и Удалить из Kodik.

Удалить из Kodik в настройках Ollama сначала просит подтверждение, затем убирает карточку и модели Ollama из списка выбора модели чата. Установленные модели остаются на вашем компьютере, а базовый URL и другие настройки Ollama сохраняются. Новое подключение добавляется через общий процесс, описанный выше; укажите в нём эндпоинт снова.

Если Ollama не установлена, Скачать Ollama открывает страницу загрузки на ollama.com. Установить её можно и из терминала:

ОС Команда
Linux curl -fsSL https://ollama.com/install.sh | sh
macOS brew install ollama
Windows winget install -e --id Ollama.Ollama

Карточка Ollama запускает и останавливает сервер на этом компьютере:

  • Запустить Ollama — Kodik выполняет ollama serve в фоне. Процесс остаётся живым даже после закрытия терминала.
  • Остановить Ollama — Kodik отправляет команду завершения, подходящую для текущей ОС.

После подтверждения запуска сервера Kodik автоматически показывает установленные модели в списке выбора модели чата. При остановке сервера они исчезают из списка; для обоих действий перезагрузка окна не нужна.

Можно также запустить сервер самостоятельно командой ollama serve в терминале.

По умолчанию Kodik обращается к http://localhost:11434. Если вы запускаете Ollama на другом хосте или порту — например, в Docker или на удалённой машине — укажите его URL в поле Базовый URL при добавлении Ollama или позже в настройках Ollama на карточке.

Для Ollama в Docker, на удалённой машине или за прокси Kodik использует настроенный HTTP-эндпоинт для обнаружения моделей и действий управления через API. Установка моделей из настроек запускает локальную команду ollama, поэтому CLI должен быть установлен на том же компьютере, что и Kodik, даже если настроен удалённый эндпоинт.

Поле Таймаут запроса в настройках Ollama задаёт, сколько миллисекунд Kodik ждёт первый токен модели, прежде чем прервать запрос.

Оставьте поле пустым — и Kodik выберет сам: серверу на этой машине даётся несколько минут, потому что крупная модель при «холодном» старте или длинный промпт, обрабатываемый на CPU, столько и занимают до первого ответа. Если попытка всё же не уложилась, следующая ждёт дольше, а не повторяет то же ожидание, — поэтому просто медленная модель дойдёт до ответа сама, а не будет перезапускаться бесконечно. Указывайте значение, только когда нужен конкретный лимит: например, короткий, чтобы быстро увидеть отказ при проверке.

Добавить модели в существующей карточке управления Ollama предлагает два способа установить модель:

  • Установить у рекомендуемой модели — открывает видимый встроенный терминал и запускает ollama pull <модель>.
  • Загрузить модель — запускает то же в терминале с введённым именем модели, например ollama pull qwen3.5.

В терминале отображаются штатный прогресс загрузки и ошибки Ollama. Оба способа обращаются к настроенному базовому URL через OLLAMA_HOST.

Если нужной модели нет среди рекомендуемых, найдите её имя на ollama.com/library и введите его в разделе Загрузить модель.

Удалить у установленной модели сначала просит подтверждение, затем удаляет модель с диска через API Ollama.

Кнопка Тест у установленной модели отправляет ей короткое тестовое сообщение и сообщает, доступна ли модель, — а не текст, который она сгенерировала. Это удобно для проверки корректности настройки перед началом работы. Ещё не загруженная модель сначала читается с диска, поэтому для сервера на этом компьютере тест ждёт столько же, сколько первый ответ в чате. Если запрос не удался, в строке показывается ошибка.

Kodik получает список установленных моделей через /api/tags, а поддерживаемый архитектурой контекст — через /api/show. Эти метаданные модели служат источником истины для меню использования контекста, настроек модели, бюджета запросов и автоматического сжатия.

Kodik также проверяет /api/ps для диагностики запущенной модели, но меньшее выделенное окно не заменяет размер контекста, успешно полученный через /api/show. Например, модель с заявленным контекстом 40 960 продолжает отображать и использовать 40 960, даже если /api/ps сообщает 4 096.

Kodik также читает возможности модели из /api/show. Если выбранная модель объявляет tools, Kodik отправляет активные схемы инструментов Harness и связанные инструкции. Если эта возможность явно отсутствует, Kodik отправляет запрос чата без инструментов. При создании Goal Kodik переходит на проверяемый JSON, а выбранный на такой модели субагент переднего плана всё ещё может выполнить делегированную задачу, не требующую инструментов.

Поле Окно контекста в настройках Ollama настраивает нативные функции Ollama, например автодополнение; для чата контекст выбранной модели определяется автоматически. Чтобы изменить выделение памяти Ollama во время выполнения, измените настройку контекста в Ollama, задайте OLLAMA_CONTEXT_LENGTH для сервера или создайте модель с PARAMETER num_ctx в Modelfile.

Модели с возможностью thinking (например, семейство Qwen3) получают переключатель Рассуждение в выборе модели чата — отдельно для каждой модели. Вкл. сохраняет поведение Ollama по умолчанию: модель размышляет перед ответом, ход мыслей показывается в сворачиваемом блоке. Выкл. отправляет think: false — модель отвечает сразу, без этапа размышления: быстрее и экономнее по токенам для простых задач. Моделям без этой возможности флаг не отправляется никогда.

Если ваш Ollama-сервер требует Bearer-токена (например, при использовании Ollama Cloud или закрытого корпоративного экземпляра), введите его в поле Ключ API при добавлении Ollama или позже в настройках Ollama на карточке. Для стандартной локальной установки оставьте это поле пустым.