Общение с локальными моделями ИИ

Почему локальные модели ИИ?

Ollama запускает модель локально. Вход и хранение чатов используют облако и требуют интернет. Автоматического перехода на облачную модель нет.

Это относится к обычному режиму. В офлайн-режиме всё остаётся на этом компьютере: приложение работает и без интернета, а новые чаты хранятся только локально в зашифрованном виде.

Почему Ollama?

Ollama — это инструмент, который позволяет легко запускать локальные модели ИИ. Он устанавливается на каждом компьютере отдельно, поэтому нет ограничений по количеству пользователей — не требуется общий сервер.

Установка Ollama

1. Перейдите на страницу загрузки Ollama Ollama download page
2. Загрузите версию для вашей операционной системы (Windows, macOS или Linux)
3. Установите Ollama, следуя мастеру установки
4. После установки Ollama запускается автоматически в фоновом режиме

Установка языковой модели

После установки Ollama нужно скачать по крайней мере одну языковую модель:

1. Откройте интерфейс Ollama (через значок системного трея или терминал)
2. Загрузите выбранную языковую модель

Рекомендованная модель

По возможности выбирайте модель, которая имеет возможности инструментов и vision:

• Tool capabilities - модель может использовать все инструменты, доступные в приложении, такие как поиск в интернете и генерация изображений
• Vision capabilities - модель может анализировать и описывать изображения

Рекомендованная модель

qwen3-vl:4b-instruct обеспечивает хороший баланс между скоростью и возможностями инструментов/vision. Установите эту модель через терминал:

ollama pull qwen3-vl:4b-instruct

Выберите вариант -instruct: он отвечает сразу. Обычная qwen3-vl:4b перед каждым шагом долго размышляет и на ноутбуке работает во много раз медленнее. Для небольших локальных моделей приложение использует короткую инструкцию и только те инструменты, которые подходят к вашему вопросу. Если один и тот же шаг раз за разом не удаётся, ИИ останавливается и сообщает, что получилось, а что нет.

Выбор модели в зависимости от аппаратного обеспечения

Производительность модели сильно зависит от аппаратного обеспечения вашего компьютера:

Аппаратное обеспечение	Рекомендация
Ограниченное (8GB RAM, без GPU)	Выбирайте меньшие модели (1-4B параметров)
Среднее (16GB RAM, базовый GPU)	Модели до 7B параметров
Мощное (32GB+ RAM, современные GPU)	Возможно крупные модели (13B+)

Скорость vs. качество

Меньшая модель обычно обеспечивает большую скорость, но может давать менее точные ответы. Экспериментируйте, чтобы найти наилучший баланс для вашей ситуации.

Конфигурация в настольном приложении

После запуска Ollama с установленной моделью настольное приложение автоматически detect. Затем в чате можно выбрать локальную модель как альтернативу облачным моделям.

На начальном экране под полем ввода можно выбрать локальную модель до отправки первого сообщения. Выбранная модель используется с первого сообщения, а позже её можно изменить.

Доступные модели с поддержкой tool/vision

Посмотрите полный список на ollama.com/library. Фильтруйте по моделям с:

• тегом Tools для возможностей инструментов
• тегом Vision для распознавания изображений

Популярные варианты:

• qwen3-vl:4b-instruct - компактная, быстрая, инструмент + vision
• llama3.2-vision - возможности Vision
• mistral - быстрые общие задачи

Локальное чтение документов и сканов

С локальной моделью настольное приложение читает документы на вашем компьютере. Ничего не загружается.

• Рабочая папка: в одобренной папке ИИ читает Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) и RTF. Старые файлы .doc и .ppt читаются, только если установлен LibreOffice.
• Сканы и фото: отсканированные страницы PDF, изображения (PNG, JPG, WebP, TIFF) и изображения в файлах Word и PowerPoint читаются с помощью распознавания текста (OCR). OCR поставляется вместе с приложением и распознаёт нидерландский, английский, немецкий и французский. В чате видно, какая страница читается; длинный скан может занять несколько минут. Из одного документа OCR читает не более 100 страниц.
• Неуверенное распознавание: если распознавание текста неуверенное, ИИ сообщает об этом. Тогда проверьте имена, числа и суммы в оригинале. Рукописный текст, таблицы и схемы распознаются не всегда правильно.
• Модель изображений: если выбранная модель поддерживает vision (например, qwen3-vl:4b-instruct), она сама просматривает изображения, в которых распознавание текста читает мало или неуверенно. Без GPU это занимает больше времени.
• Фото с iPhone (HEIC): сначала сохраните их в формате JPEG или PNG.

С облачной моделью приложение тоже читает документы из рабочей папки на вашем компьютере, но прочитанный текст затем отправляется этой модели как часть разговора.

Работа без интернета, в том числе с вложениями в чате: см. Офлайн-режим.