Чат із локальними моделями штучного інтелекту

Чому локальні моделі AI?

Ollama запускає модель локально. Вхід і зберігання чатів використовують хмару та потребують інтернету. Автоматичного переходу на хмарну модель немає.

Це стосується звичайного режиму. В офлайн-режимі усе залишається на цьому комп'ютері: застосунок працює й без інтернету, а нові чати зберігаються лише локально в зашифрованому вигляді.

Чому Ollama?

Ollama — інструмент, який дозволяє просто запускати локальні моделі AI. Він встановлюється на кожному комп’ютері окремо, тому немає обмежень за кількістю користувачів — не потрібний спільний сервер.

Встановлення Ollama

1. Перейдіть на сторінку завантаження Ollama
2. Завантажте версію для вашої операційної системи (Windows, macOS або Linux)
3. Встановіть Ollama за допомогою майстра інсталяції
4. Після встановлення Ollama автоматично запускається у фоновому режимі

Встановлення мовної моделі

Після встановлення Ollama потрібно завантажити щонайменше одну мовну модель:

1. Відкрийте інтерфейс Ollama (через піктограму системного трея або термінал)
2. Звідти завантажте обрану мовну модель

Рекомендована модель

За можливості вибирайте модель з можливостями tools та vision:

• Tool capabilities - модель може користуватися усіма інструментами, доступними у застосунку, такими як пошук в Інтернеті та створення зображень
• Vision capabilities - модель може аналізувати та описувати зображення

Рекомендована модель

qwen3-vl:4b-instruct забезпечує гармонійне поєднання швидкості та можливостей інструментів/vision. Встановіть цю модель через термінал:

ollama pull qwen3-vl:4b-instruct

Виберіть варіант -instruct: він відповідає одразу. Звичайна qwen3-vl:4b перед кожним кроком довго розмірковує і на ноутбуці працює в рази повільніше. Для невеликих локальних моделей застосунок використовує коротку інструкцію й лише ті інструменти, що підходять до вашого запитання. Якщо той самий крок раз у раз не вдається, ШІ зупиняється й повідомляє, що вийшло, а що ні.

Вибір моделі за апаратним забезпеченням

Продуктивність моделі залежить від апаратного забезпечення вашого комп’ютера:

Аппаратне забезпечення	Рекомендація
Обмежене (8GB RAM, без GPU)	Обирайте менші моделі (1-4B параметрів)
Середнє (16GB RAM, базовий GPU)	Моделі до 7B параметрів
Потужне (32GB+ RAM, сучасний GPU)	Можливі більші моделі (13B+)

Швидкість vs. якість

Менша модель зазвичай швидша, але може давати менш точні відповіді. Експериментуйте, щоб знайти найкращий баланс для вашої ситуації.

Налаштування в настільному застосунку

Як тільки Ollama працює з встановленою моделлю, настільний застосунок автоматично її розпізнає. Тоді ви можете в чаті обрати локальну модель як альтернатива хмарним моделям.

На початковому екрані під полем введення можна вибрати локальну модель до надсилання першого повідомлення. Вибрана модель використовується з першого повідомлення й надалі її можна змінити.

Доступні моделі з підтримкою інструментів/vision

Перегляньте повний список на ollama.com/library. Фільтруйте за моделями з:

• тегом Tools для можливостей інструментів
• тегом Vision для розпізнавання зображень

Популярні варіанти:

• qwen3-vl:4b-instruct - компактна, швидка, інструменти + vision
• llama3.2-vision - можливості Vision
• mistral - швидкі загальні завдання

Локальне читання документів і сканів

З локальною моделлю настільний застосунок читає документи на вашому комп'ютері. Нічого не завантажується.

• Робоча папка: у схваленій папці ШІ читає Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) і RTF. Старі файли .doc і .ppt читаються лише тоді, коли встановлено LibreOffice.
• Скани й фото: відскановані сторінки PDF, зображення (PNG, JPG, WebP, TIFF) і зображення у файлах Word і PowerPoint читаються за допомогою розпізнавання тексту (OCR). OCR постачається разом із застосунком і розпізнає нідерландську, англійську, німецьку та французьку. У чаті видно, яка сторінка читається; довгий скан може тривати кілька хвилин. З одного документа OCR читає щонайбільше 100 сторінок.
• Непевне розпізнавання: коли розпізнавання тексту непевне, ШІ про це повідомляє. Тоді перевірте імена, числа й суми в оригіналі. Рукописний текст, таблиці та схеми не завжди розпізнаються правильно.
• Модель зображень: якщо вибрана модель має vision (наприклад, qwen3-vl:4b-instruct), вона сама переглядає зображення, у яких розпізнавання тексту читає мало або непевно. Без GPU це триває довше.
• Фото з iPhone (HEIC): спершу збережіть їх як JPEG або PNG.

З хмарною моделлю застосунок також читає документи з робочої папки на вашому комп'ютері, але прочитаний текст тоді надсилається цій моделі як частина розмови.

Робота без інтернету, зокрема з вкладеннями в чаті: див. Офлайн-режим.