Przejdź do głównej treści

Chatowanie z lokalnymi modelami AI

Dlaczego lokalne modele AI?​

Ollama uruchamia model lokalnie. Logowanie i przechowywanie czatów korzystają z chmury i wymagają internetu. Nie następuje automatyczne przełączenie na model w chmurze.

Dotyczy to trybu normalnego. W trybie offline wszystko zostaje na tym komputerze: aplikacja działa wtedy także bez internetu, a nowe czaty są zapisywane tylko lokalnie, w postaci zaszyfrowanej.

Dlaczego Ollama?​

Ollama to narzędzie, które umożliwia uruchamianie modeli AI lokalnie w prosty sposób. Każdy komputer ma zainstalować je osobno, dzięki czemu nie ma ograniczeń co do liczby użytkowników – nie potrzeba wspólnego serwera.

Instalacja Ollama​

  1. Przejdź do strony pobierania Ollama
  2. Pobierz wersję odpowiednią dla Twojego systemu operacyjnego (Windows, macOS lub Linux)
  3. Zainstaluj Ollama, postępując zgodnie z instalatorem
  4. Po instalacji Ollama uruchamia się automatycznie w tle

Instalacja modelu językowego​

Po zainstalowaniu Ollama musisz pobrać co najmniej jeden model językowy:

  1. Otwórz interfejs Ollama (przez ikonę w trayu systemowym lub terminal)
  2. Pobierz wybrany model językowy

Zalecany model​

Najlepiej wybrać model, który ma możliwości tool i vision:

  • Możliwości Tool - model może korzystać ze wszystkich narzędzi dostępnych w aplikacji, takich jak wyszukiwanie w internecie i generowanie obrazów
  • Możliwości Vision - model potrafi analizować i opisywać obrazy
Zalecany model

qwen3-vl:4b-instruct oferuje dobry balans między szybkością a możliwościami tool/vision. Zainstaluj ten model za pomocą terminala:

ollama pull qwen3-vl:4b-instruct

Wybierz wariant -instruct: odpowiada od razu. Zwykły qwen3-vl:4b przed każdym krokiem długo się zastanawia i na laptopie działa wielokrotnie wolniej. Dla małych modeli lokalnych aplikacja używa krótkiej instrukcji i tylko narzędzi pasujących do Twojego pytania. Jeśli ten sam krok ciągle się nie udaje, AI przestaje i mówi, co się udało, a co nie.

Wybór modelu w zależności od sprzętu​

Wydajność modelu zależy od sprzętu Twojego komputera:

SprzętZalecenie
Ograniczony (8GB RAM, brak GPU)Wybieraj mniejsze modele (1-4B parametrów)
Średni (16GB RAM, podstawowy GPU)Modele do 7B parametrów
Wydajny (32GB+ RAM, nowoczesne GPU)Większe modele możliwe (13B+)
Szybkość vs. jakość

Mniejszy model zwykle działa szybciej, ale może generować mniej precyzyjne odpowiedzi. Eksperymentuj, aby znaleźć najlepszą równowagę dla Twojej sytuacji.

Konfiguracja w aplikacji desktopowej​

Gdy Ollama działa z zainstalowanym modelem, aplikacja desktopowa wykrywa to automatycznie. Następnie możesz w czacie wybrać lokalny model jako alternatywę dla modeli w chmurze.

Na ekranie startowym selektor pod polem wpisywania pozwala wybrać model lokalny przed pierwszą wiadomością. Wybrany model jest używany od pierwszej wiadomości i można go później zmienić.

Dostępne modele z wsparciem tool/vision​

Zobacz pełną listę na ollama.com/library. Filtruj modele według:

  • tagu Tools dla możliwości narzędzi
  • tagu Vision dla rozpoznawania obrazów

Popularne opcje:

  • qwen3-vl:4b-instruct - kompaktowy, szybki, narzędzia + vizja
  • llama3.2-vision - możliwości wizji
  • mistral - szybkie zadania ogólne

Lokalne odczytywanie dokumentów i skanów​

Z modelem lokalnym aplikacja desktopowa odczytuje dokumenty na Twoim komputerze. Nic nie jest wysyłane.

  • Folder roboczy: w zatwierdzonym folderze AI odczytuje pliki Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) i RTF. Stare pliki .doc i .ppt są odczytywane tylko wtedy, gdy zainstalowany jest LibreOffice.
  • Skany i zdjęcia: zeskanowane strony PDF, obrazy (PNG, JPG, WebP, TIFF) i obrazy w plikach Word i PowerPoint są odczytywane za pomocą rozpoznawania tekstu (OCR). OCR jest dołączone do aplikacji i rozpoznaje język niderlandzki, angielski, niemiecki i francuski. Na czacie widać, która strona jest odczytywana; długi skan może potrwać kilka minut. Z jednego dokumentu OCR odczytuje maksymalnie 100 stron.
  • Niepewne rozpoznanie: gdy rozpoznanie tekstu jest niepewne, AI to zgłasza. Sprawdź wtedy nazwiska, liczby i kwoty w oryginale. Pismo odręczne, tabele i schematy nie zawsze są dobrze rozpoznawane.
  • Model obrazu: jeśli wybrany model obsługuje vision (np. qwen3-vl:4b-instruct), sam ogląda obrazy, w których rozpoznawanie tekstu odczytuje niewiele lub niepewnie. Bez GPU trwa to dłużej.
  • Zdjęcia z iPhone'a (HEIC): najpierw zapisz je jako JPEG lub PNG.

Także z modelem w chmurze aplikacja odczytuje dokumenty z folderu roboczego na Twoim komputerze, ale odczytany tekst trafia wtedy do tego modelu jako część rozmowy.

Praca bez internetu, także z załącznikami na czacie: zobacz Tryb offline.

Na tej stronie