स्थानीय AI मॉडलों के साथ चैट करें
स्थानीय AI मॉडलों के बारे में क्यों?
Ollama मॉडल को स्थानीय रूप से चलाता है। साइन-इन और चैट संग्रहण क्लाउड का उपयोग करते हैं और इंटरनेट आवश्यक है। क्लाउड मॉडल पर स्वतः स्विच नहीं होता।
यह सामान्य मोड पर लागू होता है। ऑफ़लाइन मोड में सब कुछ इसी कंप्यूटर पर रहता है: तब ऐप इंटरनेट के बिना भी काम करता है और नई चैट केवल स्थानीय रूप से, एन्क्रिप्ट करके सहेजी जाती हैं।
ओल्लामा क्यों?
Ollama एक ऐसा टूल है जिससे आप स्थानीय रूप से AI मॉडलों को आसानी से चला सकते हैं। इसे हर कंप्यूटर पर अलग से इंस्टॉल किया जाता है, जिससे यूज़र्स की संख्या के बारे में कोई प्रतिबंध नहीं होता - कोई साझा सर्वर नहीं।
Ollama इंस्टॉल करना
- Ollama डाउनलोड पेज पर जाएँ
- अपने ऑपरेटिंग सिस्टम के लिए संस्करण डाउनलोड करें (Windows, macOS या Linux)
- इंस्टॉलर के अनुसार Ollama स्थापित करें
- इंस्टॉल होने के बाद Ollama बैकग्राउंड में स्वचालित रूप से चलने लगेगा
एक भाषा मॉडल इंस्टॉल करना
Ollama स्थापित करने के बाद कम से कम एक भाषा मॉडल डाउनलोड करना आवश्यक है:
- Ollama इंटरफेस खोलें (सिस्टम ट्रे आइकन या टर्मिनल के जरिए)
- पसंद का भाषा मॉडल डाउनलोड करें
अनुशंसित मॉडल
पहले से बेहतर बनाम टूल और विज़न क्षमताओं वाला मॉडल चुनें:
- Tool capabilities - मॉडल एप्लिकेशन में उपलब्ध सभी टूल्स का उपयोग कर सकता है, जैसे इंटरनेट खोज और इमेज जेनरेशन
- Vision capabilities - मॉडल इमेजेज़ का विश्लेषण कर सकता है और वर्णन कर सकता है
qwen3-vl:4b-instruct तेज़ी और टूल/ विज़न क्षमताओं के बीच अच्छा संतुलन देता है। इस मॉडल को टर्मिनल से इंस्टॉल करें:
ollama pull qwen3-vl:4b-instruct
-instruct संस्करण चुनें: यह तुरंत जवाब देता है। सामान्य qwen3-vl:4b हर चरण से पहले देर तक सोचता है और लैपटॉप पर कई गुना धीमा है। छोटे स्थानीय मॉडलों के लिए ऐप एक छोटा निर्देश और केवल आपके प्रश्न से जुड़े टूल इस्तेमाल करता है। अगर वही चरण बार-बार विफल होता है, तो AI रुक जाता है और बताता है कि क्या सफल हुआ और क्या नहीं।
हार्डवेयर के आधार पर मॉडल चुनना
किसी मॉडल की प्रदर्शन आपके कंप्यूटर hardware पर निर्भर करती है:
| हार्डवेयर | अनुशंसा |
|---|---|
| सीमा (8GB RAM, GPU नहीं) | छोटे मॉडल चुनें (1-4B पैरामीटर्स) |
| मध्य-स्तर (16GB RAM, बेस GPU) | 7B पैरामीटर तक के मॉडल |
| शक्तिशाली (32GB+ RAM, आधुनिक GPU) | बड़े मॉडल संभव (13B+) |
छोटा मॉडल सामान्य तौर पर गति में बेहतर होता है, लेकिन सटीक उत्तर कम हो सकते हैं। अपने मामले के लिए सर्वोत्तम संतुलन खोजने के लिए प्रयोग करें.
डेस्कटॉप एप्लिकेशन में कॉन्फ़िगरेशन
Ollama चालू हो जाने के बाद एक स्थापित मॉडल के साथ, डेस्कटॉप एप्लिकेशन इसे ऑटोमैटिकली डिटेक्ट कर लेती है। फिर आप चैट में स्थानीय मॉडल को क्लाउड- मॉडलों के विकल्प के रूप में चुन सकते हैं।
आरंभिक स्क्रीन पर इनपुट फ़ील्ड के नीचे दिए चयनकर्ता से आप पहला संदेश भेजने से पहले स्थानीय मॉडल चुन सकते हैं। चुना गया मॉडल पहले संदेश से उपयोग होता है और बाद में बदला जा सकता है।
টools/vision सपोर्ट के साथ उपलब्ध मॉडलों
पूर्ण सूची के लिए ollama.com/library देखें। मॉडलों को फ़िल्टर करें:
- टूल क्षमताओं के लिए
Toolsटैग - इमेज पहचान के लिए
Visionटैग
लोकप्रिय विकल्प:
qwen3-vl:4b-instruct- कॉम्पैक्ट, तेज, टूल + विज़नllama3.2-vision- विज़न क्षमताएंmistral- तेज सामान्य कार्य
दस्तावेज़ों और स्कैन को स्थानीय रूप से पढ़ना
स्थानीय मॉडल के साथ डेस्कटॉप ऐप दस्तावेज़ों को आपके अपने कंप्यूटर पर पढ़ता है। कुछ भी अपलोड नहीं होता।
- कार्य फ़ोल्डर: स्वीकृत फ़ोल्डर में AI Word, PowerPoint, Excel, PDF, OpenDocument (ODT, ODP, ODS) और RTF पढ़ता है। पुरानी .doc और .ppt फ़ाइलें केवल तभी पढ़ी जाती हैं जब LibreOffice इंस्टॉल हो।
- स्कैन और फ़ोटो: स्कैन किए गए PDF पृष्ठ, चित्र (PNG, JPG, WebP, TIFF) और Word तथा PowerPoint फ़ाइलों के भीतर के चित्र टेक्स्ट पहचान (OCR) से पढ़े जाते हैं। OCR ऐप के साथ आता है और डच, अंग्रेज़ी, जर्मन और फ़्रेंच पहचानता है। चैट में दिखता है कि कौन-सा पृष्ठ पढ़ा जा रहा है; लंबे स्कैन में कुछ मिनट लग सकते हैं। प्रति दस्तावेज़ अधिकतम 100 पृष्ठ OCR से पढ़े जाते हैं।
- अनिश्चित पहचान: जब टेक्स्ट पहचान अनिश्चित हो, तो AI यह बताता है। तब नाम, संख्याएँ और राशियाँ मूल दस्तावेज़ में जाँचें। हस्तलेख, तालिकाएँ और आरेख हमेशा सही नहीं पहचाने जाते।
- विज़न मॉडल: यदि चुने गए मॉडल में विज़न है (जैसे
qwen3-vl:4b-instruct), तो मॉडल स्वयं उन चित्रों को देखता है जिनमें टेक्स्ट पहचान कम या अनिश्चित पढ़ती है। GPU के बिना इसमें अधिक समय लगता है। - iPhone फ़ोटो (HEIC): पहले उन्हें JPEG या PNG के रूप में सहेजें।
क्लाउड मॉडल के साथ भी ऐप कार्य फ़ोल्डर के दस्तावेज़ आपके कंप्यूटर पर पढ़ता है, लेकिन पढ़ा गया टेक्स्ट तब बातचीत के हिस्से के रूप में उस मॉडल को भेजा जाता है।
इंटरनेट के बिना काम करना, चैट में अटैचमेंट सहित: देखें ऑफ़लाइन मोड।