Хардуер и локален AI
МОДУЛ 15 Хардуер и локален AI: инструкции за техничари |
Когато данните не могат да напуснат стаята
Повечето AI инструменти работят в облака — изпращаш текст, получаваш отговор. Удобно. Но ако текстът съдържа имена, диагнози или адреси на клиенти, ЗЗЛД и добрата практика казват: не.
Локалният AI е решението. Моделът работи на вашия компютър, данните не напускат сградата, интернет не е нужен. Отговорите са малко по-бавни и малко по-кратки — но за анонимизация, вътрешни доклади и работа в уязвими контексти, това е правилният избор.
Този модул е в две части:
→ За социалния работник: какво е локален AI и кога да го поискаш
→ За техничаря: как да го инсталираш стъпка по стъпка
1. За социалния работник: кога и защо
Не е нужно да разбираш как работи. Нужно е да знаеш кога да поискаш от IT колегата да го настрои — и да му дадеш правилното писмо.
Кога е необходим локален AI?
| Ситуация | Локален AI (Ollama) | Cloud AI (Claude) |
| Анонимизация на досиета с имена | ✓ Препоръчително | ✗ Избягвай |
| Чернова на доклад без лични данни | △ Работи, но по-бавно | ✓ По-добро качество |
| Анализ на чувствителни случаи | ✓ Безопасно | ✗ ЗЗЛД ограничение |
| Превод на документи с имена | ✓ Препоръчително | ✗ Избягвай |
| Мозъчна атака за проектна идея | △ Работи | ✓ По-богати отговори |
| Работа без интернет достъп | ✓ Единствена опция | ✗ Невъзможно |
Правилото за избор Ако работният файл съдържа лични данни (имена, дати, адреси, диагнози) → Ollama. Ако работиш с анонимизирани данни или обобщена информация → Claude в облака. Когато се съмняваш — анонимизирай, после използвай облака. Двата инструмента се допълват. Важно: Ollama работи само с текст, въведен директно в терминала. За PDF или Word файлове — първо извлечи текста (копирай от Word, или ползвай безплатен PDF-to-text инструмент), след това го постави в prompt. |
2. Писмо до техничаря
Копирай това писмо, добави подпис и го дай на IT отговорника. Съдържа всичко, което той/тя трябва да знае.
ПИСМО КЪМ ТЕХНИЧАРЯ Уважаеми/а колега, Обучаваме се по програма "Claude на твоя език" — използване на AI инструменти в социалната работа. Една от стъпките изисква локална AI инсталация за работа с чувствителни данни (без интернет, без облак). Молим те да инсталираш следното на нашия работен компютър: 1. Ollama — платформа за локални AI модели (ollama.com) 2. Llama 3.2 (3B) модел — изпълни: ollama pull llama3.2:3b 3. Тест — изпълни: ollama run llama3.2:3b и напиши "Здравей" Пълната техническа инструкция е в Модул 15 от нашите обучителни материали. Благодарим те! Подпис: ________________________ Дата: ___________ |
ПОЗДРАВ КЪМ ТЕХНИЧАРИТЕ Скъпи технически колеги, Вие сте невидимата инфраструктура на тази работа. Докато социалните работници са с хората — вие настройвате средата, в която AI може да помогне, без да навреди. Без вас нито един от следните модули не би бил реализиран на практика. Благодарим ви, че разбирате каузата. Работата с уязвими групи изисква не само добро сърце — изисква и сигурна технологична основа. Вие я изграждате. Инструкциите по-долу са написани така, че да можете да ги следвате стъпка по стъпка — без предварителни познания за AI, но с вашите умения за инсталация и конфигурация. Всяка стъпка е тествана. Ако нещо не работи — причината е описана в "Проблеми и решения". — Авторите на "Claude на твоя език" |
3. Техническа инструкция (за IT специалиста)
Следващите стъпки предполагат: Windows 10/11 или macOS 12+, admin права, интернет за еднократно изтегляне на модела.
Хардуерни изисквания
| Компонент | Минимум | Препоръчително | Защо е важно |
| RAM (оперативна памет) | 8 GB | 16 GB или повече | Моделът се зарежда изцяло в RAM. 8 GB позволява стартиране, но Windows заема 3–4 GB — остава малко за модела. Препоръчителни са 16 GB за комфортна работа с по-дълги текстове. |
| Процесор (CPU) | Intel i5 (8-мо поколение) / AMD Ryzen 5 | i7 / Ryzen 7 или по-нов | По-новите процесори имат AVX2 инструкции — ускоряват inference с 30-50%. |
| Видеокарта (GPU) | Не е задължителна | NVIDIA с 4+ GB VRAM | GPU ускорява отговорите 5-10×. NVIDIA е с най-добра поддръжка (CUDA). |
| Свободно място на диска | 5 GB | 20 GB | Llama 3.2 3B заема ~2 GB. По-големите модели — повече. |
| Операционна система | Windows 10 64-bit / macOS 12 | Windows 11 / macOS 14 | Linux (Ubuntu 22+) също се поддържа отлично. |
Инсталация на Ollama (Windows)
01 Изтегли Ollama Отвори браузъра и отиди на: https://ollama.com Натисни "Download for Windows" — получаваш файл OllamaSetup.exe Стартирай инсталатора с двоен клик → Next → Install → Finish |
02 Провери инсталацията Отвори Command Prompt (Win+R → cmd → Enter) Напиши: ollama --version Трябва да видиш: ollama version 0.x.x (числото не е важно) |
03 Изтегли Llama 3.2 модела В същия Command Prompt напиши: ollama pull llama3.2:3b Изчакай — изтеглянето е ~2 GB и може да отнеме 5-20 минути Готово, когато видиш: success (зелено) |
04 Тест с кирилица Напиши: ollama run llama3.2:3b При prompt >>> напиши: Напиши "Здравей" на български. Ако получиш кирилски отговор — инсталацията е успешна За изход: напиши /bye и натисни Enter (работи навсякъде), или натисни Ctrl+C |
05 Настрой UTF-8 (само ако кирилицата е разбъркана) В Command Prompt напиши: chcp 65001 Ако проблемът продължава: Settings → Region → Administrative → Change system locale → Beta: Use Unicode UTF-8 Рестартирай компютъра |
Инсталация на Ollama (macOS)
01 Изтегли Ollama Отвори браузъра и отиди на: https://ollama.com Натисни "Download for Mac" — получаваш Ollama.zip Разархивирай и премести Ollama.app в Applications папката |
02 Стартирай и тествай Отвори Terminal (Cmd+Space → Terminal) Напиши: ollama pull llama3.2:3b След изтеглянето: ollama run llama3.2:3b Тест: Напиши "Здравей" на български. |
Кой модел за кой компютър?
Llama 3.2 е семейство от Meta — безплатен, без регистрация, работи офлайн. Избери според наличната RAM:
| Модел | RAM нужна | Команда | Подходящ за |
| Llama 3.2 1B | 4 GB | ollama pull llama3.2:1b | Стар компютър, само анонимизация |
| Llama 3.2 3B ★ | 8 GB | ollama pull llama3.2:3b | Препоръчителен за повечето случаи |
| Llama 3.1 8B | 16 GB (мин.) / 32 GB | ollama pull llama3.1:8b | По-сложни текстове, анализ |
Как да работиш с документи (PDF, Word)
Ollama приема само текст, въведен директно в терминала. За да работиш с реален документ:
А От Word файл Отвори документа в Word или LibreOffice Маркирай нужния текст → Копирай (Ctrl+C) В терминала: ollama run llama3.2:3b Постав текста (Ctrl+V) → добави инструкцията: "Анонимизирай имената в горния текст" |
Б От PDF файл Ако PDF-ът е с текст (не сканиран): отвори в браузъра → Ctrl+A → Ctrl+C → постав в Ollama Ако PDF-ът е сканиран (снимка): нужен е OCR инструмент (напр. безплатен Adobe Acrobat Online или ABBYY FineReader) Алтернатива за Windows: безплатна програма "pdftotext" от xpdf-tools — конвертира PDF в .txt файл |
ОГРАНИЧЕНИЕ НА РАЗМЕРА Ollama има контекстен прозорец — при 3B модел: ~8 000 думи наведнъж. Ако документът е по-дълъг, обработвай го на части от по 3–4 страници. |
АКО КОМПЮТЪРЪТ Е СТАР (4–8 GB RAM, преди 2018 г.) Дори Llama 3.2 1B може да бъде бавен или нестабилен на много стар хардуер. В такъв случай: локалният AI не е практична опция. Препоръка: анонимизирай ръчно (заменяй имена с Лице А / Лице Б) → след това ползвай Claude в облака за останалата работа. Ако организацията планира закупуване на нов компютър — минималната препоръка за локален AI е i5 (12-то поколение) + 16 GB RAM. |
Проблеми и решения
| Проблем | Вероятна причина | Решение |
| ollama: command not found | Не е добавен в PATH | Рестартирай терминала след инсталация; на Windows: провери Environment Variables |
| Модел се изтегля бавно или спира | Слаба интернет връзка или firewall | Изчакай — изтеглянето може да отнеме 20-40 мин; провери прокси настройките |
| Error: model requires 8GB RAM | Недостатъчна RAM | Използвай по-малък модел: ollama pull llama3.2:1b (1 млрд параметри) |
| Отговорите са много бавни | Само CPU (без GPU ускорение) | Нормално за CPU-only — стандартен office CPU (i5) дава ~2–5 токъна/сек; по-нов с AVX2/AVX512 — 5–10+. Достатъчно за текстова работа, но бъди търпелив. |
| Кирилицата не се показва правилно | Терминалът не е в UTF-8 | На Windows: chcp 65001 в командния ред преди ollama run |
4. Сигурност и добри практики
⚠ Ollama слуша на localhost:11434 По подразбиране Ollama е достъпен само от същия компютър — но ако конфигурираш OLLAMA_HOST=0.0.0.0, моделът стана достъпен от мрежата. Не прави това, освен ако нямаш firewall защита. |
Препоръки за сигурност в НПО среда → Не излагай Ollama API към интернет или към публичната мрежа на организацията. → Ограничи достъпа само до компютрите, на които работят обучените потребители. → Прави редовни актуализации: ollama pull llama3.2:3b изтегля нова версия при наличие. → Моделите не пазят история — всеки разговор е изолиран. Не е нужна допълнителна конфигурация. |
УПРАЖНЕНИЕ: Инсталирай и тествай Ollama 1. Изтегли Ollama от ollama.com и инсталирай 2. В терминал: ollama pull llama3.2:3b (изчакай изтеглянето) 3. Тест 1: ollama run llama3.2:3b → Напиши "Здравей" на български. 4. Тест 2: Напиши примерен текст с ИЗМИСЛЕНО (не реално) ime и помоли модела да го анонимизира. ⚠ Резултатът трябва да се провери от човек — 3B модел може да пропусне нестандартни имена или да замени с друго реално ime. За чувствителни досиета използвай llama3.1:8b. 5. Запиши резултата — колко секунди отговаря моделът на твоя компютър? 6. Сподели с колегите: "Работи / Не работи — ето защо" Отнема около 30 минути при добра интернет връзка. Моделът се изтегля еднократно — след това работи офлайн. |
Края на Блок 3 Модули 13 · 14 · 15 — Оптимизация: поведение, настройки, хардуер "Claude на твоя език" е свободен образователен ресурс за социални работници и НПО. Копирай, споделяй, адаптирай. Без ограничения. |