# 6 съвета: как компаниите използват ИИ езикови модели на собствен хардуер

Прессъобщение на ИИ агенцията Iphos от 09.11.2026: паметта решава дали езиковият модел ще работи, работният процес – колко бързо – шест съвета за модел, компютър, разходи и място за инсталиране.

<https://searchit-agent.ai/unternehmen/pr/6-tipps-so-betreiben-unternehmen-ki-sprachmodelle-auf-eigener-hardware/>

*Виена, 09.11.2026 г.*

Паметта решава дали моделът ще работи – работният процес решава колко бързо

**(Виена, 09.11.2026 г.)** С подходящия хардуер компании, адвокатски кантори и държавни институции използват ИИ езикови модели в собствените си помещения. Въпросът за собствената експлоатация е важен по две причини: данните остават в организацията, а при постоянно натоварване сметката може да се окаже по-ниска, отколкото при използване чрез програмен интерфейс (API). Кой компютър е правилният, зависи по-малко от размера на модела, отколкото от работния процес, а той в момента се променя: един кратък въпрос в чат съдържа няколко думи. ИИ агентът обаче чете на всяка работна стъпка от 10 000 до 30 000 токена резултати от търсене и откъси от документи; токените са текстовите единици, с които изчисляват езиковите модели. Следващите шест съвета показват на ИТ отговорниците как да съгласуват модел и компютър, кога покупката се изплаща и къде е най-добре да стои устройството. Те се основават на публикувани измервания, актуални цени и примерно изчисление с 500 000 документа.

## 1. Първо изберете модела, после компютъра

Езиковият модел се състои от милиарди научени числови стойности – параметрите. За да може да чете текстове и да пише отговори, тези стойности трябва изцяло да се намират в бърза памет непосредствено до изчислителния чип. При работна станция това е паметта на графичната карта, графичната памет (VRAM); при Mac Studio и при ИИ кутиите процесорът и графичната част споделят обща памет. Ако моделът не се побира, той не може да се използва смислено.

Колко място е нужно, зависи от размера и формата на съхранение. Модел с около 26 милиарда параметъра заема в 4-битовата версия, която записва всяка стойност компактно и малко по-неточно, около 16 гигабайта графична памет, а в 8-битовата версия – около 26 гигабайта. Освен това всяка текуща заявка се нуждае от кеш, в който моделът запазва вече прочетеното. Колкото по-дълги са текстовете и колкото повече заявки вървят едновременно, толкова повече място заема той. На графична карта с 96 гигабайта графична памет до 8-битовия модел остават свободни около 70 гигабайта за този кеш, на карта с 48 гигабайта – около 20. Кои модели с отворени тегла (open weights), т.е. чиито файлове са публично достъпни, на коя графична карта работят и колко би струвало използването им чрез интерфейс, показва безплатен портал за сравнение, към който има връзка по-долу.

„Въпросът за графичната памет е правилният първи въпрос, но само първият“, казва инж. Кристоф Вендл, CEO на searchit. „Който купува хардуер за собствения си работен процес, а не за най-големия модел, за който всички говорят в момента, получава повече производителност за бюджета си.“

## 2. Отчетете дължината на входните данни

Езиковият модел работи в две стъпки и всяка поставя различни изисквания към хардуера. При прочитането той обработва целия вход наведнъж. Това е голяма изчислителна задача, затова тук е важна изчислителната мощ на графичния чип. При писането той генерира отговора токен по токен и всеки път чете параметрите си от паметта. Тук е важна честотната лента на паметта, т.е. колко бързо данните стигат от паметта до чипа.

При кратък въпрос в чат прочитането трае части от секундата; чака се основно писането. При документи и агенти прочитането се превръща в тясното място. За 20 000 токена изчисленията дават около 0,6 секунди на RTX PRO 6000, 1,2 секунди на RTX PRO 5000 и грубо от 3 до 12 секунди на Mac Studio M5 Ultra. Тъй като агентът прави по няколко такива стъпки на въпрос, тези времена се натрупват.

## 3. Предвидете едновременните заявки от самото начало

Един човек в чат, десет колеги с агент и пакет от 500 000 документа са три различни натоварвания и всяко изисква различен хардуер. За малко потребители с кратки въпроси е достатъчен Mac Studio (6 599 евро с 96 гигабайта) или ИИ кутия от класа DGX Spark (от 4 900 до 6 900 евро). И двете стоят тихо на бюрото.

Ако много колеги или няколко агента трябва да работят едновременно, работна станция с RTX PRO 6000 (около 22 200 евро) показва силата си. Софтуерът vLLM групира там много заявки и кара графичната карта да ги обработва заедно: измерени са 125 едновременни заявки с по 18 токена в секунда. На Mac групирането, измерено със софтуера llama.cpp, помага само при писането. Дългите входове там се прочитат практически един след друг, така че заявките се изчакват една друга.

## 4. Проверявайте бенчмарковете спрямо собствения процес

Бенчмарковете са стандартизирани тестове за производителност и стойностите им важат само за условията на теста. Разпространеният инструмент за измерване llama-bench работи по подразбиране с 512 токена вход, 128 токена изход и една-единствена заявка. Това казва малко за агент, който чете 20 000 токена и работи наред с други заявки. Показателни са стойностите при собствената дължина на входа и с толкова едновременни заявки, колкото в реалната работа.

Версията на софтуера също има значение: на Mac Studio M3 Ultra прочитането на 8 192 токена спадна след актуализация на llama.cpp от около 2 106 на 1 183 токена в секунда – при същия хардуер и същия модел. Затова най-надеждно остава собственото измерване с планирания модел и типични входни данни.

## 5. Преди покупка пресметнете интерфейс и наем

Езиковият модел не е задължително да работи на собствен хардуер. Чрез програмен интерфейс той може да се използва и при доставчик, като таксуването е според обработените токени. За еднократен голям пакет това почти винаги е по-евтино. Това показва пример с 500 000 документа, всеки със 7 500 токена вход и 1 500 токена изход, и модела Gemma 4 26B A4B: при най-евтините оферти с обработка в ЕС обработката струва от 600 до 850 евро, а подходяща работна станция – от 13 500 до 22 200 евро.

Собственият хардуер се изплаща, когато работи постоянно, защото се амортизира и когато стои неизползван. При пълно натоварване в продължение на 36 месеца и цена на тока 0,30 евро за киловатчас 1 000 документа на RTX PRO 6000 струват по изчисление около 0,18 евро, а чрез интерфейса – от 1,20 до 1,70 евро. Ако работната станция работи само по осем часа на ден, разходите ѝ на документ приблизително се утрояват. И там, където данните не бива да напускат организацията, например при професии, обвързани с професионална тайна, собственият хардуер е естественият избор. По средата е наемът: европейски центрове за данни предлагат RTX PRO 6000 от около 1,25 евро на час, без покупка и със същите предимства при едновременни заявки.

## 6. Мислете за мястото на инсталиране от самото начало

Електроенергията, която графичната карта консумира, тя отдава обратно като топлина, а вентилаторите ѝ трябва да отвеждат тази топлина. Затова въпросът за шума и отделяната топлина трябва да се реши преди покупката. ИИ кутия с около 160 вата при натоварване и измерени най-много 37,5 dB(A) на разстояние 46 сантиметра може да стои на работното място. Работна станция с RTX PRO 6000 обаче трябва да е в съседно помещение с приток на въздух: картата консумира до около 530 вата, отделяната топлина съответства на вентилаторна печка на ниска степен, а германското правило за работните места ASR A3.7 посочва за офиси с един и двама души проектна стойност от 40 dB(A).

При денонощна работа токът струва около 1 970 евро годишно. Вариантът Max-Q се справя с 300 вместо 600 вата, струва около 1 180 евро за ток и според измерванията работи с езикови модели с 13 до 19 процента по-бавно. За обработки, продължаващи няколко дни, се препоръчва непрекъсваемо захранване, за да не прекъсне кратко спиране на електрозахранването цялата обработка.

Повече информация за статията „Хардуер за локални LLM“: [www.searchit-enterprise-search.com/hardware-lokale-llm](https://www.searchit-enterprise-search.com/hardware-lokale-llm/)

Повече информация за searchit Models – собствена експлоатация: [models.searchit-agent.ai/selbst-betreiben](https://models.searchit-agent.ai/selbst-betreiben/), калкулатор на разходите: [models.searchit-agent.ai/werkzeuge/kostenrechner](https://models.searchit-agent.ai/werkzeuge/kostenrechner/)

Повече информация за searchit AI Agent: [searchit-agent.ai](https://searchit-agent.ai/)

## За searchit: ИИ агенти за бизнеса

Със searchit знанието на една организация се превръща в паметта на нейния ИИ. searchit AI Agent познава вашите данни (имейли, документи и др.) и работи с тях. Така агентът става дигитален служител. Технологията стъпва на дългогодишния опит на searchit като платформа за корпоративно търсене, използвана от много клиенти като Samsung, TÜV, Техническия музей на Виена и Баварската дигитална агенция. searchit се разработва от Iphos IT Solutions GmbH със седалище във Виена. Собствената ѝ AI лаборатория непрекъснато развива ИИ функциите на платформата. Инж. Кристоф Вендл ръководи заедно с Любомир Иванов като Chief Executive Officer основаната през 1998 г. компания.

## Контакт за медии

- Инж. Кристоф Вендл, управител, Iphos IT Solutions GmbH
- Khekgasse 35, 1230 Виена, Австрия
- Тел.: +43 1 869 84 00
- Имейл: [info@searchit.cc](mailto:info@searchit.cc)

- [Съобщението като PDF (на немски)](https://searchit-agent.ai/unternehmen/pr/6-tipps-so-betreiben-unternehmen-ki-sprachmodelle-auf-eigener-hardware/20261109-presseaussendung-hardware-llm.pdf)

---

- searchit AI Agent: <https://searchit-agent.ai/>

Тази версия е генерирана от езиковите файлове на страницата (scripts/gen-unternehmen.py). Меродавна е самата страница.
