# 6 consejos: cómo las empresas operan modelos de lenguaje de IA en hardware propio

Nota de prensa de la agencia de IA Iphos del 09.11.2026: la memoria decide si un modelo de lenguaje funciona; el flujo de trabajo, lo rápido que es – seis consejos sobre modelo, equipo, costes y ubicación.

<https://searchit-agent.ai/unternehmen/pr/6-tipps-so-betreiben-unternehmen-ki-sprachmodelle-auf-eigener-hardware/>

*Viena, 9 de noviembre de 2026*

La memoria decide si un modelo funciona; el flujo de trabajo, lo rápido que es

**(Viena, 9 de noviembre de 2026)** Con el hardware adecuado, empresas, despachos de abogados y organismos públicos operan modelos de lenguaje de IA en sus propias instalaciones. La cuestión de la operación propia es importante por dos razones: los datos se quedan en casa y, con una carga continua, la factura puede resultar más baja que con el uso a través de una interfaz de programación (API). Qué equipo es el adecuado depende menos del tamaño del modelo que del flujo de trabajo, y este está cambiando ahora mismo: una pregunta breve en un chat abarca pocas palabras. Un agente de IA, en cambio, lee en cada paso de trabajo entre 10.000 y 30.000 tokens de resultados de búsqueda y extractos de documentos; los tokens son las unidades de texto con las que calculan los modelos de lenguaje. Los seis consejos siguientes muestran a los responsables de TI cómo ajustar modelo y equipo entre sí, cuándo compensa la compra y dónde conviene colocar el aparato. Se basan en mediciones publicadas, precios actuales y un ejemplo de cálculo con 500.000 documentos.

## 1. Elegir primero el modelo y después el equipo

Un modelo de lenguaje consta de miles de millones de valores numéricos aprendidos, los parámetros. Para que pueda leer textos y escribir respuestas, estos valores deben estar íntegramente en una memoria rápida, directamente junto al chip de cálculo. En una estación de trabajo es la memoria de la tarjeta gráfica, la memoria de GPU (VRAM); en el Mac Studio y en las cajas de IA, el procesador y la parte gráfica comparten una memoria común. Si el modelo no cabe, no puede operarse de forma útil.

El espacio necesario depende del tamaño y del formato de almacenamiento. Un modelo de unos 26.000 millones de parámetros ocupa en la versión de 4 bits, que guarda cada valor de forma compacta y algo menos precisa, unos 16 gigabytes de memoria de GPU, y en la versión de 8 bits unos 26 gigabytes. Además, cada solicitud en curso necesita una caché en la que el modelo retiene lo que ya ha leído. Cuanto más largos son los textos y cuantas más solicitudes se ejecutan a la vez, más espacio ocupa. En una tarjeta gráfica con 96 gigabytes de memoria de GPU quedan libres, junto al modelo de 8 bits, unos 70 gigabytes para esta caché; en una tarjeta con 48 gigabytes, unos 20. Qué modelos de pesos abiertos (open weights), es decir, cuyos archivos están disponibles públicamente, funcionan en qué tarjeta gráfica y cuánto costaría su uso a través de una interfaz lo muestra un portal comparativo gratuito, enlazado más abajo.

«La pregunta por la memoria de GPU es la primera pregunta correcta, pero solo la primera», afirma Ing. Christoph Wendl, CEO de searchit. «Quien compra hardware para su propio flujo de trabajo y no para el modelo más grande del que todo el mundo habla en este momento obtiene más rendimiento por su presupuesto.»

## 2. Tener en cuenta la longitud de las entradas

Un modelo de lenguaje trabaja en dos pasos, y cada uno plantea exigencias distintas al hardware. Al leer, procesa toda la entrada de una vez. Es una tarea de cálculo grande, así que aquí cuenta la potencia de cálculo del chip gráfico. Al escribir, genera la respuesta token a token y para ello lee cada vez sus parámetros de la memoria. Aquí cuenta el ancho de banda de memoria, es decir, la rapidez con la que los datos llegan de la memoria al chip.

En una pregunta breve de chat, la lectura dura fracciones de segundo; se espera sobre todo a la escritura. Con documentos y agentes, la lectura se convierte en el cuello de botella. Para 20.000 tokens, el cálculo da unos 0,6 segundos en una RTX PRO 6000, 1,2 segundos en una RTX PRO 5000 y aproximadamente de 3 a 12 segundos en un Mac Studio M5 Ultra. Como un agente da varios de estos pasos por pregunta, estos tiempos se suman.

## 3. Planificar desde el principio las solicitudes simultáneas

Una persona en el chat, diez compañeros con un agente y un lote de 500.000 documentos son tres cargas distintas, y cada una exige un hardware distinto. Para pocos usuarios con preguntas breves basta un Mac Studio (6.599 euros con 96 gigabytes) o una caja de IA de la clase DGX Spark (de 4.900 a 6.900 euros). Ambos funcionan en silencio sobre el escritorio.

Si muchos compañeros y compañeras o varios agentes deben trabajar a la vez, una estación de trabajo con RTX PRO 6000 (unos 22.200 euros) muestra su fuerza. El software vLLM agrupa allí muchas solicitudes y hace que la tarjeta gráfica las procese conjuntamente: se midieron 125 solicitudes simultáneas con 18 tokens por segundo cada una. En el Mac, la agrupación, medida con el software llama.cpp, solo ayuda al escribir. Allí las entradas largas se leen prácticamente una tras otra, de modo que las solicitudes se esperan unas a otras.

## 4. Comprobar los benchmarks con el propio flujo de trabajo

Los benchmarks son pruebas de rendimiento estandarizadas, y sus valores solo valen para las condiciones de la prueba. La extendida herramienta de medición llama-bench trabaja, si no se indica otra cosa, con 512 tokens de entrada, 128 tokens de salida y una única solicitud. Eso dice poco sobre un agente que lee 20.000 tokens y se ejecuta junto a otras solicitudes. Lo significativo son los valores con la propia longitud de entrada y con tantas solicitudes simultáneas como en la operación real.

También cuenta la versión del software: en un Mac Studio M3 Ultra, la lectura de 8.192 tokens bajó tras una actualización de llama.cpp de unos 2.106 a 1.183 tokens por segundo, con el mismo hardware y el mismo modelo. Lo más fiable sigue siendo, por tanto, la medición propia con el modelo previsto y entradas típicas.

## 5. Antes de comprar, calcular la interfaz y el alquiler

Un modelo de lenguaje no tiene por qué funcionar en hardware propio. A través de una interfaz de programación también puede usarse en un proveedor, y entonces se factura por tokens procesados. Para un gran lote puntual, esto es casi siempre más barato. Lo muestra un ejemplo con 500.000 documentos, cada uno con 7.500 tokens de entrada y 1.500 tokens de salida, y el modelo Gemma 4 26B A4B: con las ofertas más baratas con procesamiento en la UE, el proceso cuesta de 600 a 850 euros; una estación de trabajo adecuada, de 13.500 a 22.200 euros.

El hardware propio sale rentable cuando trabaja de forma continua, porque se amortiza también en reposo. Con plena carga durante 36 meses y un precio de la electricidad de 0,30 euros por kilovatio hora, 1.000 documentos cuestan en una RTX PRO 6000, según el cálculo, unos 0,18 euros; a través de la interfaz, de 1,20 a 1,70 euros. Si la estación de trabajo solo funciona ocho horas al día, su coste por documento aproximadamente se triplica. También allí donde los datos no deben salir de la casa, por ejemplo en profesiones sujetas al secreto profesional, el hardware propio es la opción natural. En medio queda el alquiler: centros de datos europeos ofrecen una RTX PRO 6000 desde unos 1,25 euros por hora, sin compra y con las mismas ventajas en solicitudes simultáneas.

## 6. Pensar desde el principio en la ubicación

La electricidad que consume una tarjeta gráfica la devuelve en forma de calor, y sus ventiladores tienen que evacuar ese calor. Por eso la cuestión del ruido y del calor residual va antes de la compra. Una caja de IA con unos 160 vatios bajo carga y un máximo medido de 37,5 dB(A) a 46 centímetros de distancia puede estar en el puesto de trabajo. Una estación de trabajo con RTX PRO 6000, en cambio, debe ir a una sala contigua con entrada de aire: la tarjeta consume hasta unos 530 vatios, el calor residual equivale a un calefactor de aire a baja potencia, y la norma alemana de lugares de trabajo ASR A3.7 indica para oficinas de una y dos personas un valor de planificación de 40 dB(A).

Funcionando las 24 horas, la electricidad cuesta unos 1.970 euros al año. La variante Max-Q se conforma con 300 en lugar de 600 vatios, cuesta unos 1.180 euros de electricidad y, según las mediciones, trabaja con modelos de lenguaje entre un 13 y un 19 por ciento más despacio. Para procesos de varios días se recomienda un sistema de alimentación ininterrumpida, para que un breve corte en la red eléctrica no interrumpa todo el proceso.

Más información sobre el artículo «Hardware para LLM locales»: [www.searchit-enterprise-search.com/hardware-lokale-llm](https://www.searchit-enterprise-search.com/hardware-lokale-llm/)

Más información sobre searchit Models – operación propia: [models.searchit-agent.ai/selbst-betreiben](https://models.searchit-agent.ai/selbst-betreiben/), calculadora de costes: [models.searchit-agent.ai/werkzeuge/kostenrechner](https://models.searchit-agent.ai/werkzeuge/kostenrechner/)

Más información sobre el searchit AI Agent: [searchit-agent.ai](https://searchit-agent.ai/)

## Sobre searchit: agentes de IA para empresas

Con searchit, el conocimiento de una organización se convierte en la memoria de su IA. El searchit AI Agent conoce sus datos (correos, documentos, etc.) y trabaja con ellos. Así, el agente se convierte en un empleado digital. La tecnología se basa en la larga experiencia de searchit como plataforma de búsqueda empresarial, utilizada por numerosos clientes como Samsung, TÜV, el Technisches Museum Wien y la autoridad digital de Baviera. searchit lo desarrolla Iphos IT Solutions GmbH, con sede en Viena. Su laboratorio de IA propio sigue desarrollando las funciones de IA de la plataforma. Ing. Christoph Wendl dirige junto con Lyubomir Ivanov, como Chief Executive Officer, la empresa fundada en 1998.

## Contacto para medios

- Ing. Christoph Wendl, director general, Iphos IT Solutions GmbH
- Khekgasse 35, 1230 Viena, Austria
- Tel.: +43 1 869 84 00
- Correo: [info@searchit.cc](mailto:info@searchit.cc)

- [Nota en PDF (alemán)](https://searchit-agent.ai/unternehmen/pr/6-tipps-so-betreiben-unternehmen-ki-sprachmodelle-auf-eigener-hardware/20261109-presseaussendung-hardware-llm.pdf)

---

- searchit AI Agent: <https://searchit-agent.ai/>

Esta versión se genera a partir de los archivos de idioma de la página (scripts/gen-unternehmen.py). Prevalece la propia página.
