IA local y privada: ejecuta modelos sin enviar datos fuera

La adopción masiva de herramientas de IA basadas en APIs de terceros ha generado una preocupación creciente en los departamentos jurídicos, de cumplimiento y de seguridad de las empresas: qué ocurre con los datos que se envían a esos servicios, quién tiene acceso a ellos, cómo se usan para el reentrenamiento de modelos y qué ocurre si el proveedor sufre una brecha de seguridad. En sectores como la sanidad, el derecho, las finanzas o la Administración Pública, estas preguntas no son teóricas: son requisitos regulatorios que determinan si una tecnología puede o no utilizarse.

La IA local, también llamada IA on-premise o IA privada, responde a estas preguntas con una solución radical: ejecutar los modelos de inteligencia artificial en la infraestructura propia de la organización, sin enviar ningún dato a servidores externos. Este enfoque era técnicamente complejo y económicamente prohibitivo hace apenas dos años. Hoy, gracias a la proliferación de modelos de código abierto de alta calidad, a herramientas de ejecución como Ollama y llama.cpp, y a la disponibilidad de hardware acelerado a precios más accesibles, la IA local es una opción práctica y viable para muchas organizaciones.

Este artículo es una guía técnica y práctica para responsables de TI, arquitectos de sistemas y directores de seguridad que quieren evaluar e implantar IA local en su organización. Cubrimos los modelos disponibles, las herramientas de ejecución, los requisitos de hardware, los casos de uso más adecuados y los aspectos de seguridad y gobernanza que hay que tener en cuenta.

Por qué la IA local es relevante para las empresas

La motivación principal para adoptar IA local varía según la organización, pero generalmente se centra en tres grandes áreas: privacidad y protección de datos, control y soberanía, y coste a largo plazo. Comprender cuál de estas motivaciones predomina en tu caso es importante para tomar las decisiones técnicas correctas.

Privacidad y cumplimiento normativo

El RGPD europeo establece restricciones claras sobre la transferencia de datos personales a terceros, especialmente cuando esos terceros están fuera del Espacio Económico Europeo. Cuando una empresa envía documentos de clientes, registros médicos, contratos o comunicaciones internas a una API de IA gestionada por un proveedor estadounidense, se activan una serie de obligaciones de cumplimiento que muchas organizaciones no han analizado con suficiente rigor. El uso de IA local elimina este problema de raíz: los datos nunca salen del perímetro de control de la organización.

Control y soberanía tecnológica

Las APIs de IA gestionadas por terceros suponen una dependencia tecnológica que las organizaciones con visión estratégica prefieren evitar o minimizar. Cambios en los precios, modificaciones en las políticas de uso, interrupciones del servicio o decisiones unilaterales del proveedor sobre el comportamiento del modelo pueden impactar directamente en la operación del negocio. La IA local da a la organización control total sobre el modelo que usa, cuándo lo actualiza y cómo lo configura.

Coste a escala

Para organizaciones con altos volúmenes de uso de IA, el coste de las APIs de pago por uso puede ser significativo. Un modelo local, una vez la infraestructura de hardware está amortizada, tiene un coste marginal por inferencia cercano a cero. Esta ecuación no siempre favorece a la IA local (el coste de hardware, mantenimiento y personal técnico puede superar el de la API en muchos casos), pero para casos de uso de alto volumen con requerimientos de latencia moderados, la IA local puede ser la opción más económica a largo plazo.

Modelos de código abierto: el ecosistema en 2025

El ecosistema de modelos de lenguaje grande de código abierto ha madurado de forma extraordinaria. La familia Llama de Meta (Llama 3.1, Llama 3.2, Llama 3.3), los modelos Mistral y Mixtral de Mistral AI, Qwen de Alibaba, Gemma de Google y Phi de Microsoft son los referentes actuales, con versiones que oscilan entre mil millones y ciento cuarenta mil millones de parámetros para adaptarse a diferentes capacidades de hardware.

Estos modelos están disponibles en Hugging Face y pueden descargarse y ejecutarse libremente para la mayoría de casos de uso empresariales, con licencias que varían desde completamente libres (MIT, Apache 2.0) hasta licencias con restricciones de uso comercial para organizaciones por encima de cierto umbral de ingresos. La calidad de los modelos abiertos ha alcanzado un nivel que los hace competitivos con GPT-3.5 y en algunos benchmarks con versiones anteriores de GPT-4 para muchas tareas empresariales concretas, especialmente con fine-tuning o con técnicas de RAG (Retrieval-Augmented Generation).

Herramientas para ejecutar modelos localmente

La proliferación de herramientas que simplifican la ejecución local de modelos ha sido uno de los factores más importantes en la democratización de la IA local. Hace dos años, ejecutar un modelo de lenguaje grande localmente requería conocimientos profundos de CUDA, Python y gestión de dependencias. Hoy, herramientas como Ollama permiten ejecutar un modelo con un solo comando de terminal.

Ollama: la herramienta de referencia para iniciarse

Ollama es actualmente la herramienta más popular para ejecutar modelos de lenguaje localmente en macOS, Linux y Windows. Funciona como un gestor de modelos y servidor de inferencia que expone una API REST compatible con la API de OpenAI, lo que facilita enormemente la migración de aplicaciones que ya usan la API de OpenAI hacia modelos locales. Con un comando como 'ollama run llama3.2' el modelo se descarga y ejecuta de forma transparente. Ollama gestiona la cuantización automática y optimiza el uso de GPU si está disponible.

llama.cpp: máximo rendimiento en hardware diverso

llama.cpp es la librería de bajo nivel que sustenta muchas otras herramientas, incluyendo Ollama. Su principal ventaja es la capacidad de ejecutar modelos cuantizados en CPU con una eficiencia notable, lo que permite usar modelos grandes en hardware sin GPU dedicada. Los modelos en formato GGUF (el formato estándar de llama.cpp) están ampliamente disponibles en Hugging Face y permiten elegir entre diferentes niveles de cuantización que balancean calidad y requisitos de memoria.

vLLM: alto rendimiento para despliegues de producción

Para despliegues de producción con requisitos de throughput alto, vLLM es la herramienta de referencia. Implementa técnicas avanzadas de gestión de memoria (PagedAttention) que permiten servir muchas solicitudes concurrentes de forma eficiente en GPU. Es la elección preferida para despliegues en servidores con GPU donde se necesita dar servicio a múltiples usuarios simultáneamente, y ofrece una API compatible con OpenAI que facilita la integración con aplicaciones existentes.

LM Studio: interfaz de usuario para no técnicos

LM Studio proporciona una interfaz gráfica que permite a usuarios no técnicos descargar y ejecutar modelos localmente en su propio ordenador. Es especialmente útil para pilotos y pruebas de concepto donde se quiere demostrar la viabilidad de la IA local a stakeholders sin infraestructura de servidor. No es adecuado para producción, pero como herramienta de evaluación y exploración es excelente.

Requisitos de hardware: qué necesitas realmente

Los requisitos de hardware son el principal factor que determina qué modelos y con qué rendimiento puedes ejecutar localmente. La regla de oro es que el tamaño del modelo (en gigabytes de memoria) debe caber en la VRAM de la GPU para obtener el mejor rendimiento, aunque es posible ejecutar modelos más grandes usando memoria RAM y cuantización a costa de mayor latencia.

• Modelos 7B-8B parámetros cuantizados (Q4): 6-8 GB de VRAM. Compatible con GPU consumer como RTX 3070, RTX 4070 o Mac con chip M2/M3. Rendimiento adecuado para la mayoría de tareas empresariales.
• Modelos 13B-14B parámetros cuantizados: 10-12 GB de VRAM. Compatible con RTX 3080, RTX 4080, Mac M2 Pro/M3 Pro. Calidad notablemente superior para tareas de razonamiento complejo.
• Modelos 70B parámetros cuantizados: 40-48 GB de VRAM. Requiere GPU profesional (A100 40GB, RTX 4090 x2) o Mac con chip M2 Ultra/M3 Ultra. Calidad comparable a GPT-4 en muchos benchmarks.
• Modelos 405B+ parámetros: infraestructura multi-GPU de clase data center. Reservado para organizaciones con recursos de hardware significativos.
• CPU-only: modelos hasta 13B son viables en CPU moderna con suficiente RAM, con latencia de 3-10 tokens por segundo, adecuada para procesamiento por lotes pero no para uso interactivo intensivo.

Casos de uso empresariales donde la IA local destaca

No todos los casos de uso de IA son igualmente adecuados para una implantación local. Los mejores candidatos son aquellos que combinan alta sensibilidad de los datos con volúmenes de uso que justifican la inversión en infraestructura o donde la latencia de red hacia APIs externas es un factor limitante.

• Análisis de documentos confidenciales: contratos, informes financieros, historiales médicos, documentación legal. La IA local procesa estos documentos sin que su contenido salga del entorno controlado.
• Asistentes de código para desarrolladores: herramientas como Continue.dev o Tabby pueden conectarse a modelos locales vía Ollama para ofrecer autocompletado y asistencia de código sin enviar el código fuente a terceros.
• Búsqueda y extracción de información en bases de conocimiento internas: RAG sobre documentación interna, wikis y bases de datos de conocimiento con información propietaria.
• Clasificación y etiquetado automatizado de documentos internos: procesos de back-office que manejan información de clientes o empleados.
• Generación de informes a partir de datos operativos: dashboards y reportes que consumen datos de sistemas internos sensibles.
• Atención al cliente en sectores regulados: chatbots para sanidad, banca o seguros donde las conversaciones contienen datos personales protegidos.

RAG local: conectar el modelo con tu conocimiento interno

Uno de los casos de uso más valiosos de la IA local es el Retrieval-Augmented Generation (RAG) sobre documentación interna. Un modelo de lenguaje, por potente que sea, solo conoce lo que aprendió durante su entrenamiento. Para responder preguntas sobre los procedimientos internos de tu empresa, la documentación técnica de tus productos o los registros históricos de tus proyectos, necesita acceder a esa información en el momento de la inferencia.

La arquitectura RAG local combina un modelo de embeddings (para indexar y buscar documentos de forma semántica), una base de datos vectorial (como ChromaDB, Qdrant o Milvus, todas ejecutables localmente) y el modelo de lenguaje local. Herramientas como Anything LLM, Open WebUI con RAG, o stacks construidos con LangChain o LlamaIndex facilitan enormemente la construcción de este tipo de sistemas. El resultado es un asistente de IA que puede responder preguntas sobre la documentación interna de la empresa con alta precisión, sin que ningún documento salga del perímetro de la organización.

Seguridad en despliegues de IA local

Ejecutar IA localmente no elimina automáticamente todos los riesgos de seguridad: simplemente los redistribuye. Los modelos locales tienen su propio perfil de riesgos que debe ser gestionado activamente por el equipo de seguridad.

El primero es el control de acceso al modelo: el servidor de inferencia local debe estar protegido con autenticación para evitar que cualquier usuario de la red pueda consultarlo. Ollama y vLLM permiten configurar tokens de API y restricciones de red. El segundo es la gestión del modelo como software: los modelos descargados de repositorios externos deben verificarse con los hashes oficiales para garantizar su integridad. El tercero es el acceso físico y lógico al hardware donde reside el modelo, que ahora contiene (via fine-tuning o en el contexto de las conversaciones) información potencialmente sensible.

La IA local transfiere el perímetro de seguridad desde la API del proveedor hasta la infraestructura propia: los datos no salen, pero la responsabilidad del control de acceso, la integridad del modelo y la protección del hardware recae íntegramente en la organización.

Fine-tuning local: adaptar el modelo a tu dominio

Para obtener el máximo rendimiento en casos de uso específicos del dominio empresarial, el fine-tuning del modelo base con datos propios puede mejorar significativamente la calidad. Técnicas como LoRA (Low-Rank Adaptation) y QLoRA permiten hacer fine-tuning de modelos grandes con requisitos de hardware relativamente modestos, afinando el comportamiento del modelo para que responda mejor a las preguntas y el vocabulario específico de tu sector.

Un despacho de abogados puede fine-tunear un modelo para que conozca el formato y el lenguaje de los documentos legales españoles. Una empresa industrial puede afinar un modelo para interpretar correctamente la terminología técnica de sus manuales de mantenimiento. Una entidad financiera puede adaptarlo para procesar documentación bancaria y regulatoria con mayor precisión. Herramientas como Unsloth o Axolotl facilitan el proceso de fine-tuning local con un consumo de recursos significativamente menor que el entrenamiento completo.

Gestión operativa de modelos locales

Desplegar un modelo local en producción requiere los mismos cuidados operativos que cualquier otro servicio crítico de la organización. Esto incluye monitoreo de disponibilidad y latencia, gestión de versiones del modelo, logs de uso para auditoría, backup de los artefactos del modelo y planificación de capacidad.

El ciclo de actualización de modelos también debe planificarse. Los modelos de lenguaje evolucionan rápidamente y las nuevas versiones pueden ofrecer mejoras significativas de calidad o rendimiento. Sin embargo, actualizar el modelo en producción requiere validar que el nuevo modelo se comporta correctamente en todos los casos de uso del sistema antes del cutover, especialmente si hay fine-tuning o configuraciones específicas que deban replicarse. Mantener un entorno de staging para validar nuevas versiones de modelos es una práctica recomendada para organizaciones con dependencias críticas.

Decisión: IA local vs API gestionada vs híbrido

La decisión entre IA local, API de terceros o un enfoque híbrido no tiene una respuesta universal: depende de los requisitos específicos de la organización. Un framework de decisión útil analiza tres dimensiones: sensibilidad de los datos, requisitos de rendimiento y volumen, y capacidad técnica y operativa del equipo.

El enfoque híbrido es el que más organizaciones maduras están adoptando: usar modelos locales para los casos de uso con datos sensibles o alto volumen, y APIs de terceros para las tareas que requieren los modelos más potentes con datos no sensibles o para picos de demanda que superen la capacidad local. Este enfoque requiere una capa de abstracción (LiteLLM es la herramienta de referencia para esto) que permita cambiar el modelo subyacente sin modificar el código de la aplicación.

Conclusión: la soberanía digital de la IA está al alcance de las empresas

La IA local ha dejado de ser un territorio exclusivo de grandes corporaciones tecnológicas con data centers propios. Una pyme española del sector legal, médico o industrial puede hoy desplegar un asistente de IA de alta calidad sobre su documentación interna, ejecutando en hardware asequible, sin enviar ningún dato a servidores externos y con un coste operativo razonable. La barrera tecnológica se ha reducido drásticamente.

El primer paso es identificar el caso de uso con mayor impacto y mayor sensibilidad de datos en tu organización, y construir un piloto con Ollama y un modelo de la familia Llama 3 o Mistral. El piloto puede ejecutarse en una workstation con GPU consumer en cuestión de horas y permitir una evaluación real de la calidad antes de comprometerse con una inversión en infraestructura de producción. La soberanía digital sobre la IA de tu empresa empieza con ese primer experimento.