La I Jornada de Software Libre e IA Abierta en Madrid: un espacio técnico para discutir el futuro de la tecnología abierta

Introducción

En 2023, las descargas de modelos de lenguaje de código abierto en Hugging Face superaron los 10 millones por mes, según datos internos de la plataforma. Este crecimiento refleja una demanda real de herramientas de IA que no dependan de proveedores cerrados, pero también evidencia un vacío crítico: la falta de espacios técnicos donde equipos de infraestructura, SRE y DevOps puedan discutir cómo implementar, escalar y asegurar estos modelos en entornos productivos. La I Jornada sobre Software Libre e Inteligencia Artificial Abierta (seLIA), programada para el 6 de julio en Madrid, llega en un momento clave. No es otro congreso genérico sobre «el futuro de la IA», sino un evento diseñado para que desarrolladores, investigadores y operadores de sistemas intercambien experiencias concretas sobre integración, rendimiento y gobernanza de IA en entornos Linux.

Los organizadores —una coalición de comunidades de software libre española— explicitan su objetivo: «fomentar un ecosistema de IA abierto, transparente y colaborativo». Para ello, buscan ponencias que cumplan dos requisitos rigurosos:

1. Enfoque técnico: charlas con código, benchmarks, casos de uso o análisis de herramientas específicas (ej.: cómo optimizar un modelo LLaMA-3 en un clúster Kubernetes).
2. Enfoque crítico: discusiones sobre limitaciones éticas, sesgos en modelos abiertos o modelos de negocio sostenibles para proyectos de IA sin depender de big tech.

Este enfoque es clave para equipos que ya enfrentan desafíos cotidianos: desde la latencia en inferencias con modelos de 70B de parámetros hasta la gestión de dependencias en entornos híbridos cloud-on-premise.

Qué ocurrió

El evento seLIA surge como respuesta a dos tendencias contrastantes:

• El auge de la IA propietaria: En 2024, AWS, Microsoft y Google dominaron el 80% del mercado de servicios de IA en la nube, según el informe State of AI Infrastructure de la Cloud Native Computing Foundation (CNCF).
• La escasez de marcos técnicos para IA abierta: Un estudio de la Free Software Foundation Europe (FSFE) en 2023 reveló que el 62% de los equipos de DevOps reportaron dificultades para desplegar modelos abiertos en producción debido a falta de documentación técnica, herramientas de monitoreo específicas o guías de hardening.

La jornada se presenta como un puente entre estas dos realidades. Su estructura, definida en la convocatoria oficial, exige a los ponentes:

• Demostrar replicabilidad: las charlas deben incluir repositorios de GitHub con código funcional, Dockerfiles o instrucciones para reproducir el entorno (ej.: un ejemplo con vLLM para servir modelos de Mistral en Kubernetes).
• Enfoque en Linux: al menos el 70% de las herramientas discutidas deben ser compatibles con distribuciones como Debian, RHEL o Alpine, sin depender de kernels modificados.

Entre los temas priorizados por el comité organizador destacan:

• Optimización de modelos abiertos: cómo reducir el footprint de memoria de un modelo como Phi-3-mini (3.8B parámetros) usando cuantización INT8 en servidores con 16GB de RAM.
• Seguridad en IA: análisis de vulnerabilidades en frameworks como LangChain (CVE-2023-45134, score CVSS 7.5) o Hugging Face Transformers (CVE-2024-28113, score 6.8).
• Escalabilidad horizontal: casos de uso con Ray Serve para distribuir inferencias en clústeres de 100 nodos, con métricas de throughput por segundo (ej.: 500 tokens/segundo por GPU A100).
• Ética y gobernanza: cómo auditar datasets públicos como LAION-5B para detectar sesgos en modelos de texto a imagen.

La fecha límite para envío de propuestas es el 15 de junio, y los organizadores priorizarán charlas con:

• Datos concretos: benchmarks en entornos reales (no slides con promesas genéricas).
• Enfoque en operaciones: cómo monitorear modelos en producción con Prometheus + Grafana, incluyendo dashboards para métricas como tiempo de inferencia por batch o tasa de error por modelo.

Impacto para DevOps / Infraestructura / Cloud / Seguridad

Para equipos de DevOps

La adopción de IA abierta en entornos productivos ya no es una opción futurista. Según el 2024 State of DevOps Report de Puppet, el 41% de los equipos usa herramientas de IA en sus pipelines, pero solo el 22% tiene un plan de rollback definido para cuando un modelo falle en producción. La jornada aborda este gap con talleres prácticos:

• CI/CD para modelos de IA: cómo integrar pruebas de calidad de inferencias en pipelines con GitHub Actions o GitLab CI, incluyendo tests de drift en datasets (ej.: usando Evidently AI).
• Blue-green deployments para modelos: estrategias para actualizar modelos sin downtime, usando Kubernetes + Argo Rollouts con canary analysis basado en métricas de negocio (ej.: precisión vs. latencia).

Un caso concreto: el equipo de DevOps de Telefónica Open Cloud presentó en el KubeCon Europe 2024 cómo redujeron un 30% de costos al migrar de modelos propietarios a versiones abiertas de Whisper para transcripción de llamadas, usando KServe en un clúster OpenShift. Los detalles técnicos de su migración —incluyendo el uso de NVIDIA Triton Inference Server para servir múltiples modelos— serán discutidos en seLIA.

Para equipos de Infraestructura y Cloud

Los desafíos aquí son de escala y compatibilidad:

• Capacidad de cómputo: Un modelo como Llama-3-8B requiere ~16GB de VRAM para inferencia en FP16, pero solo ~8GB en INT8. La jornada incluirá charlas sobre cómo aprovechar hardware heterogéneo (ej.: GPUs discretas + NPUs en servidores como los Dell PowerEdge XE9680 con 8x NVIDIA H100).
• Almacenamiento distribuido: cómo manejar datasets de IA (ej.: LAION-5B ocupa ~24TB descomprimido) con soluciones como Ceph o MinIO, incluyendo benchmarks de acceso aleatorio versus secuencial.
• Costos en cloud: En AWS, ejecutar una inferencia con Llama-3-8B en una instancia g5.12xlarge (4x A10G) cuesta $1.72 por hora, mientras que en un clúster on-premise con GPUs usadas (ej.: NVIDIA RTX 3090) el costo baja a $0.35 por hora (estimación basada en depreciación de hardware).

Para equipos de Seguridad

La seguridad en IA abierta tiene dos frentes críticos:

1. Ataques a modelos: En 2024, se reportaron 157 vulnerabilidades en frameworks de IA abiertos, según el Open Source Security Foundation (OpenSSF) Top 10. Ejemplos:

– Fuga de datos: CVE-2024-31476 en Hugging Face Datasets permite acceder a datos privados si el dataset no está correctamente aislado.

1. Cumplimiento normativo: El Reglamento de IA de la UE (vigente desde mayo 2024) exige que modelos de alto riesgo (ej.: generativos con >1B parámetros) sean auditables. La jornada incluirá una charla sobre cómo implementar SBOMs (Software Bill of Materials) para modelos de IA usando herramientas como Syft o Grype.

Detalles técnicos

Herramientas clave que se discutirán

Los organizadores han confirmado charlas técnicas sobre:

Un caso real compartido por los organizadores (basado en una implementación en bancos españoles) incluye:

# deployment.yaml para KServe
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: llm-mistral-7b
spec:
  template:
    spec:
      containers:
      - image: vllm/vllm-openai:v0.3.0
        args:
        - "--model=/models/mistral-7b"
        - "--tensor-parallel-size=4"
        resources:
          limits:
            nvidia.com/gpu: 4
        env:
        - name: HF_TOKEN
          valueFrom:
            secretKeyRef:
              name: hf-secrets
              key: token

• vLLM 0.3.0 usa PagedAttention para manejar batches de prompts con hasta 32K tokens, reduciendo el uso de VRAM en un 40% respecto a versiones anteriores.
• Triton Inference Server actúa como gateway para enrutar tráfico entre vLLM (para inferencias) y TensorRT-LLM (para modelos optimizados con cuantización).
• LangSmith registra métricas como:

– time_to_first_token: 180ms (vs. 450ms en modelos sin optimización).

Vulnerabilidades recientes en herramientas de IA abierta

Antes del evento (preparación)

1. Revisar el call for papers:

– Código funcional: un notebook de Jupyter o un repositorio con Dockerfile que demuestre el despliegue.

– Datos de rendimiento: benchmarks en tu entorno (ej.: tiempo de inferencia por modelo vs. costo en cloud).

– Plazo: hasta el 15 de junio.

1. Preparar tu entorno:

– Docker (≥24.0) y Podman (≥4.8) instalados.

– NVIDIA Container Toolkit (≥1.14) si usas GPUs.

– kubectl (≥1.28) y acceso a un clúster Kubernetes local (ej.: k3s o Minikube).

Durante el evento (qué priorizar)

1. Talleres prácticos:

– Seguridad: La sesión sobre SBOMs para modelos de IA incluirá un demo con Syft para generar listas de dependencias (ej.):

     syft scan dir:. -o spdx-json > sbom-modelo.json
     

– Escalabilidad: El taller de Ray Serve + Kubernetes mostrará cómo desplegar un modelo con autoscaling horizontal basado en métricas de requests_per_second.

1. Networking técnico:

– KaiZen (empresa española que optimiza modelos para hardware embebido).

– Hugging Face España (para discutir cómo contribuir a modelos como BLOOM).

– NVIDIA (para consultar sobre TensorRT-LLM en servidores x86).

Después del evento (acción inmediata)

1. Auditar tu stack de IA:

     grype sbom:./sbom-modelo.json -o json > vulnerabilidades.json
     

– Actualiza a las versiones seguras de frameworks (ej.:

     pip install --upgrade "transformers>=4.38.0" "langchain>=0.1.0"
     

1. Implementar lo aprendido:

     helm repo add vllm https://vllm.github.io/helm-charts
     helm install llm-mistral vllm/vllm \
       --set model="mistralai/Mistral-7B-Instruct-v0.1" \
       --set tensorParallelSize=2 \
       --set resources.requests.gpu="1"
     

– Ejemplo 2: Configura LangSmith para monitorear un modelo en producción:

     from langsmith import Client
     client = Client(api_key="tu-api-key")
     run = client.run_on_dataset(
         dataset_name="qa-dataset",
         llm_or_chain_factory=mi_modelo,
         evaluation=mi_evaluador
     )
     

1. Contribuir a proyectos abiertos:

– Documentación: cómo desplegarlo en entornos específicos (ej.: Proxmox o Raspberry Pi OS).

– Código: parches para optimizar rendimiento en hardware concreto (ej.: AMD ROCm en GPUs como las MI300X).

Conclusión

La I Jornada sobre Software Libre e Inteligencia Artificial Abierta (seLIA) no es un evento más sobre «el futuro de la IA», sino un espacio técnico donde equipos de DevOps, infraestructura y seguridad pueden resolver problemas concretos hoy. Desde cómo optimizar modelos para correr en servidores con 16GB de RAM hasta cómo auditar frameworks abiertos en busca de vulnerabilidades, el evento aborda los desafíos que los equipos enfrentan ahora, no en un futuro hipotético.

Para equipos de Linux, la jornada es especialmente relevante: el 70% de las herramientas discutidas son compatibles con distribuciones como Debian, RHEL o Alpine, y se enfatiza el uso de kernels estándar (≥5.4) sin dependencias propietarias. La combinación de charlas técnicas, talleres prácticos y networking con comunidades como KDE España o Hugging Face España la convierte en una oportunidad única para llevar IA abierta a producción con bases sólidas.

Fuentes

• Call for Papers seLIA 2024
• OpenSSF Top 10 Vulnerabilidades en IA Abierta (2024)
• 2024 State of DevOps Report (Puppet)
• CNCF State of AI Infrastructure (2024)
• CVE Details: LangChain, Transformers, Hugging Face