Navegar
Notas, pensamientos y reflexiones técnicas — 15 posts.
Ejecutar agentes de IA en producción requiere más que un buen modelo. Aquí está cómo pienso la infraestructura.
Un agentic runtime es la capa que mantiene un agente de IA vivo, seguro y observable. Así es como lo pienso.
La remediación autónoma es prometedora pero peligrosa. Así sería la arquitectura que usaría.
Hice los números con mi propia configuración. La IA autohospedada no siempre es más barata, y los costos ocultos no están donde crees.
La automatización con IA introduce riesgos que la automatización tradicional no tiene. Así es como pienso la seguridad de mis pipelines.
n8n y Temporal no son competidores directos. Uno es para automatización rápida; el otro, para ejecución durable. Así los combino.
He estado construyendo agentes sin un runtime. Funciona hasta que algo se rompe y no tienes idea de por qué. Aquí está el modelo de runtime que desearía haber tenido desde el principio.
Ejecuto Ollama en mi cluster de Kubernetes de homelab. Esto es lo que realmente desplegué y lo que realmente se rompió.
Los pipelines de IA por eventos necesitan colas, idempotencia y durabilidad. Esta es la arquitectura que usaría.
Temporal me da ejecución durable para workflows de IA. Así es como lo pienso y por qué lo recomiendo.
LiteLLM centraliza el acceso a múltiples proveedores de IA. Así es como lo pienso y por qué lo tengo en mi cluster.
Pensé que vLLM sería una actualización simple desde Ollama. Estaba equivocado. Esto es lo que realmente pasó cuando intenté ejecutarlo en mi GTX 1080.
Uso múltiples herramientas de IA para codear a través de OpenRouter y Kimi Code. Esto es lo que cada una hace por mí, lo que no puede hacer, y por qué sigo usándolas.
Ollama busca simplicidad. vLLM busca rendimiento. Probablemente necesites ambos en distintas etapas.
He estado construyendo agentes sin un runtime. Funciona hasta que algo se rompe y no tienes idea de por qué. Aquí está el modelo de runtime que desearía haber tenido desde el principio.