Herramientas de IA
La Pasarela LLM es nuestro plano de control de desarrollo propio para el tráfico de LLM. La desplegamos dentro de su red como un sistema autónomo e independiente - y al utilizar modelos locales en su infraestructura, todo el tráfico permanece dentro de su red.
Seis capacidades que la pasarela aporta a una implementación de Private Vector. Cada una de ellas está integrada en el software hoy mismo.
Sus aplicaciones utilizan rutas de API conocidas y compatibles con OpenAI para generación de texto, vectores de incrustación (embeddings) y generación de imágenes. Cada familia de solicitudes se dirige al servicio de destino que usted elija, y la pasarela gestiona cada llamada hacia el servicio configurado.
Toda la pasarela consiste en un único archivo binario con una base de datos integrada. No requiere instalar, proteger ni administrar ningún servidor de base de datos externo, y el esquema se inicializa automáticamente al arrancar.
Cada colaborador dispone de su propia clave de pasarela con permisos personalizados por punto de conexión, y cualquier clave puede revocarse de inmediato. Un usuario puede tener acceso a chat e incrustaciones mientras otro cuenta además con generación de imágenes.
Usted define un límite de gasto por usuario y la pasarela bloquea de forma automática las llamadas adicionales en cuanto se alcanza ese tope. Un proceso en segundo plano activa el bloqueo y lo retira al vencer el periodo correspondiente, garantizando el cumplimiento sin necesidad de supervisión manual.
El consumo de tokens y los costos de generación de imágenes se registran por usuario y por clave en ventanas de tiempo fijas. El historial se puede consultar y usted define cuánto tiempo se conserva.
Bajo alta demanda, la pasarela retiene las solicitudes en colas acotadas, descarta tráfico excedente si un servicio de destino reduce su rendimiento y suspende el enrutamiento hacia servidores que no superan las comprobaciones de estado. En cuanto el servidor se recupera, el tráfico se reanuda automáticamente.
La pasarela opera como un único sistema en la infraestructura de su red. Las siguientes filas detallan dónde se almacenan sus claves, sus contadores de consumo y sus registros de auditoría, además de cómo administra el tráfico que gestiona.
Los registros y reglas que permanecen dentro de su red.
Cada respuesta intermediada queda capturada en registros de auditoría organizados por niveles, y cada nivel conserva sus datos durante su propia ventana de retención.
Un punto de moderación opcional analiza el contenido de la solicitud antes de reenviarla, aplicando primero una verificación local rápida y luego la evaluación de un servicio clasificador.
La pasarela genera periódicamente una copia de seguridad de la base de datos en funcionamiento mientras continúa atendiendo solicitudes, y publica cada copia de forma atómica.
Al apagarse, la pasarela detiene primero las tareas en segundo plano y luego completa las solicitudes en curso dentro de un margen de tiempo estrictamente delimitado.
Cada solicitud incorpora un identificador de correlación que se almacena y se transmite a los servicios de destino, permitiendo rastrear cualquier llamada de principio a fin.
La pasarela detecta la asignación de núcleos de procesador y los recursos de memoria disponibles para adaptarse a ambos, operando bajo un límite flexible de memoria definido por usted.
La Pasarela LLM es solo una parte de una implementación de Private Vector, no la entrega completa. Las siguientes páginas explican el resto del proceso: la etapa donde el consumo medido se traduce en mejoras cuantificables y el servicio que despliega la infraestructura de IA dentro de su red.