LA ARQUITECTURA CENTRAL
Profundiza en la tecnología que hace posible a AVA.
LA ARQUITECTURA CENTRAL
01
Motor vLLM
Motor de servicio LLM de alto rendimiento y eficiencia de memoria. Utiliza PagedAttention para gestionar eficazmente la memoria de claves y valores de atención, ofreciendo velocidad de inferencia de vanguardia para modelos locales.
02
Ray Framework
Framework unificado para escalar aplicaciones de IA. AVA SDK utiliza Ray para orquestar la inferencia distribuida y gestionar recursos eficientemente entre tu GPU y CPU, asegurando multitarea fluida.
03
LlamaFactory
La herramienta definitiva para fine-tuning. Proporcionamos recetas predefinidas para ajustar Llama 3 y otros modelos específicamente para contextos de gaming y asistencia dentro del ecosistema AVA.