NVIDIA mide el coste de ejecutar inferencia de IA bajo computación confidencial

El 22 de septiembre de 2026, NVIDIA describió una arquitectura para ejecutar inferencia de IA en producción mediante máquinas virtuales confidenciales con memoria cifrada, GPUs confidenciales y NVIDIA NVLink cifrado. La compañía señala que estas medidas protegen los datos y los modelos durante su procesamiento.

La evaluación comparó TensorRT LLM con la computación confidencial activada y desactivada en un sistema NVIDIA DGX B200 con ocho NVIDIA B200. El ensayo utilizó el modelo nvidia/DeepSeek-R1-0528-NVFP4, una entrada de 32K tokens, una salida de 1K tokens y niveles de concurrencia de 1, 2, 4, 8 y 16.

Con la computación confidencial activada, el rendimiento de generación se situó entre el 96,1% y el 98,2% del resultado obtenido sin ella. El tiempo medio por token aumentó entre un 1,2% y un 4,3% según el nivel de concurrencia.

NVIDIA explicó que TensorRT LLM adapta el movimiento de datos entre el host y la GPU mediante el uso de memoria pageable en determinadas rutas, y traslada la lectura recurrente de tokens y datos de muestreo a un trabajador asíncrono. También emplea GPU %globaltimer para medir las tácticas del autotuner, después de detectar señales inestables en las marcas temporales de CUDA events.

En las configuraciones confidenciales de NVIDIA B200 no está disponible la multidifusión NVLS, por lo que los frameworks deben comprobar su disponibilidad y seleccionar algoritmos de comunicación adecuados al tamaño de los mensajes y a la topología.

Fuente: NVIDIA, Enabling Private High-Performance Production AI Inference with NVIDIA Confidential Computing.