Nvidia crea un simulador quirúrgico que aprende de operaciones reales y responde en tiempo real
Cosmos3-H-Dreams genera escenas de cirugía que reaccionan a los movimientos del cirujano sin necesidad de modelar físicamente cada tejido, abriendo un camino alternativo para entrenar robots médicos.
Nvidia presentó Cosmos3-H-Dreams, un simulador quirúrgico que genera imágenes realistas del interior del cuerpo y responde en tiempo real a movimientos de instrumentos robóticos. A diferencia de simuladores tradicionales, aprendió dinámicas visuales directamente de vídeos de colecistectomías reales sincronizados con datos de robots, sin calcular manualmente deformaciones de tejidos. Funciona en un solo procesador gráfico RTX PRO 6000 y es el primer simulador generativo entrenado con grabaciones clínicas que permite control interactivo en vivo.
Nvidia ha presentado Cosmos3-H-Dreams, un simulador quirúrgico que genera imágenes realistas del interior del cuerpo humano y responde en tiempo real a los comandos de instrumentos robóticos. A diferencia de los simuladores tradicionales, que calculan manualmente cómo se deforma cada tejido o cómo interactúan los objetos, este sistema aprendió la dinámica visual directamente de vídeos de operaciones reales sincronizados con los movimientos del robot. Según informó Nvidia en su blog, se trata del primer simulador generativo entrenado con grabaciones clínicas de colecistectomías (extirpaciones de vesícula biliar) que permite control interactivo en vivo.
El modelo está basado en Cosmos 3 (la última versión de la familia de modelos fundacionales de Nvidia) y funciona sobre un solo procesador gráfico RTX PRO 6000. Cosmos3-H-Dreams utiliza 28 dimensiones de acción: posición, orientación y apertura de pinza para dos brazos robóticos (un grasper Cadiere en la mano izquierda y un gancho monopolar en la derecha), además de controles de energía y botones auxiliares. El sistema fue entrenado con vídeos de procedimientos realizados en la plataforma quirúrgica Versius de CMR Surgical, una empresa británica de cirugía robótica.
Para lograr latencias suficientemente bajas como para permitir interacción fluida, Nvidia combinó una arquitectura de profesor-estudiante con FlashDreams, su biblioteca de inferencia acelerada para generación en streaming (producir vídeo por bloques a medida que llegan nuevas acciones, en lugar de esperar a generar toda la secuencia de una vez). El modelo «profesor» aprende primero las dinámicas quirúrgicas con secuencias largas, hasta 7,2 segundos, y luego destila ese conocimiento en un modelo «estudiante» más ligero que puede generar bloques cortos de vídeo de forma secuencial. Nvidia ha publicado dos versiones del estudiante: una que necesita cuatro pasos de denoising (eliminación de ruido) por bloque generado y otra, entrenada por separado, que solo necesita dos pasos, sacrificando algo de calidad visual a cambio de mayor velocidad.
El principal desafío técnico está en la consistencia temporal: dentro del cuerpo humano, un pequeño movimiento del instrumento puede estirar tejidos, cambiar reflejos, ocultar estructuras o generar humo que reduzca la visibilidad. El simulador debe mantener la coherencia anatómica y la geometría de los instrumentos a lo largo de secuencias largas, sin que pequeños errores se acumulen hasta deformar irreconociblemente la escena. Para validar esta capacidad, Nvidia ha demostrado que el sistema puede generar trayectorias no vistas durante el entrenamiento: partiendo de la misma imagen inicial, dos secuencias de acciones distintas (grabadas con un visor de realidad virtual) producen continuaciones diferentes pero coherentes de la misma escena quirúrgica, con deformaciones de tejido físicamente plausibles.
Nvidia aclara que Cosmos3-H-Dreams es un simulador de investigación, no un sistema validado para uso clínico. Entre las próximas líneas de trabajo que la compañía menciona están modelar procedimientos completos (actualmente el sistema cubre solo fragmentos de colecistectomías), combinar la generación visual con simulación numérica explícita para validar las deformaciones, evaluar la precisión anatómica con cirujanos, soportar más de dos instrumentos simultáneos y entrenar políticas autónomas (agentes de IA que tomen decisiones quirúrgicas) en un bucle cerrado con el simulador. El código y las instrucciones paso a paso para adaptar el sistema a otros conjuntos de datos quirúrgicos están disponibles públicamente en Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados).
