Investigación en nuestros laboratorios - COMPENSACIÓN DE LA LATENSIDAD DE CRISTAL A CRISTAL MEDIANTE EXTRAPOLACIÓN DEL FLUJO DE VÍDEO

En el marco del proyecto de investigación ANR ZL-LVC¹, sus investigadores estudian técnicas innovadoras para reducir la latencia glass-to-glass (G2G), que representa la duración de la cadena de transmisión de vídeo de extremo a extremo, desde que la cámara capta la escena hasta su reproducción final en la pantalla del usuario. En el caso de una aplicación de teleconducción, todos los elementos de esta cadena añaden un cierto retraso a la retroalimentación para el conductor remoto. Por tanto, la latencia G2G puede tener efectos desastrosos en la interacción con el vehículo en movimiento equipado con una cámara. Por consiguiente, reducir el retardo G2G es esencial para este tipo de aplicaciones de teleconducción o telepresencia, con el fin de garantizar una interacción en tiempo real con una calidad de experiencia satisfactoria. Existen varias soluciones para reducir cada fuente de latencia. Para reducir el retardo de adquisición, tradicionalmente se utilizan cámaras analógicas, ya que ofrecen una baja latencia debido a la ausencia de almacenamiento en búfer y de procesamiento de datos.

Cámaras analógicas.

En la codificación de vídeo, ciertas configuraciones permiten reducir la latencia de codificación evitando el retardo de reorganización de la imagen. El enfoque más común consiste en reducir la tasa de bits de vídeo para reducir la cantidad de datos transmitidos por fotograma y, por tanto, la latencia. Sin embargo, en este caso, la reducción de la latencia va acompañada de un deterioro de la calidad del vídeo reconstruido. De hecho, la reducción de la tasa binaria provoca importantes artefactos de codificación. El proyecto ZL-LVC propone otro enfoque original basado en la extrapolación de imágenes de vídeo para reducir el retardo G2G. La extrapolación de vídeo explota técnicas de aprendizaje profundo extrayendo características profundas de imágenes ya adquiridas para predecir imágenes futuras. Si el horizonte de extrapolación se elige sabiamente, la imagen extrapolada puede transmitirse antes que la imagen adquirida y luego ser mostrada por el receptor, lo que resulta en una drástica reducción de la latencia G2G.

¹Sitio web del proyecto ZL-LVC ANR: https://www.iemn.fr/les-collaborations/projets-collaboratifs/anr-zl-lvc - https://zllvc.wp.imt.fr/

Investigadores del IEMN han estudiado el equilibrio entre calidad y latencia comparando los dos métodos de compensación de la latencia G2G: el tradicional, mediante la reducción de la tasa de codificación, y el nuevo, mediante la extrapolación de imágenes. Demostraron que la extrapolación de vídeo supera a la reducción de la tasa de bits en términos de compensación de latencia, y puede lograr una latencia G2G cero con un nivel satisfactorio de calidad de vídeo, especialmente cuando se transmiten contenidos con poca información temporal. No obstante, reducir el retardo de extrapolación es un paso necesario cuando se consideran canales de transmisión de baja capacidad.

En la actualidad, la extrapolación es una técnica prometedora, pero aún se encuentra en su fase inicial en lo que se refiere a calidad de imagen y retardo de extrapolación. Los estudios en curso en el laboratorio tienen como objetivo proponer mecanismos adaptativos que tengan en cuenta la variabilidad de los parámetros de la cadena de difusión de vídeo (capacidad del canal, tasa de codificación, etc.) con el fin de proponer el mejor compromiso calidad-latencia para los distintos casos de uso a los que se dirige.