Introducción a Mesa. Caso específico dos dispositivos Raspberry Pi por Igalia

Introducción a Mesa: Caso
específico de los dispositivos
Raspberry Pi
Alejandro Piñeiro Iglesias
2023-10-28

Introducción a Mesa. Rasperry Pi.
Sobre mí
● Desarrollador de Igalia desde el 2006
● Miembro del Graphics Team en Igalia
● Desarrollador de drivers gráficos desde el 2015
● Principalmente en los drivers libres de GPUs de Intel
y Broadcom

Drivers gráficos?
● Además de la CPU, existen otros tipos de
procesadores, más especializados (DSP, VPU, etc)
● GPU (Graphics Processor Unit): procesador
especializado en el renderizado y tratamiento de
imagenes.
● Un driver gráfico es el sw que permite usar esa GPU
● Como se usa cada GPU depende del
modelo/fabricante

Interfaces/APIs
● Existen varias APIs que abstraen/estandarizan el uso
de las funcionalidades de la GPU:
● OpenGL (1992)
● OpenGL ES (2003)
● Vulkan (2016)

Ejemplo OpenGL ES

Lenguajes de Shading
● Lenguajes de programación gráficos
● Diseñados para ser ejecutados directamente en la
GPU
● Cada API gráfica moderna usa al menos uno:
● GLSL: OpenGL y OpenGL ES
● SPIR-V: Vulkan

Quien los mantiene?

Mesa
● Mesa es una librería open-source que implementa
soporte del OpenGL y Vulkan (y otras APIs) para una
gran variedad de hardware
● Fue creada por Brian Paul en los años 90
● La versión 1.0 fue publicada en Febrero de 1995
● La version actual es las 23.3.0
 Actualmente hay una release por trimestre: AÑO.YY

Comunidad
● La comunidad está formada por desarrolladores
voluntarios y múltiples empresas

Funcionalidades (I)
● Traducir llamadas a las APIs a instrucciones que serán
ejecutadas por el HW
● Configuración del HW para la ejecución de los
shaders: configurar depth, stencil test, blend, etc
● Buscar soluciones para limitaciones HW: soporte de
tipos de 64 bits, falta de instrucciones en el ISA final,
etc.
● Indicar a la aplicación los límites del HW

Funcionalidades (II)
● Se encarga de compilar los shaders (GLSL o SPIR-V)
● Hay un frontend compiler que produce como salida
un lenguaje intermedio llamado NIR
● Cada uno de los drivers de Mesa implementa un
backend compiler para obtener el código
ensamblador a partir de NIR

Mesa CI
● Cualquier cambio en Mesa requiere pasar por varios
requisitos:
● Revisión por otro desarrollador
● Sin fallos en test suites: piglit, vk-gl-cts
● Vk-gl-cts es la test suite mantenida por Khronos. Es la
que se usa para determinar si un driver es conforme al
API de Khronos (OpenGL, Vulkan, etc)

Drivers
● Intel (i965, i915, Iris, anvil, crocus)
● AMD (radeonsi, r600, radv)
● NVIDIA (nouveau, nvk)
● Vivante (etnaviv)
● Qualcomm Adreno (freedreno, turnip)
● Arm mali (lima, panfrost, panvk)
● Broadcom (vc4, v3d, v3dv)

GLSL

NIR

Ensamblador (Broadcom)

Broadcom GPU (I)
● Basada en tiling, en vez de renderizar toda la escena
de una pasada, la divide en “tiles” (mosaicos):
● Solo carga en memoria lo necesario para cada tile,
reduciendo la cantidad de memoria y ancho de
banda
● Optimización de la caché
● Arquitecturas de tiling es lo más habitual en GPU para
embebidos/mobiles

Broadcom GPU (II)
● Soporte HW orientado a OpenGL ES y (desde
VideoCore VI) Vulkan
● Varias funcionales necesarias para las últimas
versiones de OpenGL no soportadas
● Subsistema principal son los QPUs (SIMD)
● Cada uno tiene dos unidades de procesamiento
aritmético (ALUs), lo que permite hasta dos
operaciones aritméticas por instrucción

Raspberry Pi
● Serie de dispositivos embebidos desarrollados por
Raspberry Pi Ltd
● Objetivos originales orientados a la promoción de la
enseñanza de programación en escuelas
● Se han convertido en modelos muy populares y
extendiendo su rango de uso
● Procesador ARM, GPU Broadcom de la serie
VideoCore

Raspberry Pi - timeline
● Raspberry Pi – 2012 (VideoCore IV)
● Raspberry Pi 2 – 2015 (VideoCore IV)
● Raspberry Pi 3 – 2016 (VideoCore IV)
● Raspberry Pi 4 – 2019 (VideoCore VI)
● Raspberry Pi 5 – 2023 (VideoCore VII)

Raspberry Pi - drivers
● Raspberry Pi, Raspberry Pi 2, y Raspberry Pi 3 tienen el
driver de Mesa VC4, que soporta OpenGL y OpenGL ES
● Raspberry Pi 4 y Raspberry Pi 5 tienen el driver de
Mesa V3D que soporta OpenGL y OpenGL ES, y v3dv
que soporta Vulkan
● Inicialmente v3d se llamaba VC5, pero se cambio ya
que era posible soportar varias generaciones con el
mismo driver

Raspberry Pi - experiencia
● Empezamos a involucrarnos a finales del 2018, un
poco antes del lanzamiento oficial de la Raspberry Pi 4
● VC4 y V3D ya existían, creados inicialmente por
Broadcom
● Trabajo inicial basado en consolidar los drivers, y
extender su funcionalidad (nuevas extensiones) en
todos los dispositivos, pero más trabajo en la rpi4
● Rpi4 Oficialmente OpenGL ES 3.1 desde 2020-01

Raspberry Pi – v3dv (I)
● Driver de Vulkan inicialmente para la rpi4
● “De cero”: se intentó reutilizar todo lo posible:
● El frontend de Mesa proporciona varias
funcionalidades (conversion de SPIR-V a NIR,
abstracciones de Mesa etc)
● Varios componentes de v3d se reutilizaron: definición
de los comandos de la GPU, definición del ISA,
simulador, etc

Raspberry Pi – v3dv (II)
● Desarrollo inicial lo empezó Iago Toral
● Una vez que hubo una base funcional (posible ejecutar
programas sencillos) se incorporó Alejandro Piñeiro, y
se empezaron a dividir tareas
● Objetivo inicial conseguir la funcionalidad mínima de
Vulkan 1.0 (con unas pocas excepciones)

Raspberry Pi – v3dv (III)
● [Noviembre 2019] Inicio
● [Enero 2020] Triangulo básico
● [Agosto 2020] Vulkan 1.0 minima
● [Octubre 2020] Vulkan 1.0 conforme
● [Diciembre 2020] Trabajo en rendimiento
● [Diciembre 2021] Vulkan 1.1 conforme
● [Julio 2022] Vulkan 1.2 conforme

Raspberry Pi – v3dv (IV)

Raspberry Pi – rpi5 (I)
● Incremento significativo en rendimiento y
funcionalidad:
● 8 render targets (4 en la rpi4)
● Incremento en varios límites
● Más formatos de imagen
● Más operaciones del procesador
● FullDrawIndexUint32, depthClamp, depthBounds,
scalarBlockLayout, etc

Raspberry Pi – rpi5 (II)
● Trabajo inicial totalmente basado en el simulador (aún
no había dispositivo)
● Como con la rpi4, se hizo un trabajo inicial individual,
hasta llegar a una funcionalidad base (triangulo),
luego se incorporó un segundo desarrollador

Raspberry Pi – rpi5 (III)
● Cambios significativos en los comandos, en el ISA y en
los registros.
● Aún así se inició bajo la idea de que no se necesitaría
un nuevo driver, sino codepaths para cada versión
● Quedó confirmado una vez el driver estuvo terminado
(pasando CTS)
● Con el simulador no se pudieron hacer pruebas con
aplicaciones reales

Raspberry Pi – rpi5 (IV)
● Llega el dispositivo!
● Primero se necesita dar soporte en el kernel de Linux
de la nueva GPU
● Sorpresas
● Diferencia en gestión de compute shaders
● Documentación incompleta
● Version HW final diferente (7.1.2 vs 7.1.6)
● Testeo con aplicaciones reales

Raspberry Pi – rpi5 (V)
● El 28 de Septiembre se hace el anuncio oficial.
● El mismo día se manda el código para integración en
el repositorio upstream de Mesa
● El 14 de Octubre el soporte para la rpi5 se integra
● Siguiente:
● Pasar el conformance de Khronos (CTS)
● Arreglar posibles issues de los usuarios
● Seguir con la evolución del driver

Preguntas?
www.igalia.com/jobs

Introducción a Mesa. Caso específico dos dispositivos Raspberry Pi por Igalia

Recomendados

Recomendados

Más contenido relacionado

Similar a Introducción a Mesa. Caso específico dos dispositivos Raspberry Pi por Igalia

Similar a Introducción a Mesa. Caso específico dos dispositivos Raspberry Pi por Igalia (20)

Más de Igalia

Más de Igalia (20)

Último

Último (20)

Introducción a Mesa. Caso específico dos dispositivos Raspberry Pi por Igalia