Tu definición es correcta; solo la voy a ajustar un poco para que quede técnicamente perfecta.
Los clientes X11 son procesos que se conectan al servidor X y usan su API para crear, usar y controlar recursos de X11 (ventanas, gráficos, input, etc.).
Eso es justo.