А ничего, что xfce это тоже гном?

На самом деле, если ставить полноценную оболочку, то лучше lxde вместо xfce.

Если голый WM, то jwm глюкалово, icewm скорее жив, чем мёртв, так что остаётся openbox.

Если хочется совсем-совсем лёгких, то dwm, i3, ratpoison

Ну и высшая степень -- отказаться от иксов в принципе, screen прекрасно играет роль WM в консоли. Если у какого-то приложения в принципе нет аналога в консоли (что редко), можно наделать алиасов, которые будут запускать иксы исключительно на время запуска этой приблуды.