Аналогичная проблема. Всему виной драйвер для видеокарты AMD HD 7670m. На интергрированной таких проблем нету.
На лоре описал про эту проблему.
В результате, оказалось что у видеокарты вроде как два режима: пассивный и активный. Если режим пассивный, то ввод в терминале и прочих местах тормозит(у меня в эклипсе перевод строки жутко тормозил).
Для проверки можно включить fgl_glxgears, в результате чего видеокарта перейдет в активный режим и система станет шустрее.
Скорее всего в гноме все ок, потому что он использует композит и грузит видеокарту (хотя может и по другой причине).
Сам сижу на dwm. Ставил композит xcompmgr, но он особо проблему не решил (видимо слишком легкий).
Если будут какие-то продвижения - рад о них услышать.
PS: Я написал в bugtracker у AMD про эту проблему (
http://ati.cchtml.com/show_bug.cgi?id=662), но мое ограниченное знание языка не позволило красноречиво описать проблему.