Для нематематиков:
Гельфанд "Линейная Алгебра"
Вигнер "Теория Групп"
Артин "Геометрическая Алгебра"
Вейль "Классические группы и представления"
Вейль "Теория групп и кв. мех."
( можно еще частично Ленг "Алгебра", Понтрягин "Непрерывные группы")
R.D.Richmyer "Principles of Advanced Math. Physics" both volumes (по всему предыдущему вместе)
В таком порядке, примерно. IMHO