В принципе, любое искусство - порождение безделья. Художественная литература - его любимая дочь, требующая для своего процветания безделья массового. Так кино, балет, театр, концерт и прочие подобные мероприятия отнимают у зрителя не больше нескольких часов, включая дорогу и обсуждение за выпивкой. Телевизоры и устройства для проигрывания музыки вообще позволяют заниматься параллельно с просмотром-прослушиванием чем-нибудь еще.
Совсем другое дело - требующая чтения книга (аудиокнига - это, все же больше радио спектакль).
Отсюда гордость начитанностью - это все та же демонстрация того, что ты можешь себе позволить не вертеться, как белка в колесе, а отдаваться весьма приятному, но практически бесполезному, требующему довольно-таки много времени занятию.