Крепостной гарем - это вполне определенная интитуционально вещь, характерная, конечно, для людей XVIII века, а не для пушкинского поколения.
Из того, что А.С. имел шашни с крепостными девушками, не следует, что они сидели в отдельной комнате под особым присмотром (если Вы видели реконструированный дом в Михайловском, то представляете себе, что там и места-то для гарема не было). То есть, тут примерно такой же культурологический ляпсус, как если бы кто-нибудь написал, что Арес, Гефест и Афродита были приверженцами идей Чернышевского.