Это, разумеется, гонево.
GCC делает упаковку данных, MSVC - по идее, тоже, хотя, когда я работал с 2005 Beta эта пакость зачем-то делала align на границу 4-х байтов в структурах.
Причем, далеко не каждый раз.
А вот все указатели 64-битные - это да. Но это, в общем, не сильно увеличивает размер потребляемой памяти.