Здание расположено на территории бывшего Зверинца, недалеко от северной границы Александровского парка, к западу от Фермы. В январе 1826 император Николай I повелел перевести восемь верховых лошадей Собственного седла Государя Императора Александра Павловича из доживавших свой век "на пенсионе" в конюшне Петербурга, в Царское Село, где отвести им особое помещение на конюшне. Летом предполагалось приготовить им конюшню на Ферме, где старых коней можно было бы выпускать гулять на воле. Вследствие недостатка места на Ферме, в 1827 — 1829 г., по проекту арх. А. Менеласа, недалеко от Фермы было выстроено особое здание для отслуживших свой век лошадей Собственного императорского седла, названное "Пенсионерная конюшня". Часть луга к западу от постройки была превращена в клеверное поле для выпаса лошадей. Двухэтажный павильон с круглой лестничной башней — бельведером, двумя трехгранными эркерами и одноэтажной пристройкой возведен из кирпича с романтической ориентацией на английскую готику. Внизу находилась конюшня на 8 стойл и небольшое помещение для хранения конских уборов, за которым закрепилось название "музей". В верхнем этаже — квартира смотрителя и конюхов. Закрытый двор был образован деревянными хозяйственными постройками, не дошедшими до наших дней.