清朝乾隆年间，乔泉梅和两个哥哥分家后，在十字路口东北角买了几块宅地，建起了楼房。主体建筑是一座坚硬山顶上的砖房，砖木结构，有窗无门户。楼梯建在室内是为了上楼。特点是墙厚，窗小，坚固结实，是一个五室里三室外的四合院。
乔致庸接手后，继续为光大建功立业。他在老院西侧的巷子里买了一大片宅基地，建了一个楼房大院，也是里五外三，形成了两层楼的对峙。主楼是一座悬山，柱子裸露在外。
光绪中后期，当地治安不稳。乔家的和京燕为了保护自己的安全，花了不少周折和金钱，买下了当时街巷的占有权。
乔家取得占用权后，巷子被封锁，巷子被建成西北院和赛那宁的侧院；堵了东边的街角，造了城门；祠堂建在西边；北面二楼院落外已扩建为两个外跨院落，并新建了两个历史走廊大门。院内有围墙横架，以拱门为桥，连接南北院落，形成城堡般的建筑群。
民国初年，乔家人口增加，住房不足，于是买地西扩。民国十年后，乔和乔应奎在赛那宁附近新建了一座院落，格局与东南院相似。
“七七事变”爆发，日军侵华，工程停止。日据时期全家逃亡，留下空的一家医院，只留下部分家人照看。
1985年，祁县人民政府利用这座古宅建立了祁县民俗博物馆。
