白宫的设计者是著名的美籍爱尔兰人建筑师詹姆斯·霍本，他根据18世纪末英国乡间别墅的风格，参照当时流行的意大利建筑师柏拉迪的欧式造型设计而成，用弗吉尼亚州所产的一种白色石灰石建造。

但当时并不称白宫，“白宫”是1902年西奥多·罗斯福总统正式命名的。

1814年，英军攻占华盛顿时，将其付之一炬，后几经修复和改建，才成目前的规模;其中最大的一次扩建和修缮是在1948-1953年间，加修了一座二层阳台，安装了电视系统和空调设备，增建了双层地下室和坚固的地下防空室;白宫内部原有的具有历史意义的房间基本保持原貌，以作纪念。