Sok amerikai elnök már harcolt a kiváltság, hogy él az ország legrangosabb címét. És, mint az elnökség maga, a saját 1600 Pennsylvania Avenue, Washington, DC látott konfliktusok, viták és meglepő átalakulások. Sőt, az elegáns porticoed kastélyt látjuk ma nagyon különbözik a szigorú grúz házban kialakított kétszáz évvel ezelőtt.
Eredetileg tervek egy "elnöki palota" is kifejlesztettek, művész és mérnök Pierre Charles L'Enfant. Együttműködés a George Washington, hogy tervezzen egy főváros az új nemzet, L'Enfant elképzelt fenséges otthont körülbelül négyszer akkora a jelenlegi Fehér Ház.
A George Washington javaslatára, az ír származású építész, James Hoban utazott a szövetségi főváros és benyújtott egy tervet az elnöki haza. Nyolc másik építész is benyújtott terveket, de Hoban nyert. A "Fehér Ház" által javasolt Hoban volt kifinomult grúz kastély a Palladio stílusban. Épült halvány szürke homokkőből, akkor három emeleten és több mint 100 szoba. Sok történész úgy véli, hogy James Hoban alapján a tervezés a Leinster House , egy nagy Dublin otthon, hogy most már a székhelye az ír parlament.
A október 13, 1792, sarokköve volt meghatározott. Bár soha nem élt az elnöki házban, elnök Washington felügyelte az építkezést. A legtöbb munka végezte afro-amerikaiak, egy szabad és néhány rabszolgákat.
1800-ban, amikor az otthon már majdnem kész, Amerika második elnöke, John Adams és felesége Abigail költöztek be költségszámítás $ 232,372, a ház volt, jelentősen kisebb, mint a Grand Palace L'Enfant volt elképzelt.