Bygget av Vita huset inleddes 1792 och avslutades år 1800, då president John Adams flyttade in. Några år tidigare hade Washington D.C. utsetts till den nya amerikanska nationens huvudstad, och i planerna för den nya staden ingick ett ”presidentpalats” där USA:s högsta ledare skulle arbeta och bo tillsammans med sin familj.
Det nya presidentpalatset blev emellertid inte särskilt långvarigt. Redan 1814 brände brittiska soldater ner Vita huset under det krig mellan USA och Storbritannien som inleddes 1812.
Kvar stod endast en rykande ruin, som byggnadens ursprunglige arkitekt, irländaren James Hoban, fick i uppgift att återuppföra under de därpå följande tre åren.