Dès l'installation officielle du pouvoir colonial en 1862, la construction d'un palais fut envisagée. L'architecte choisi fut Achille-Antoine Hermitte et les travaux commencèrent en 1868. Les arcades, les colonnades, le fronton central et l'escalier monumental donnaient à l'ensemble un caractère majestueux. Il fut inauguré en 1873 et portait alors le nom de Norodom, du boulevard éponyme où il fut construit. Ce palais somptueux servit finalement peu de temps : en 1887 naquit l'Union indochinoise, et le gouverneur général résidait à Hanoi. Le palais fut jugé trop important pour servir de résidence au lieutenant gouverneur qui dût déménager dans un bâtiment plus modeste. Le palais ne servit alors plus qu'à l'occasion de cérémonies particulières.