Fils de Théodore Ballu, architecte en chef des travaux de la Ville de Paris, Albert Ballu est admis en 1868 à l’École des beaux-Arts de Paris et remporte après ses études plusieurs prix, à Bordeaux pour la Faculté de médecine et de pharmacie et à Charleroi pour le Palais de justice. Admis dans le service des architectes diocésains en 1876, il rejoint le diocèse d'Alger où il reprend le chantier de la cathédrale et procède dans les années 1880 au relevé des monuments d'architecture locale, mosquées et palais.

Dans un contexte de conflit entre les milieux coloniaux, adeptes d'une préservation de la civilisation et du patrimoine local, antique ou contemporain, et l'administration métropolitaine, notamment l'école rationaliste très présente chez les architectes diocésains, plus préoccupés de transformation urbaine et de spéculation, Albert Ballu inscrit son action entre sauvegarde archéologique et production architecturale didactique dans un style local. Il devient en 1889 architecte en chef des monuments historiques d'Algérie.

En tant qu'architecte en chef, il dirige, en particulier, les fouilles de Tebessa et de Timgad. A partir des relevés effectués sur les bâtiments d'Alger, Oran, Tlemcen, il réalise des pavillons pour des expositions universelles et conçoit la "cité orientale" à l'entrée de l'Exposition universelle de Paris en 1900. Il conçoit la médersa de Constantine (1909), la cathédrale d'Oran (1913). Il prend sa retraite en 1927.