Fils d’un avocat à la Cour d’Appel, Paul Petit suit d’abord des études de droit après lesquelles il est reçu docteur. Reçu premier en 1920 au concours des Affaires étrangères, il est nommé secrétaire d’ambassade à Smyrne, Prague, Rome puis conseiller d’ambassade à Munich et Copenhague. Il maîtrise l’allemand, l’anglais et le danois et traduit Maître Eckhart, Gertrud von Le Fort, Kierkegaard. En 1925, en poste à Rome, il reçoit Max Jacob dont il devient l’ami et qui lui confie la confection de ses « Morceaux choisis » publiés en 1936 chez Gallimard sur une idée de Jean Paulhan. Max Jacob lui cède les droits de ce recueil et lui dédiera la poème « Reportage de juin 40 » paru dans sa première version dans la revue « Confluences » en 1942 peu après l’arrestation de Paul Petit par la Gestapo. Il est également l’homme de confiance de Paul Claudel.

Pendant l’occupation allemande en France, il s’oppose dès 1940 à la collaboration : le 12 décembre 1940, il diffuse à Paris deux lettres ouvertes aux cardinaux Emmanuel Suhard et Alfred Baudrillart, leur reprochant leurs appels à la collaboration avec Pétain et l’occupant nazi ; le 20 mars 1941, il diffuse un tract contre l’imposture du régime de Vichy appelant à la désobéissance. Il rejoint le journaliste Henri de Montfort, l’historien Emile Coornaert et l’écrivain Marietta Martin pour constituer le groupe de résistants d’inspiration chrétienne « La France continue ». Il devient le principal rédacteur du journal clandestin « La France continue ». Arrêté le 7 février 1942, il est déporté à Sarrebruck le 9 juillet, condamné à mort le 16 octobre 1943, et décapité à la prison de Cologne le 24 août 1944. En 1947, est publiée à titre posthume son œuvre « Résistance spirituelle ».