Nipote dell'intellettuale russo Aleksandr Ivanovic Herzen (1812-1870), seguì il padre Aleksandr (1839-1906), medico e docente universitario, nei suoi spostamenti in varie città d'Europa. Compì tutti gli studi a Losanna, dove nel 1889 ottenne il diploma di Ingegnere meccanico e nel 1901 la laureò in Scienze con una tesi dal titolo Sur les tensions superficielles des mélanges de liquides normaux, pubblicata nel 1902. Risalgono a questo periodo alcuni suoi scritti di scienze sociali ed economiche (Rapports entre les phénomènes psychiques et les phénomènes physiques, del 1898, e La répartition des revenues, del 1900, quest'ultimo ispirato alle lezioni paretiane di economia politica).
Si trasferì quindi a Bruxelles, dove divenne collaboratore dell'industriale Ernest Solvay e partecipò ai sette Congressi Solvay, rivestendo un ruolo di primo piano negli sviluppi della chimica e della fisica nei primi decenni del Novecento.
Nel 1905 pubblicò Le grandes lignes de la Chimie physique moderne, volume che traccia il quadro dei progressi di questa disciplina. Nel 1921 divenne direttore della sezione di Scienze fisiche dell'Institut des Hautes-Études e nel 1922, dopo la morte di Solvay, si fece promotore di una serie di iniziative per la divulgazione della teoria della relatività di Einstein. Oltre a vari cicli di conferenze sul tema, che riportarono un notevole successo, nel 1924 pubblicò a Losanna e a Bruxelles l'opuscolo La relativité d'Einstein exposée simplement avec de nombreuses figures. Nello stesso anno, in collaborazione con il fisico Hendrik Antoon Lorentz, espose all'Académie des sciences de Paris la nota intitolata Les rapports de l'énergie et de la masse d'après Ernest Solvay.