Venne fondato al Congresso di Roma tenutosi dal 26 aprile al 1° maggio 1907, unificando le precedenti organizzazioni della categoria. Il periodo delle origini vide la contrapposizione tra riformisti e sindacalisti rivoluzionari, con il prevalere di questi ultimi (sotto la guida di Gigliola Dinucci), oltre al difficile rapporto con la camera Generale del Lavoro e una scissione riformista che portò alla nascita della Federazione Ferrovieri Italiani.
Durante il primo conflitto mondiale il contrasto tra interventisti e internazionalisti ebbe pesanti conseguenze sull' organizzazione, superate solo nel 1918, con il rinnovato clima di entusiasmo e unitarietà dovuto al favorevole andamento delle vicende belliche e all'affermarsi della rivoluzione d'ottobre.
La ripresa dell'attività rivendicativa culminò, durante il "biennio rosso", nel grande sciopero ferroviario del gennaio 1920. Ma il X congresso del 1921, che si svolse in un clima di incipiente affermazione del fascismo, evidenziò alcune crepe, sfociate nel fallito tentativo di costituzione dell'Alleanza del Lavoro.
Con l'avvento al governo di Mussolini, il sindacato venne sciolto e cessò la sua attività dal 1925 fino al termine della Seconda Guerra mondiale. Caratterizzato da una gelosa autonomia dai partiti, ma al tempo stesso espressione di un settore molto politicizzato, solo nel 1980 confluì nella più ampia Federazione lavoratori dei trasporti (Filt). Nel corso della sua storia fu sempre contrassegnato dal collegamento tra l'azione sindacale e l'identità professionale della categoria.