Diesel werd in Parijs geboren. Zijn uit Augsburg  afkomstige Duitseouders moesten bij het uitbreken van de Frans-Duitse oorlog, in 1870, de stadverlaten en vluchtten naar Londen. Geldgebrek dwong hen om Rudolf naar een oom entante in Augsburg te sturen, waar hij het gymnasium doorliep en grotebelangstelling voor techniek ontwikkelde. In 1875 kreeg hij een beurs voor deTechnische Hogeschool in München. In zijn studententijd hield hij zich daar albezig met het zoeken naar wegen om het rendement van de, toenallesoverheersende, stoommachine te verbeteren. In 1880 behaalde hij op zijnexamen het beste resultaat ooit op de Technische Hogeschool gehaald.