Le groupe est formé en 2008 par Frankie McLaughlin (chant) et Johnny McKelvey (basse), The Rumjacks combinent plusieurs styles musicaux, notamment le punk rock et le folk celtique.
Le groupe sort deux EP en 2009 – Hung, Drawn and Portered, puis Sound as a Pound1. Le groupe est composé de 5 membres, McLaughlin au chant, McKelvey à la basse, Gabriel Whitbourne à la guitare, Anthony Matters à la batterie et Adam Kenny à la mandoline, banjo ou bouzouki. Ensemble, ils publient trois albums : Gangs of New Holland (2010), Sober and Godless (2015), et Sleeping Rough (2016).
