Formé en 2003 autour du tourmenté Pete Doherty, le groupe est également constitué de Patrick Walden à la guitare, Adam Ficek à la batterie et Drew McConnell à la basse. A cette époque, Pete, connu pour ses nombreuses frasqueset problèmes de drogue, est écarté du groupe The Libertines qu'il a pourtant lancé avec Carl Barât. Il décide donc de monter une nouvelle formation, avec laquelle il sort un premier album en novembre 2005, Down In Albion. Cet opus a été produit par Mick Jones, ancien membre des Clash. En 2006, paraît le disque The Blinding EP, suivi d'un opus en octobre 2007 baptisé Shotter's Nation, dont est extrait Delivery.