A banda foi formada em Newcastle upon Tyne em abril de 2003, e seu nome foi adaptado do Maximo Gomez Park, um ponto de encontro em Havana dos cubanos revolucionários. Iniciacialmente não possuíam um vocalista. Após cogitar o término da banda, acabaram decidindo encontrar alguém para guiar a banda tanto no palco quando nas composições. O cantor Paul Smith foi descoberto por uma então namorada do baterista Tom English em um pub enquanto ele cantava "Superstition" de Stevie Wonder. Após reunir-se com Paul começaram a escrever as primeiras canções.

Após alguns concertos em sua região, assinaram contrato com a Warp Records. Em 2005 estrearam com o álbum A Certain Trigger, que teve bastante sucesso no Reino Unido, e cujo som foi divulgado em turnês de suporte para bandas como Kaiser Chiefs no NME Rock & Roll Riot Tour.

1. Signal And Sign
2. Apply Some Pressure
3. Graffiti
4. Postcard Of A Painting
5. Going Missing
6. I Want You To Stay
7. Limassol
8. The Coast Is Always Changing
9. The Night I Lost My Head
10. Once, A Glimpse L
11. Now I'm All Over The Shop
12. Acrobat
13. Kiss You Better