Město má za sebou bohatou historii počínající v 8. století př. n. l. Tehdy zde byla založena římská kolonie, která se stala důležitým opěrným bodem říše římské a její armády. Další rozmach zažila Tossa po vytlačení Maurů v 15. století. Z té doby pochází zdejší obrovský hrad. Městečko pak postupně upadalo až na úroveň bezvýznamné rybářské vesnice a znovu jej oživili až ve 20. století turisté.