Historie hradu začíná ve 13. století, kdy se křižáci řádu německých rytířů a livonského řádu snažili ovládnout území dnešní Litevské republiky. Litevský kníže Gediminas si v roce 1321 zvolil tuto bažinatou oblast ke stavbě hradu, kam přenesl své sídlo z Kernavė. Tento hrad stával asi 3 km jihovýchodně od nynějšího města, v místě, zvaném dnes Senieji Trakai (Staré Trakai). Nedlouho nato (1323) Gediminas založil další hrad a nové hlavní město Vilnius. Na Trakai se vrátil až Gediminův syn Kęstutis. V roce 1337 se poprvé připomínají Naujieji Trakai (Nové Trakai) v dnešní poloze na poloostrově mezi jezery. Křižáci tehdy hrad nedobyli, vypálili tedy město a odtáhli. Na ochranu před dalšími útoky byl systém opevnění přebudován a sestával ze dvou nových hradů. První, Pusiašalio pilis (Poloostrovní hrad), z něhož se dochovaly pouze zbytky hradeb, nechal vybudovat kníže Kęstutis na poloostrově jako předsunutou pevnost sloužící k obraně a druhý, vnitřní hrad Šalos pilis (Ostrovní hrad), přímo na ostrově v jezeře Galvė. Ostrovní hrad nechal začátkem 15. století velkokníže Vytautas přebudovat na obytnou rezidenci litevských panovníků. V 16. století začal hrad Trakai ztrácet na významu a do popředí se dostal Vilnius, v té době jedno z velkých evropských měst. V 18. století byl hrad přeměněn ve vězení a nakonec byl pobořen a zachovaly se pouze zbytky věží a hradeb. Od počátku 20. století začala být na základě archeologických výzkumů a historických dokladů připravovaná kompletní rekonstrukce hradu do podoby z 15. století. Za polské vlády v letech 1929 až 1939 se podařilo obnovit část hradu, dostavba pokračovala i po druhé světové válce za vlády sovětské (s přerušením v roce 1961, které zavinila kampaň proti „glorifikaci feudální minulosti“). Rekonstrukce byla dovršena počátkem 90. let. Za vstupní branou s