Stavitelem jeskynního města Vardzía byl gruzínský král Giorgi III., který zde měl v plánu zřídit hraniční pevnost proti nájezdům Turků a Peršanů. Jeho dcera, královna Tamara Gruzínská, stavbu sice dokončila, ale zřídila v ní klášter. Za válečného konfliktu se seldžuckými Turky zde pak v letech 1193 až 1195 sama žila i se svým dvorem. Vardzia je vytesaná do skalní stěny vyčnívající v délce asi 500 metrů do obloukovitého údolí řeky Kury. Stavitelé přitom využili skalních výstupků a zákoutí k vyhloubení hlubokých jeskyní, které mezi sebou spojovali tunely, schodišti, terasy a galeriemi. Původně bylo pro obyvatele zřízeno na 3000 bytů v sedmi patrech, což údajně představovalo bydlení pro 50 tisíc lidí. Každý byt sestával ze tří místností, a pokud dobře počítám, mělo se do něj vejít 17 lidí. Kromě bytů zde byla i pokladnice, kostel, knihovna, pekárny, stáje, koupací nádrže a dokonce i vinice. Voda byla rozvedena keramickým potrubím. Prosperující město však roku 1283 zničila skála utržená při zemětřesení. O dvě stě let později přišlo další zemětřesení, sto let nato Peršané a hned po nich Turci, po jejichž invazi byl klášter roku 1578 opuštěn. Dodnes zůstalo zachováno 750 místností na ploše 900 m² a dokonce se tam nedávno znovu usadilo několik mnichů.