Stejně jako u většiny starých šlechtických sídel v ČR jsou nejstarší zmínky pouze o majitelích a původu jejích erbů. Původní hrad zde patrně působil jako opevněné místo chránící brod přes řeku Jihlavu a obchodní cesty v této oblasti. První zmínka o majiteli uvádí jako vlastníka Viléma, původně z Pulína, který obdržel svůj erb, stříbrný leknín s kořeny v rudém poli, v roce 1162. Za jeho nájezdy do Rakous na něj uvalil papež klatbu. Té se Vilém zbavil až na základě závazku postavit na svém majetku klášter a vybavit ho. Tento závazek Vilém splnil až v roce 1181, kdy zde postavil premonstrátský klášter Rosa Coeli. Český panovník pak Vilémovi udělil jiné panství a Vilém své původní panství v Dolních Kounicích předal klášteru. Klášter postupně zbohatl a ve 20. letech 14. století postavil na místě původní pevnosti na svoji obranu gotický hrad (dokončen 1330). Po zrušení v 16. století kláštera připadl hrad markraběti a králi Ferdinandu I., který jej roku 1537 prodal místokancléři Českého království Jiřímu Žabkovi z Limberka. Ten potřeboval reprezentativní sídlo, a nechal proto hrad přestavět v renesančním slohu. Další renesanční přestavba proběhla na přelomu 16. a 17. století, kdy zámek vlastnili Drnovští z Drnovic.