Dominantu obce představuje mohutný hradní komplex. Původně měl pravidelnou obdélníkovou dispozici a byl oddělen od ostrohu hlubokým příkopem. Dnes jej tvoří mohutná obdélníková třípatrová budova, která má uprostřed věž a křídlo, které odděluje dva vnitřní dvory. Do rozsáhlého předhradí je začleněn kostel sv. Maří Magdalény, raně barokní architektura z poslední třetiny 17. století

Počátky mírovského hradu i jeho další osudy jsou těsně spjaty s olomouckým biskupstvím. Byl vybudován nepochybně proslulým olomouckým biskupem, přítelem krále Přemysla Otakara II. Brunem ze Schauenburka někdy v polovině 13. století jako jeden z řady biskupských hradů, které měly střežit biskupské zájmy v jednotlivých částech země. Po řadě bojů, zejména se zábřežskými Tunkly se začalo počátkem 80. let 15. století s velkou opravou hradu, která však přerostla v jeho přestavbu z výlučně vojenské pevnosti na pohodlnější letní biskupské sídlo. Mírov se také stal sídlem hospodářské správy panství.

Ve stavebních úpravách hradu pokračoval v polovině 16. stol. biskup Marek Kuen, za něhož získala mírovská pevnost v podstatě nynější rozlohu. K hornímu zámku bylo připojeno podkovovité předhradí a do pásma hradeb byl pojat i mírovský kostel, který stál původně mimo hradby v městečku, takže kromě staré hradní kaple měl hrad i vlastní kostel.

V době počínajícího rekatolizačního úsilí olomouckých biskupů, zejména počínaje Stanislavem Pavlovským (1579 - 1598), stále zřetelněji vystupuje do popředí také role mírovského hradu jako vězení pro nepořádné a luterství či kališnictví nakloněné duchovní. Nebyla to role zcela nová. Již ve 14. a 15. století sloužil Mírov jako vězení pro odbojné a neposlušné biskupské many a pro provinilé biskupovy služebníky, v 15. století je pak řeč i o provinilcích ze stavu duchovního, kteří nakonec mezi nedobrovolnými obyvateli hradu převládali.

Po švédských válkách byl hrad značně poškozen a hrozící turecké nebezpečí přinutilo biskupa Karla z Liechtenštejna-Kastelkornu, že v roce 1665 zahájil generální přestavbu zchátralého hradu. Jejím konečným cílem byla výstavba moderní barokní pevnosti, která by v sobě spojovala účely obranné s požadavky vysokého komfortu a vytříbeného estetického cítění uměnímilovného biskupa. Proto bylo pro vybavení mírovského hradu svezeno vše krásné a cenné, co bylo možno opatřit, a Mírov náležel tehdy k nejkrásnějším panským sídlům u nás. Charakter pevnosti zvyšovala rozsáhlá hradní zbrojnice, po Bítově druhá největší na Moravě, do níž bylo soustředěno i množství tureckých zbraní včetně krásné soupravy tureckých stanů.

Rok 1848 přinesl jako důsledek zrušení poddanství i zrušení zdejšího arcibiskupského vrchnostenského úřadu. Zmizela odtud i kněžská káznice a v roce 1855 prodal arcibiskup opuštěný hrad moravskému místodržitelství, které sem přeneslo státní věznici ze Špilberku. Velké stavební adaptace, prováděné v 1. 1850 - 1870, zničily bohužel řadu cenných barokních a renesančních detailů hradu.

Za okupace se hrad stal věznicí gestapa, kterou prošla i celá řada vedoucích funkcionářů ilegální KSČ Později tu byli vězněni nemocní vězni.
V současné době patří k nejtěžším věznicím v ČR.
Mírov je věznicí se zvýšenou ostrahou. Má oddělení s ostrahou, oddělení se zvýšenou ostrahou a oddělení pro výkon doživotních trestů. Do budoucna má ve věznici zůstat oddělení pro výkon doživotních trestů. Počet odsouzených na Mírově je omezen kapacitou 352 osob (údaj ke dni 30.5.2001).

V objektu hradu je nyní věznice. V nedávné době proslula útěkem vězně Kájínka.