Herregård og kirke 

Med en historie som strækker sig helt tilbage til før vikingetiden, hører Aggersborggård til blandt landets ældste herregårde. Kontinuiteten understreges af, at Aggersborggårds lade i dag dækker den sydlige del af borgområdet. Harald Blåtand opførte i 970'erne den største af de i alt fem danske ringborge på stedet, som helt indtil 1579 var kongelig ejendom. Vikingeborgen var kun i brug i 10-20 år, men fra skriftlige kilder vides det, at Knud den Hellige i 1086 havde en kongsgård ved Aggersborg, idet der her berettes om et oprør mod kongen, som flygtede over fjorden, mens mange af hans mænd blev dræbt på Aggersborg. 

Aggersborg nævnes igen i Kong Valdemars Jordebog fra første halvdel af 1200-tallet og senere i 1272, hvor Erik Klipping opholdt sig på stedet og udstedte et endnu bevaret diplom, der fritog Øm Kloster for visse ydelser og afgifter. I Valdemar Atterdags tid nævnes Aggersborg igen, idet Niels Eriksen Gyldenstjerne over for kongen forpligtede sig til at genopføre borgen, der blev brændt ned ved et jysk adelsoprør i formentlig 1368/1369. Formentlig den selvsamme borg, som blev fundet i 2009 i forbindelse med projektet "Kongens Borge".

De få gange Aggersborg sidenhen omtales i middelalderen er det som en gård. Og da Frederik d. 2. i 1579 mageskifter med adelsdamen Vibeke Podebusk, er det en ejendom, som benævnes "kongens gård i Aggersborg". Herregården har siden været ejet af en række forskellige slægter. I 1600-tallet brændte den to gange, først ved et uheld og siden under Torstenssonkrigen.