Město Abenberg bylo poprvé uvedeno v listinách jako „Abinberch“ roku 1071. Za císaře Jindřicha II. zde na křižovatce starých obchodních cest vzniká hrabství Hohenstaufů. Sňatkem přechází Abenberg kolem roku 1236 na purkrabí z Norimberku a tím je také spojen s Hohenzollerny. Hraběcí linie předků z Abenbergu je důkladně probádána a roku 1869 popsána v knize J. R. Seefrieda vydané v Mnichově. Eichstätterský knížecí biskup Reinboto dědí v roce 1296 hrad a Abenberg obdrží nové městské hradby s branami a věžemi. Roku 1299 se stává Abenberg biskupským úředním sídlem území Obere Stiftslande a dostane městská práva. Selská válka, šmalkadské spory, markrabská válka a především třicetiletá válka zasadily Abenbergu a jeho okolí hluboké rány. Jen pomalu se město zotavovalo.
V době, kdy Jan Hus touto oblastí projížděl, již stál hrad Abenberg, obě městské brány, stejně tak jako Východní věž a městské hradby.
