První zmínka o pozdějším královském komorním městě se datuje do roku 1280. Již ve 13. století měl Žebrák vlastní trh. Osada měla výhodnou polohu na cestě, která odedávna spojovala Prahu a Plzeň a vedla dále do Bavor. Roku 1396 povýšil král Václav IV. Žebrák na město.
Nedaleko města se nachází hrad Žebrák a později postavený hrad Točník. Za krále Karla IV. sloužil Žebrák králi určitě jako přestupní stanice na jeho cestách do Norimberka. Hrad nabyl na významu, když král získal Horní Falc a Horní Franky, nazývané „Nové Čechy“. K zabezpečení cestujících dal Karel IV. opevnit hrad Žebrák i jeho podhradí hradbou. Král Václav IV. dal vedle hradu vystavět obytnou budovu pro větší pohodlí svých pobytů. Roku 1392 zde podepsal listinu, která dovolovala Janu z Mühlheimu vybudovat Betlémskou kapli na pražském Starém Městě. 8. května 1394, na cestě z Žebráku do Prahy, byl Václav IV. na příkaz svého nevlastního bratra Zikmunda zajat a vsazen do vězení ve Vídni. Z vězení se dostal teprve 30. května 1395.
Po požáru na Žebráku si nechal král Václav IV. koncem 14. století postavit rezidenční hrad Točník, kde pak probíhala většina jeho jednání.
Během husitských válek byly oba hrady husity neúspěšně obléhány. Hrad Žebrák roku 1532 vyhořel a zůstaly po něm jen ruiny, jejichž další devastaci způsobili hledači pověstného václavského pokladu. Hrad Točník byl během třicetileté války často úkrytem okolního lidu, které se na něm schovávalo před Švédy. Po válce již nebyl trvale osídlen.
Teprve na konci 20. století se započalo s údržbou a částečnou rekonstrukcí obou hradů, které jsou v majetku státu. Hrady jsou přístupné od dubna do konce října.
Jan Hus, jako důvěrník královny Žofie Bavorské, hrady Žebrák a Točník dobře znal. Podobně i Jan Žižka, který na dvoře od roku 1404 zastával funkci dveřníka, tedy hlavní post Královské gardy.
Roku 1412 se na hradě Žebráku konala disputace o papežské odpustkové bule mezi Janem Husem a Štěpánem z Pálče. Při tomto tzv. hádání sehrál Jeroným Pražský komediální představení s vjezdem do hradu na oslátku.
