Městys Častolovice byl založen pravděpodobně ve 13. století od některého pána z rodu Hronovců jménem Častolov, připomínaného v letech 1215 - 1216. V 11. či 12. století měl již vlastní kostel. Kostel sv. Víta - dominanta městyse viditelná z daleka tvoří významnou památku. Původní stavba založená Půtou nejmladším s Kaplí sv. Kateřiny, farou a ustaveným plebánem byla za vlády hraběte Františka Filipa Šternberka v letech 1771 - 1775 zbořena a na jejím místě vystavěn kostel sv. Víta v barokním slohu. Ze 13. století pochází zpráva o první církevní škole. Z období vlády Půtovců pochází i první písemný doklad o Častolovicích. Je jím list z roku 1342, kterým král Jan Lucemburský povýšil ves Častolovice na městečko. V 60. letech minulého století se z Častolovic stala opět obec.

Ve 14. století založili páni z Častolovic i původní vodní tvrz, která byla v letech 1588 - 1615 přestavěna na zámek. Po smrti posledního mužského potomka Půty nejmladšího z Častolovic roku 1435 jsou Častolovice spravovány Annou z Koldic a později se nepřímým dědicem panství stává její druhý manžel Hynek Krušina z Lichtenburka, Z dalších majitelů připomeňme Jindřicha, hraběte z Münsterberka, Henrycha z Regeru, který obnovil pobořenou tvrz, Oppensdorfy z Dubu, kteří drželi panství až do roku 1676 a zasloužili se o rozvoj Častolovic novou výstavbou.

Na straně u řeky se nacházel špitál s kaplí sv. Václava založenou roku 1647 Ottou z Oppersdorfu. Stavba kaple byla provedena českým stavitelem raného baroka Karlem Lurandem podle vzoru kaple Loretánské v Praze a byla jednou z nejvýznamnějších památek východních Čech.

Svoji tradici v městečku mělo vaření piva, jež se prodávalo výhradně v panském domě. I pivovar pocházel pravděpodobně z vlády rodu Oppensdorfu. Ještě v roce 1889 se v obci platila pivní dávka za každé pivo v obci spotřebované 1K. Sláva pivovaru byla ukončena v únoru 1949.

Za pánu z Oppensdorfu bylo vystavěno renesanční sídlo obklopené zahradami, rybníkem a hospodářskými budovami. Poté drželi panství Černínové z Chudenic, kteří jej v roce 1694 prodali Adolfu Vratislavovi, hraběti ze Šternberka. V letech 1858 - 1874 byl zámek Jaroslavem za Šternberka přebudován do moderního anglického slohu. Dnešní podobu získal zámek poslední přestavbou v roce 1910.

V roce 1949 se stal zámek majetkem státu a v roce 1992 byl vrácen paní Dianě Phipps Šternbergové.