Kolem roku 1454 přidělil kališnický český král - Jiří z Poděbrad Častolovicím znak v podobě kosmo položené zlaté ryby na modrém štítu, orientované hlavou vzhůru a doprava, prostřelené napříč šikmo položeným stříbrným šípem.

Podoba obecního znaku se v průběhu staletí měnila. Ve starších vyobrazeních (křtitelnice v kostele sv.Víta, dobové dopisnice, znak na budově radnice) je ryba nakreslena jako štíhlá a spíše pstruhovitá, jindy ve znaku uvidíme štiku a nově přisoudili heraldici rybě podobu zlatého kapra.