V Hrabkove dodnes stojí kostol asi zo 14. storočia. Postavili ho Benediktíni. Je z nevyberaného kameňa s nehaseným vápnom. Veža je stavaná z tesaných skál. Vo veži je zvon údajne z miestneho kláštora, ktorý bol zbúraný. Kostol bol postavený v romansko-gotickom slohu. Má typické hrubé románske steny, kruhovú klembu, okna s lomeným oblúkom a farebným sklom, ktoré dnes nahradilo obyčajné biele sklo. Kostol bol roku 1924 reparovaný.
V minulosti bola celá dedina rímskokatolíckeho náboženstva, okrem jednej rodiny a to rodiny Adolfa Fränkeľa, ktorý býval v dome kde je dnes obchod Jednota. Za týmto obchodom môžeme nájsť dva hroby. Tieto hroby sú na pomerne strmom kopci, preto jeden z hrobov je vyvrátený, ale ešte stále drží. Na jednom je akoby západ slnka a na druhom je zobrazený listnatý prútik. Obidva hroby sú vytesané z pieskovca.
V tridsiatich rokoch 14. storočia dal v Hrabkove Mikuláš z Perína postaviť kláštor zasvätený svätému Duchu pre augustiniánov a súčasne im daroval túto dedinu aj s miestnym šoltýstvom, ku ktorému patril aj mlyn. Hrabkovský kláštor mal majetky. Stál v miestach, kde je dnes kríž oproti škôlke. V polovici 16. storočia kláštor upadol a chátral. Na konci 16. storočia už nejestvoval. 16. apríla 1980 boli zbúrané zostávajúce steny kláštora. Do dnes existujú kláštorné klenbové pivnice, ktoré používajú niektoré rodiny. Hovorí sa, že kláštor mal 2 zvony: jeden veľký a jeden malý. Malý bol v miestnom kostole Šimona a Júdu a je tam dodnes. Veľký zvon bol v kláštore. Po zbúraní kláštora sa zvon podľa povestí prepadol pod zem. Boli vraj pokusy ho vytiahnuť, ale pre jeho veľkosť sa to nepodarilo. Tento zvon je vraj do dnes zakopaný pod krížom, kde stál kláštor.
