Dle místního lidového podání jsou skály dílo pekelníkovo. Když se totiž v nedaleké Zásadě rozhodli kdysi postavit kapli, dohadovali se, koho zvolit jako patrona té budoucí kaple. Zdali svatého Floriána patrona proti požárům, nebo svatého Prokopa, jenž zkrotil čerta. Zvolili svatého Prokopa a hned začali kopat základy. Rozlobený svatý Florián jim pak při stavbě činil nejrůznější protivenství a když svatý Prokop nelenil a v noci poslal svého čerta do Frýdlantu pro kámen na stavbu. Čert s velikánskou fůru kamení na zádech letěl zpátky, avšak strašný nečas, způsobený svatým Floriánem, zapříčinil, že čert kameny neudržel a část upustil a těm velkejm skalám se pak říkalo Čertovy skály. Florián pak rozdělal na východě obrovský oheň, který viděli kohouti v Zásadě a hned začali kokrhat. A tak čert musel i zbylé kamení upustit a rozsypal ho od Černostudničního hřbetu až k Huti. Ale ze Zásady to měli k tomu kamení už blízko, a tak tu kapli postavili. Čertovy skály už zůstaly ve starých zkazkách sídlem pekelníků. Nejraději prý sedávali na skále zvané Čertova kovadlina či Čertovo kladivo a sledovali okolí. Když kolem chtěl někdo projít do kostela v Držkově, ke kapli v Zásadě nebo na opačnou stranu do smržovského kostela, házeli po něm z vrcholku kameny a zaháněli ho zpět. Aby se poutníci kamenům vyhnuli, chodili podzemními chodbami, které začínaly nedaleko skal. Jednou prý tady smržovský sedlák dokonce přechytračil čerta, se kterým se vsadil, kdo má větší sílu. Zatímco čert mačkal v ruce kus žuly, sedlák zmáčkl namísto kamene hrudku tvarohu, až mu z ruky začala téct syrovátka. Čert se zhrozil tak velké síly a sedlák vyhrál hromadu zlaťáků.

V Čertových skalách měla nějakou dobu úkryt i reálná postava - známý severočeský lupič Josef Kögler, původně kameník v lomu na Černé studnici. V říjnu 1893 zde oloupil ženu vracející se ze záložny o 84 zlatých a střelil ji, naštěstí ne smrtelně, do obličeje. Zdejší skalní sluj se dodnes nazývá Köglerovou jeskyní.

Nejspodnější z Čertových skal, zvaná Huškova, skrývá na jedné ze svých stěn kříž, letopočet a monogram. Tady se v roce 1875 zastřelil smržovský lesník Anton Huschek.

Skála Čertovo kladivo a několik dalších skal skýtají zajímavé lezecké terény a jsou často zdolávány horolezci.

Přístup: Po smržovském Vyhlídkové okruhu na Černou Studnici a dále hřebenovou cestou. Z Jablonce n. Nisou po zeleně značené cestě na Černou Studnici a dále červeně značenou hřebenovou cestou.