Ve 13. století přišli do Chrastavy na pozvání Přemyslovců němečtí kolonisté. Byli to převážně horníci, kteří na místě původní osady založili město a v okolí začali s těžbou kovů.

V 16. - 17. století se těžba rud v Chrastavě ocitla v krizi a tak se začaly objevovat domácí dílny zaměřené na textilní výrobky. Tím vznikl základ textilního průmyslu. Po podepsání Mnichovské dohody v roce 1939 se Chrastava stala součástí Třetí říše. Po II. světové válce město příliš neprosperovalo, ale od 90. let minulého století se stalo významnou turistickou zastávkou na cestě k německým a polským hranicím.

Součástí Chrastavy je osada Vítkov, která je dlouhá téměř 6 km. V současné době zde probíhá rekonstrukce opevněného velmožského dvorce Wothanburg z přelomu 12. a 13. století. Nedaleko Chrastavy se nachází i obec Jitrava, u které je úvodní tabule a začátek Mezinárodní naučné stezky Lužické a Žitavské hory.