Согласно мифологии, свое имя , Касторья получила в честь сына Зевса, Кастораса. Но существуют и другие версии, по одной из которых оно произошло от болгарского «костур»,, что означает замок. Но наиболее популярной остается версия, согласно которой, город назван так из-за большого количества бобров (от греч. касторас), обитающих в этом округе.

Город богат своей древней историей. Согласно римскому историку Ливию, на месте, где сейчас расположена Касторья, в 5 веке до н.э. существовал город Келетрон, в то время как в 6 веке Прокопий впервый упомянул имя Касторья, как название озера.

В Византийский период, природная красота особо привлекала внимание императоров того времени. Первые укрепления здесь соорудил Диоклетиан и назвал город Диклитиануполи. В 550 году нашей эры Юстиниан превратил город в мощную крепость, стены которой противостояли атакам славян, и переименовал его в Юстиниануполи. С падением Византийской Империи, город перешел в турецкое владение и был освобожден лишь в 1912 году.

Город значительно пострадал во время Второй мировой войны и после­довавшей за ней войной гражданской. В 1948 г. коммунисты почти захватили город, бои шли за господствующие над Касторией горы.

Сегодня это современный греческий город с более чем 20 тыс. населением и с бесконечными вывесками на русском языке. Именно россияне являются лучшими и любимыми клиентами скорняков Касторьи.
Еще совсем недавно, богатые жители города имели самый высокий доход на душу населения в мире!
Это было достигнуто благодаря меху и техники его обработки, известной местным жителям еще с византийских времен.
Здесь производится 30% продукции, представленной на мировом рынке, а практически все жители этого города , так или иначе, связаны с меховой отраслью.