Żory są starym miastem, o średniowiecznych korzeniach. Od wieków żyli tutaj obok siebie Polacy, Niemcy i Żydzi, katolicy, ewangelicy i starozakonni. Dlatego w mieście odnajdziemy kilka nekropolii: cmentarz katolicki, protestancki i kirkut. Chrześcijanie grzebali swoich zmarłych najczęściej przy kościele. Żydzi mieli wymóg zakładania cmentarzy w odległości przynajmniej 25 metrów od najbliższego domu.
Kościół parafialny pod wezwaniem św. św. Filipa i Jakuba stoi w północnej części lokacyjnego miasta. To właśnie tutaj, w sąsiedztwie żorskich murów obronnych, chowano przez długi czas zmarłych mieszczan. Na początku XIX wieku władze pruskie wymogły zaprzestanie pochówków w tym miejscu i wytyczenie nowego, bardziej oddalonego od siedzib ludzkich cmentarza. Wbrew zaleceniom, wybrano miejsce niezbyt odległe, ale położone już poza murami - tam, gdzie do niedawna znajdowała się fosa. Pierwsze groby usypano w 1824 roku.
Do dzisiaj na cmentarzu przy ul. ks. Klimka zachowało się ponad 400 nagrobków, które stoją w bujnej zieleni wiązów i lip, oplecione często gęstym bluszczem. Na kamieniach widać napisy: Hier ruht in Gott… - Tu spoczywa w Bogu… Niemcy i Polacy, tak jak żyli obok siebie, tak i spoczywają. Niestety, okrutny XX wiek nie oszczędził nawet cmentarza. Po ostatniej wojnie niemieckie inskrypcje często niszczono. Szacuje się, że na żorskim cmentarzu pochowano kilkanaście tysięcy zmarłych. Szczególnie dużo pracy mieli tutejsi grabarze w połowie XIX wieku, kiedy na Śląsku grasował tyfus głodowy. Do niezwykłego zdarzenia doszło w 1935 roku, kiedy wśród grobów rozbił się polski samolot wojskowy. Dwóch pilotów zginęło. Ciekawą pamiątką przeszłości jest kamienny, średniowieczny krzyż pokutny, który na cmentarz trafił z ul. Rybnickiej.