Nie wiemy dokładnie, kiedy wzniesiono pierwotną budowlę sakralną na miejscu obecnego kościoła. Po raz pierwszy tutejsza świątynia wspominana jest w kościelnych protokołach wizytacyjnych w 1640 r. Stał tu wówczas kościół drewniany. Z biegiem czasu uległ on zniszczeniu, po czym został odbudowany w 1740 r. Przez pewien czas świątynia pełniła funkcję siedziby parafii (gdy kościół Mariacki - główny wówczas w Mysłowicach - był przebudowywany). Podczas wojen napoleońskich, 13 kwietnia 1807 r. kościół św. Krzyża padł ofiarą pożaru, wskutek którego ponownie został zniszczony.
Rok 1810 przyniósł kolejną odbudowę. Tym razem za materiał posłużył kamień wapienny, a wzniesiona wówczas budowla, łącząca elementy baroku i klasycyzmu, przetrwała do dzisiejszych czasów. Połowa wieku XIX przyniosła zresztą trochę większe zainteresowanie stojącą dotychczas nieco na uboczu świątynią. W 1906 r. wymieniono dach gontowy na łupkowy. Na listę zabytków kościół św. Krzyża wpisany został w 1957.
Sama parafia pod wezwaniem św. Krzyża obejmuje trzy kościoły. Obok omawianego kościółka jest to świątynia Najświętszego Serca Pana Jezusa z końca XIX w., stanowiąca obecnie siedzibę parafii oraz XIV-wieczny (prawdopodobnie) kościół Narodzenia Najświętszej Marii Panny, tzw. Mariacki, który był kościołem parafialnym przez kilka wieków. Początki parafii w Mysłowicach stanowią dla historyków nieco trudny obszar badań, co spowodowane jest brakiem dokumentów źródłowych. Część badaczy przyjmuje, że pierwszą świątynią była tutaj kaplica św. Krzyża, która miałaby istnieć już pod koniec XII w. Inni uznają natomiast, że kaplica ta jest znacznie późniejsza, zaś pierwszą tutejszą świątynią był kościół Mariacki.