Drewniana kaplica w Rychwałdzie wzniesiona została w 1757 roku, a jej historia w interesujący sposób związała się z okolicznymi kościołami. Obiekt ten zbudowano z materiału rozbiórkowego, pochodzącego ze starego kościółka w Gilowicach (wzniesionego w roku 1635). Niedługo później w samym Rychwałdzie, gdzie również istniała drewniana świątynia (wzniesiona w XVI wieku), rozwinął się kult znajdującego się w nim obrazu Matki Bożej (zatwierdzony biskupim dekretem w 1658 r.). Gdy liczba pielgrzymów stawała się coraz większa, w połowie XVIII stulecia postanowiono wybudować w Rychwałdzie nową, murowaną świątynię. Zdecydowano się wówczas na szczególnego rodzaju przenosiny. Stary, drewniany kościół z Rychwałdu przeniesiono do pobliskich Gilowic (gdzie znajduje się do dzisiaj). Natomiast dotychczasowy kościół gilowicki rozebrano, a z uzyskanego w ten sposób drewna wzniesiono kaplicę w Rychwałdzie. Kaplica, nosząca wezwanie Serca Pana Jezusa, jest budowlą orientowaną, o konstrukcji zrębowej. Przykryta jest obecnie blaszanym dachem, nad którym wznosi się wieżyczka sygnaturki, zwieńczona stożkowym, blaszanym hełmem z latarnią. Budynek, bez wyodrębnionego z nawy prezbiterium, jest zamknięty trójbocznie. W 1856 roku był remontowany. W latach PRL, gdy władze usunęły lekcje religii ze szkół, kaplica przez pewien czas służyła jako salka katechetyczna. Potem, przez pewien czas niszczejąca, została wyremontowana w 2011 roku. Nie posiada wewnątrz wyposażenia.