Kobylice, miejscowość istniejąca przynajmniej od XIV wieku, od początku należała do parafii kozielskiej. Kiedy w roku 1910 zmarł pochodzący stąd ks. Józef Dembończyk, proboszcz w Marklowicach Dolnych, wszystkie swoje oszczędności życiowe przeznaczył testamentem na budowę kościoła w rodzinnej miejscowości. Budowę ukończono w roku 1913, a fundator został pochowany pod prezbiterium, razem ze swoim bratankiem Janem, studentem teologii, który zmarł w czerwcu 1913 r. – W czasie kiedy przy akompaniamencie pieśni: „Być bliżej Ciebie chcę” w oceanie tonął „niezatapialny” RMS Titanic, nasi przodkowie mieszkający w Kobylicach budowali kościół, bo chcieli rzeczywiście być bliżej Boga, a nie tylko o tym słuchać pieśni.