La iglesia empezó a construirse a finales del s. XIII. Alberga en su altar mayor un lienzo de Dorfmeister, gran maestro de la pintura barroca que vivió en Sopron. La sala capitular presenta una hermosa bóveda ojival cuyos nervios descienden hasta la base de las columnas. Hay distintas versiones del origen del singular nombre del templo: para unos se debe a las esculturas que representan la cabeza de una cabra y un cabritillo; otros creen en la leyenda de un cabrero que descubrió un tesoro y dedicó parte de éste a la construcción de la iglesia.