Die heutige Grafenhausener Pfarrkirche wurde von 1787 bis 1789 erbaut. Anton Hirschbühl, seines Zeichens Maurermeister aus Freiburg, wurde zum Baumeister der neuen Kirche ernannt. Er gehörte zu den großen Baumeistern der Vorarlberger Barockschule.
Während der Bauphase allerdings wurden seine Kirchturmpläne aus Kostengründen geändert. Durch den Einfluss des Klassizismus während der französischen Revolution ist es auch keine reine Barockkirche mehr.
Die heute noch erhaltenen Bilder an den Seitenaltären dürften von dem Maler Leopold Rauch aus Mengen in Oberschwaben stammen. Das Altarbild am Hochaltar ist erst in den Jahren 1854 - 56 entstanden. Es wurde von dem Hofmaler Wilhelm Dürr in Freiburg gemalt und zeigt die Kreuztragung Christi.
Durch den 2. Weltkrieg wurde die Kirche schwer beschädigt. 1951 wurde mit der Wiederinstandsetzung begonnen. Man stellte den gesamten Innenraum mit seiner ursprünglichen Schönheit, wie zur Zeit seiner Entstehung, wieder her. Äußerst wertvoll sind das Deckengewölbe und die Stichkappen. Anstatt der üblichen Fresken beleben Stuckreliefs die Decke.
Mit einer Spätbarockorgel (Baujahr ca. 1790) besitzt die Kirche ein bemerkenswertes Kunstwerk. Die Orgel wurde von dem bekannten Orgelbauer Blasius Schaxel gebaut. Im Jahre 1890 wurde die Orgel durch den Orgelbauer August Merklin um vier Register und ein zweites Manual erweitert. Bis auf kleine Veränderungen blieb die Orgel in ihrem ursprünglichen Zustand erhalten.
Im Jahre 1787 wurde die erste Glocke von Matthäus Edel zu Straßburg gegossen. Sie wog 15 Zentner und war dem heiligen Apostel Jakobus, Orts- und Kirchenpatron, geweiht. Im darauffolgenden Jahr goss er noch eine weitere Glocke, die dem heiligen Apostel Petrus und Paulus geweiht war. Zwei weitere Glocken wurden von den Gebrüdern Bayer in Freiburg gegossen.
In den siebziger Jahren wurde ein neuer Zelebrationsaltar gekauft. Er wurde von dem Freiburger Kunstschmiedemeister Erich Schwarz entworfen. Die Altarplatte aus elfenbeinfarbenem Kristallion ruht auf einem Unterbau, der aus zahlreichen handgeschmiedeten Bronzeteilen besteht.
