Die Ruinen der Kirche St. Mary in Great Hautbois gehören zu den am besten erhaltenen Rundturmkirchen-Ruinen in Norfolk. Es ist also noch viel Substanz erhalten, und sie ist leicht als Ruine einer Kirche zu erkennen.

Während sie heute weit entfernt von jedem Ort an einem Feldweg liegt, stand diese Kirche früher in der Nähe einer Burg, die 1313 erbaut wurde, und eines Hospitals und einer Kapelle, die 1235 zur Aufnahme von Reisenden und Armen gegründet wurden. Im Jahre 1864 wurde 400 Meter weiter östlich im Dorf die neue Kirche der Heiligen Dreifaltigkeit gebaut, und St Mary wurde stehen gelassen und sich selbst überlassen, allerdings ohne das Dach des Kirchenschiffs. Die Kirche wurde im 9. Jahrhundert gebaut, mit Eisensteinquadern, dann wurde etwa hundert Jahre später der Turm hinzugefügt. Er steht immer noch, sehr schlank und rund in seiner vollen ursprünglichen Höhe von etwa 15 Metern, mit vier frühen Glockenturmöffnungen, die mit Feuersteinen umrahmt sind und mit nicht-radialen Bögen, die ebenfalls aus Feuersteinen gebaut sind. Ähnliche Öffnungen befinden sich weiter unten. Vom Kirchenschiff aus kann man sehen, daß die heute bescheidene Türöffnung in den Turm einen größeren Bogen ausfüllt; über diesem Bogen befindet sich ein weiterer, der aus römischen Kacheln gebildet ist. Dieser könnte die Spitze des ersten Turmbogens gewesen sein, oder es könnte sich um ein Fenster über dem unteren Bogen handeln.

Im 13. Jahrhundert wurde der Chor nach Osten erweitert und eine südliche Kapelle hinzugefügt, um ein Bild des Heiligen Theobald von Provins (Brie) zu beherbergen. Er war ein Einsiedler, der auf Pilgerreisen ging, nach Compostela in Spanien, Rom und anderen Orten in Italien, und schließlich ein Kamaldulensermönch wurde. Er starb im Jahr 1066. Sein Bildnis hier zog Pilger an, da man ihm wundertätige Kräfte zuschrieb.

Die Wände des Kirchenschiffs und das Südportal aus dem 15. Jahrhundert stehen noch immer, allerdings ohne Dach und Fenster. Der Chorbogen wurde 1864 mit einer Feuersteinmauer und einem kleinen Portal verschlossen, und der Chor wurde zu einer Totenkapelle. Das südliche Seitenschiff wurde im 14. Jahrhundert gebaut, möglicherweise durch die Erweiterung des Chors nach Westen, wahrscheinlich um die steigende Anzahl der besuchenden Pilger unterzubringen. Zwei Bögen trennten es vom Kirchenschiff, die später im 18. Jahrhundert mit einem gemauerten Innenbogen ergänzt wurden.

Der Chor ist immer noch überdacht und mit einigen Fenstern versehen, ist aber nun leer. Das außergewöhnliche normannische Taufbecken, das 1805 vergraben gefunden wurde, befindet sich heute in der benachbarten Holy Trinity Church aus dem 19. Jahrhundert.