Holy Trinity ist der beiden mittelalterlichen Kirchen Bungays: Holy Trinity ist die Pfarrkirche; die andere, St Mary, wird vom Churches Conservation Trust betreut. Der Turm von Holy Trinity stammt aus dem 11. Jahrhundert, und in der Bausubstanz sind blockierte Rundfenster zu erkennen. In der Nähe der Spitze dieses Turms befanden sich früher acht runde Öffnungen für den Glockenturm. Wo Feuersteine verwendet werden, um die mit Feuerstein umrahmten Öffnungen zu blockieren, kann es einige Zeit dauern, bis man sie bemerkt. Es gibt vier weitere unten im Turm und auch einige kleine blockierte Rundbogenfenster. Das Westfenster im Erdgeschoss stammt aus dem 19. Jahrhundert. In den unteren Teilen gibt es Spuren von "Fischgräten"-Arbeit (Steine, die in abwechselnden Winkeln verlegt sind <<<<), die mit Sandsteinblöcken ausgeführt wurde. Der Turm wurde 1757 restauriert, als die Glockenturmöffnungen durch drei quadratische, gemauerte Öffnungen ersetzt wurden. Die Brüstung aus dem 15. Jahrhundert wurde mit ihren alten Schilden und Wasserspeiern (um Regenwasser vom Dach abzuleiten) wiederhergestellt. Die West- und Nordwände des Kirchenschiffs, mit den Westquadern aus Feuerstein, stammen ebenfalls aus dem 11. Jahrhundert. Ein steingerahmtes Fenster mit einem in einen einzigen Stein gehauenen Bogen und aufrechten und flachen Steinen für die Pfosten ist noch in der Nordwand zu sehen, obwohl es innen blockiert ist. In die Wand sind jetzt zwei große Fenster aus dem 15. Jahrhundert eingesetzt. Der Chor war 1588 eine Ruine und wurde 1754 und 1926 teilweise wiederaufgebaut. Das Südschiff wurde wahrscheinlich im 14. Jahrhundert hinzugefügt. Das Südportal wurde im 19. Jahrhundert restauriert und hat drei ungewöhnliche Schilde in der Brüstung über dem Eingang. Diese zeigen das Lamm Gottes, das Gott den Sohn repräsentiert, JEHOVAH in hebräischer Schrift für Gott den Vater und eine Taube als den Heiligen Geist. Direkt westlich des Portals befindet sich ein früherer Treppenturm, der Zugang zum ehemaligen oberen Vorhallenraum oder "Parvise" bot. Das mit roten Ziegeln gedeckte Dach des Kirchenschiffs enthält eine Dachgaube nahe dem westlichen Ende, die Licht auf die Empore im Kirchenschiff bringt.

Das Taufbecken aus dem 18. Jahrhundert, direkt im Inneren hinter der Südtür, ist ein sogenanntes Vogeltränkenbecken, eine kleine, flache Schale auf einem Sockel. Drei Säulen aus dem 14. Jahrhundert mit vierblättrigem Grundriss bilden die Südarkade. An der östlichen befindet sich eine Messingplatte mit einer langen Inschrift für Lionel Throckmorton †1599. Auf der Orgelempore am westlichen Ende des Kirchenschiffs befindet sich eine Reihe von 1927 gemalten Schilden für die Diözese St. Edmundsbury & Ipswich, die Symbole der Evangelisten, das Symbol der Dreifaltigkeit usw. Am östlichen Ende des Kirchenschiffs befindet sich eine prächtige elisabethanische sechseckige Kanzel, die 1588 aufgestellt wurde. Sie hat tief geschnitzte quadratische Paneele und arabeske Friese. Die laudischen Altargeländer mit vielen dicht gedrehten Balustern, die verhindern sollen, daß Hunde den Altar betreten, stammen aus der Zeit um 1660. Die etwas seltsam aussehende Winkelpiscina stammt wahrscheinlich von der Restaurierung des Chors im 19. Jahrhundert.