In direkter Nachbarschaft der Lutherkirche, in der Hauptstraße, befindet sich das Pfarr- und Gemeindehaus der Lutherkirchengemeinde. Die Fassade ist denkmalgeschützt. Hier befinden sich der große und kleine Gemeindesaal. In diesen Räumen treffen sich regelmäßig die Gruppen und Kreise der Gemeinde, tagt das Presbyterium und bei Veranstaltungen in der Fußgängerzone öffnet hier das Luthercafé. Eine kleine Küche zur Beschickung der Gemeinderäume schließt sich an.

Jeden Sonntag, parallel zum Gottesdienst in der Kirche, findet im kleinen Gemeindesaal der Kindergottesdienst für Kinder ab drei Jahren bis zum Eintritt in die Konfi-Zeit statt.

Über den Gemeinderäumen sind das Pfarramt 2 Süd, die Pfarrwohnung und eine Privatwohnung untergebracht. Darunter, mit direktem Zugang zum Spielhof, befinden sich Räume der Lutherkita.

Erbaut wurde das Gebäude als Garnisonsschule für die Kinder der landgräflichen Grenadiersfamilien. Im Erdgeschoss waren die vier Klassenzimmer untergebracht. Später wurde diese Schule zur Lateinschule umgewandelt und ist somit als Vorgänger des heutigen Immanuel-Kant-Gymnasiums zu sehen. Danach wurde das Gebäude Sitz des Protestantischen Dekanates.  Nach dem Wiederaufbau 1955 kam das Protestantischen Gemeindeamt wurde. Erst nach dem Wegzug des Gemeindeamtes wurden die Räume im Erdgeschoss zu den heutigen Gemeinderäumen.

Die Toilettenanlage im Pfarr- und Gemeindehaus ist für Gottesdienstbesucher zugänglich.