Nördlich der Stadtkirche befindet sich das Pfarrhaus mit angebautem Konfirmandensaal. Hier wohnte früher der „Oberpfarrer“ der Stadt Lauterbach. Das Haus wurde im Jahr 2010 umfangreich baulich und energetisch saniert.
Das Haupthaus ist lt. Denkmaltopographie vermutlich Anfang/Mitte des 17. Jahrhunderts erbaut worden. Es ist möglich, dass es sich hierbei um das 1650 wiederaufgebaute „auf dem Kirchhof an der Mauer stehende Altaristenhaus zu Unserer Lieben Frau“ handelt. Das Gebäude ist zweigeschossig und zum Schutz der Fachwerkfassade komplett verschindelt. Als Besonderheit befindet sich im Innern eine mehrgeschossige Treppenspindel aus einem Stamm.
Der eingeschossige Anbau mit dem im Erdgeschoss befindlichen Konfirmandensaal wurde 1905 erbaut. Beide Gebäude sind unter anderem durch tonnengewölbte Kellerräume miteinander verbunden.