Bij de aanvang van het kadaster in 1832 werd de uit 1777 daterende hervormde pastorie (de voorgaande was bij de grote stadsbrand in de as gelegd) geregistreerd in sectie D-580, als huis en erf, eigendom van de hervormde gemeente te Gramsbergen.
Iets ten noorden van de oude pastorie lag een tuin van burgemeester en notaris Willem Swam. Het werd in 1832 geregistreerd als sectie D-581. Op dat perceel verrees in 1862 een nieuwe pastorie. De nieuwe pastorie werd dus niet gebouwd door de hervormde kerkgemeente, maar in erfpacht verkregen.
President-kerkvoogd Albertus François Stroink, ook burgemeester van Gramsbergen, heeft zich enorm voor de bouw van de nieuwe pastorie ingezet. Ook zorgde hij ervoor dat de hervormde kerk uitwendig zeer werd verfraaid, net als de omgeving ervan.
Legger 1161/73: Sectie D-1607. Pastorie, erf en tuin. In 1864 verkoop. Over op:
Legger 1483/2: Sectie D-1607. Pastorie, erf en tuin. Eigendom van notaris Willem Swam en kinderen. Erfpachter: de hervormde kerk te Gramsbergen. In 1876 boedelscheiding. Over op:
Legger 2154/1: Sectie D-1607. Pastorie, erf en tuin. Eigendom van kandidaat-notaris Gerhard Jan Swam en echtgenote Geziena Gewald. Erfpachter: de hervormde kerk te Gramsbergen. In 1895 verkoop. Over op:
Legger 2034/3: Sectie Sectie D-1607. Pastorie, erf en tuin. Eigendom van de hervormde gemeente te Gramsbergen. Huisnr. A-36.
In 1949 vereniging van percelen. Over op:
Legger 2034/10: Nieuwe sectie D-3331. Pastorie, erf en tuin.
In 1958 verleende de gemeente Gramsbergen vergunning voor vervangende nieuwbouw. In 1963 hermeting. Over op:
Legger 2034/14: Nieuwe sectie D-3762. Huis en tuin aan de Kerkstraat. In 1966 verkoop deel van perceel. Over op:
Legger 2034/15: Nieuwe sectie D-3837. Huis en tuin aan de Kerkstraat. In 1978 vereniging. Over op:
Legger 2034/23: Nieuwe sectie D-4319. Huis en tuin aan de Kerkstraat.