Das einstöckige Herrenhaus mit dem wappengeschmückten Barockportal wurde im Jahr 1738 nach Plänen des Baumeisters Michael Spanner (Erwitte) erbaut, der auch das Kloster Grafschaft, das Abteigebäude in Kloster Liesborn und das Alte Rathaus in Rüthen errichtete.
Seit 1912 ist Haus Almerfeld im Besitz der Familie von Spee .