Das Museum wurde im Jahr 1907 vom damals gegründeten "Verein für Heimatkunde in Wilhelmsburg" ins Leben gerufen. Die ersten Sammlungsstücke fanden Aufstellung in einem Raum des Rathauses, das 1903 gebaut wurde. Zu damaliger Zeit hatten sich viele Industriebetriebe im Reiherstiegviertel in der Nähe des Hamburger Hafens niedergelassen. Bauernhäuser und Katen mussten weichen, um Wohnraum für die Beschäftigten der Betriebe zu schaffen. Dabei fielen viele alte Möbel, Kleidungsstücke und Geräte an. Antiquitätensammler gab es kaum. So konnten die Vereinsmitglieder wertvolle alte Stücke bergen und der Nachwelt erhalten. Das von Bürgermeister Menge zur Verfügung gestellte Zimmer im Rathaus war bald prall gefüllt. Nach dem Bau des Wasserturms 1911 wurde die Sammlung dort in einem Obergeschoss untergebracht. Als im Jahre 1942 der Wasserturm geräumt werden musste, gelangten die Museumsstücke auf den Boden des Amtshauses in Kirchdorf. Seit mehr als 50 Jahren ist das Museum in den Räumen des alten Amtshauses untergebracht und erfreut sich großer Beliebtheit.

Das Amtshaus wurde auf den Grundmauern es „Adeligen Sitzes Stillhorn“ errichtet, eines Schlosses der Groten, das wegen Baufälligkeit abgerissen werden musste. Der Gewölbekeller von 1620 sowie Teile vom Burggraben des Schlosses sind noch vorhanden und können besichtigt werden. Das Amtshaus steht unter Denkmalschutz und bildet mit der Kreuzkirche, dem Dorfkrug sowie alten Häusern das Milieuschutzgebiet Kirchdorf.