Molen d’ Olde Zwarver werd in 1842 gebouwd nadat zijn voorganger was afgebrand. In 1952 moest de molen worden verplaatst vanwege de uitbreidingsplannen van de plaatselijke melkfabriek “Van Heel’s Gecondenseerde Melk Maatschappij”. Aanvankelijk werd overwogen om de molen te slopen, maar dit stuitte op verzet onder de bevolking. Op dat moment was het aantal molens in Nederland al aanzienlijk gedaald, en deze molen was de laatste in Kampen.
Geschrokken door de reacties bood de fabriek aan de molen over te dragen aan de gemeente Kampen. Er werd een nieuwe locatie gevonden aan het Herkenhoofd, relatief dicht bij de oorspronkelijke plek. Om de molen in zijn geheel te verplaatsen, werd een uniek plan bedacht, aangezien dit nog niet eerder was gedaan.
Op 7 april 1952 vond de spectaculaire verhuizing plaats onder grote belangstelling, zowel uit binnen- als buitenland. De molen werd op een dieplader met 48 wielen naar de huidige locatie langs de IJssel gebracht. Aan deze bijzondere gebeurtenis dankt de molen zijn naam “d’ Olde Zwarver”.