De Zwartendijk werd aangelegd in 1387 om de stad Kampen vanuit het westen te beschermen tegen overstromingen vanuit de Zuiderzee. Er bestaat echter een mogelijkheid dat een deel van de Zwartendijk al rond 1370 aanwezig was. In het noorden bestond reeds de St. Nicolaasdijk, terwijl verder naar het zuiden ook de Slaperdijk en Veenedijk al aanwezig waren. De Veenedijk strekte zich uit tot aan de IJssel.
In de vijftiende eeuw bevonden zich drie sluizen in de Zwartendijk, waardoor de landerijen in het Haatlandt en de Grote Burgerweide het binnenwater konden afvoeren. In 1628 werd de Zwartendijk, die inmiddels een binnendijk was geworden, opgeknapt. De kruinhoogte bedroeg destijds 2,60 meter, terwijl deze bij de kolken 3,13 meter was.

In 1672 werd besloten om bepaalde delen van de Zwartendijk en de Blankenhammerdijk af te ronden, waardoor ze een slepende vorm kregen. De vele wielen in de Zwartendijk zijn een overblijfsel van de talrijke overstromingen zowel vanuit het westen, dat wil zeggen, de Zuiderzee, als vanuit de IJssel.
De dijk heeft in de loop der jaren weinig wezenlijke veranderingen ondergaan en heeft daardoor grotendeels zijn middeleeuwse karakter behouden.