De Koornmarktpoort, daterend uit de 14e eeuw, bevindt zich in het gebied dat ooit ommuurd was tussen de Oudestraat en de IJssel. In dit gebied waren drie grote poorten te vinden: de Koornmarktspoort, de Vispoort en de Louwenpoort.
Om de groeiende bevolking op te vangen, werd in 1462 besloten om het gebied tussen de Vloeddijk en een daarachterliggende wetering binnen de stadsmuren te trekken en opnieuw te ommuren. De nieuwe muur had een indrukwekkend aanzien, met een hoogte van ruim 6 meter en een dikte van bijna 2 meter. Naast dertien muurtorens werden er vijf grote toegangspoorten gebouwd: in het zuiden de Venepoort, in het westen de Cellesboederpoort, de Broederpoort en de Kalverhekkenpoort, en in het noorden de Hagenpoort. Uiteraard behielden ook de Koornmarktspoort, de Vispoort en de Louwenpoort hun functie.

Van de vele poorten zijn alleen de Koornmarktspoort, Cellesboederpoort en de Broederpoort behouden. De Cellesboederpoort en de Broederpoort zijn in de 17e eeuw gemoderniseerd onder leiding van Thomas Berendtsz.