舜江楼在余姚县城风雨数个世纪，历史的印记使之具有了金质的文化沉淀。据记载，舜江楼初建于元代至元年间，由当时余姚州判叶恒设计。楼上置有用水滴漏来记时刻的刻漏， 故又被称为鼓楼。到了明代嘉靖年间，倭寇多次侵扰余姚，舜江楼就成为控倭西进的制高点。现存舜江楼建筑于清光绪十一年（公元1885 年）重建，楼上置铜钟作火灾报警和报时之用 。