梁山泊のあった現在の山東省西部は
黄河によって形成された海抜ゼロメートル以下の内陸低地であり、一帯は古くから黄河の氾濫が繰り返されることによって無数の水路と沼沢が生まれた。特に
五代十国時代の
944年の黄河の氾濫のとき堤防が決壊して河水が流れ込み、この地には大沼沢が生まれた。梁山泊の名があらわれるのは五代から
北宋の頃で、近くに梁山という名の山があったことから梁山泊と呼ばれた。
梁山泊近辺に横行した反抗者の中でも、北宋末期の
12世紀初頭に
河北で蜂起し山東一帯で10郡を制圧した
宋江の反乱軍は猛威をふるった。
14世紀の
元の時代に編纂された『
宋史』侯蒙伝には、「宋江 京東に寇す」「(宋)江 三十六人を以(ひきい)て
斉・
魏に横行し、官軍 数万なるも敢えて抗する者無し」とある。まもなく宋江の反乱は鎮圧されるが、やがてこの史実をもとに、梁山泊に宋江以下36人のアウトローたちが立てこもる物語が生み出され、
明の初め頃に、梁山泊に集う108人のアウトローたちを主人公とする小説『水滸伝』へとまとめられた。