其名由來，眾説紛紜，一説孤山之路到此而斷，故名；一説段家橋簡稱段橋，諧音為斷橋；一説古石橋上建有亭，冬日雪霽，橋陽面冰雪消融，橋陰面仍然玉砌銀鋪，從葛嶺遠眺，橋與堤斷之感，得名“斷橋殘雪”。傳説白娘子與許仙斷橋相會，確為斷橋景物增添了浪漫色彩。也有人説，南宋王朝偏安一隅，多情的畫家取殘山剩水之意，於是擬出了橋名和景名，後一種説法似更為可取。
