卫律见苏武不屈服,只得向单于报告。单于见苏武很有气节,十分钦佩,更想招降他。于是把苏武囚禁在一个大地窖里,不给饮食,苏武只得嚼雪止渴,用毡毛充饥。后来单于又将苏武移到北海荒无人烟的地方,逼迫他牧羊。北海在今苏联境内的西伯利亚的贝加尔湖一带。苏武到了北海,匈奴停止了对他的食物供应,他只得觅野鼠掘草根充饥。在这荒漠上,除了丛生的野草,就是漫天的风雪,终年见不到一个人影。苏武抱着代表汉廷的旄节牧羊,无论坐卧行走都拿着汉节。岁月一天天流逝,节杆上缀的三重旄牛尾都落尽了。
十九年过去了,苏武历尽艰辛,终于回到自己的祖国。他出使还是壮年,及至归国,头发胡须全白了。岁月改变了他的容颜,却改变不了他忠于祖国的赤子之心。