后来宋朝原来的状元，宰相留梦炎，投降了元朝后，又竭力向朝廷推荐谢枋得，谢枋得对留梦炎的投降变节行为非常不满，写了一封信对留梦炎进行痛骂和谴责，在信中竭力指责说，作为江南德高望重的知名人士，竟然不顾名誉和羞耻，这样做，名节不但无法与古人相比，就是和周朝末年的人物行为相比，也相去甚远，比如瑕吕出于道义，抚养外甥，程婴和杵臼为了道义，抚养士兵，留梦炎根本无法和那些人物相比，真令人无地自容之类的话。
留梦炎读了谢枋得的信件，感到非常羞愧，多亏久经官场历练，脸皮非常厚，经受得了羞辱和谩骂。认为只要自己能够当官发财，高官得做，骏马得骑，牺牲一点名节也无所谓，谁喜欢谩骂，就由他笑骂去罢，不管社会舆论如何谴责，依然我行我素。他真是茅坑里的石头，又臭又硬，真拿他无可奈何。
留梦炎收到谢枋得的来信后无可奈何，许多时候，命运是无法由个人控制的，是谁让留梦炎担任过宋朝的显赫大官状元宰相呢！好事变坏事，现在让他成为众矢之的，进退两难，任人嘲讽。我们在这里明确他的显赫头衔，都不能不为他感到羞愧。
那时刚好遇到一个名叫天祐的参政官员，听说元朝朝廷寻找民间的贤良人才，就假装请谢枋得进入城市的家中卜易，以预测未来事件的吉凶。谢枋得当时不知道那是一场阴谋，出于职业习惯，也是生计所需，就到天祐的家中去卜易，到了天祐的家中以后，天祐天才明确告诉他请他到家的真实目的，劝说他到北方去，向元朝投降，效忠元朝。
谢枋得听了天祐的话，也没有明确答复，天祐好不易捉到了一条向元朝廷邀功请赏的大鱼，自然不会轻易放过谢枋得，对他百般劝告，耐心说服，不达到目的绝不罢休。
天祐对谢枋得很有耐心，对他的傲慢态度极度容忍，谢枋得偏偏得理不饶人，天祐对他越谦恭，他就越傲慢，越放肆，弄得天祐非常难堪，下不了台阶。名人自有名人的气度，谢枋得完全是有意如此，让天祐难堪。
天祐对谢枋得万般无奈，点将不如激将，就对反唇相讥说：“自古以来，朝廷的封疆大臣，都应当保家卫国，为国土和民众而死。你身为宋朝的大臣，国家都灭亡，你为什么不以死来报效国家，还这样忍辱偷生地活着，真是厚颜无耻！”
谢枋得回答说：“历史上的程婴和公孙杵臼，两个人都对赵姓王朝非常忠心，竭尽全力。程婴保护和养育了赵性的孤儿，杵臼却为了赵家慷慨就义，献出了生命。王莽篡夺汉朝政权的时候，汉朝的忠臣龚胜就坚持自己的气节，最后宁愿饿死，也决不屈从。汉代的史学家司马子长曾经说过：死有时会重于泰山，有时却轻于鸿毛。唐代的韩退之也说过，一个人的功过是非，只有等到他死亡以后，盖上棺材才能对他进行公正的评定，像你这样毫无气节的参政官员，哪里有资格说这样的话？”
天祐对谢枋得说：“你所说的这些，都完全是强词夺理，无稽之谈！”谢枋得说：“古代的张仪曾经对苏秦的手下人说：‘苏秦现在志得意满，高高在上，自古以来，强权就是公理和正义，我现在无论说什么都是多余的，一点用处也没有。’今天也你这位参政官春风得意的时候，我谢枋得说什么都是多余的了，我也不想多说什么了！”
天祐对此非常愤怒，看见对谢枋得来软的不行，就来硬的，强迫命令手下的军士把他捆绑起来，把他抬着送到了北方。
谢枋得临行的时候，许多老朋友都知道他此这次去后，都是凶多吉少，对他依依不舍，不约而同，前来与他送别，写下来赠送给他的诗歌和文章非常多，把行李都装满了。
在谢枋得接收到的送别诗歌中，只有张子惠的写的诗显得最诚挚和真诚，其中有两句写最好：“此去好凭三寸舌；再来不值半文钱！”告诫谢枋得出于意气之争，信口开河，为自己招来祸患，你这次到朝廷里去，恐怕是凶多吉少了。对谢枋得评价真是入木三分，最恰当不过了，的确也是人生的至理名言，让人们永远记取。
谢枋得读了这句诗，深有感触，不禁叹息起来，说：“多蒙老朋友的规劝，有如醍醐灌顶，让我茅塞顿开，知道了自己过去犯下的过失，我将作为前车之鉴，永远铭记在心！”
从此谢枋得无可奈何，只得听天由命，安静地躺在轿子里睡眠，任凭那些轿夫抬着他赶路。他在路途中凡是遇到随行人员向他送饭的时候，他却一点也不吃，彻底绝食，他这样饿了二十多天，但是都没有饿死，真是少见的奇迹。
渡过大江以后，随行的随行人员也多次劝说他吃东西，他这时也难免犹豫起来，他这时为什么要犹豫呢？我们也不难想象。谢枋得又稍微吃了一些蔬菜和水果。
到了元朝的都城燕京以后，这时谢枋得已经疲惫不堪了。但是他还是打起精神，站起身来，立即询问宋朝原来太后居住的地方，以及宋朝原来的大臣瀛国公的住处。
谢枋得到了元朝的都城燕京后迫不及待，就匆匆拜见宋朝原来皇室的贵族和大臣，见面后谢枋得诚恳地多次跪拜，失声痛苦，情真意切，充分体现了他的爱国情怀和高风亮节，真让人感动。这时人们才明白，谢枋得在路途中对吃不