绍圣元年（1094）四月，章惇正式拜相，同月，朝廷诰下：苏轼“责知英州（今广东英德）军州事”，罢龙图阁、端明殿双学士。这是章惇的第一步。

　　那时的广东，即是荒凉的岭外，贬到那儿去是个什么意思，苏轼心知肚明。他上《英州谢表》：“幼岁勤劳，实学圣人之大道，终身穷薄，常为天下之罪人。”满纸悲怆，龙颜不闻。责知，是要即时启程的，更不可能玩着走。一家老小，悲痛上路。月末，过汝州，看望已抵贬所的弟弟，兄弟二人黯然以对，叹“章七得势也！”五月，抵南郡，第二道谪命至：“降官为左承议郎”，从七品，而后数日，三改谪命，一道比一道狠。六月，过当涂，最后一道谪命来：“苏轼，责授建昌军司马，惠州安置，不得签书公事。”

　　“许国心犹在，康时术已虚。”负罪之臣，空怀一颗许国之心，又能如何？“犯三伏之毒暑，陆走炎黄四千余里。”此行，各种悲情不忍细谈。苏轼晚年的艰难，就从这里开始。

　　“犯三伏之毒暑，陆走炎荒四千余里。”四月的天气已是大热，苏轼担心或要死在路上。他状奏朝廷，恳请哲宗念着八年师生之情，准他坐船前往。启程时，眉山老乡杨济甫派儿子杨明专程赶来相送。杨明略懂些“术数”，大约就是算命的法子。他盯着前辈看了一会儿，断言苏轼绝不会死在岭外。苏轼挺高兴，表示若应了他的话，就手抄一本《道德经》送给他。

　　米芾也差人来了，一路上朋友关切挺多，也不一一详述。苏轼答书：“平生不知家事，老境乃有此苦，蒙仁者矜愍垂诲，奈何，奈何。入夜目昏，不谨。”这样的语言，不避哀愁，但持续乐观，很难具体描述。借东坡自己的话，“一蓑烟雨任平生，也无风雨也无晴。”

　　苏轼做了一辈子官，在汴京处高位，依然两袖清风，他倒是攒些钱才好呢。苏辙拿了七千俸禄交给苏迈，让他领着家人往宜兴，置些田地过活。其实苏辙也不富裕，何况他孩子多，花销大。在临汝，兄弟相聚不过三四天，前途皆是雾霭重重，没太多话好说，不过各尽所能，协力共勉。

　　舟行慈湖峡，遇大风，不能行。这条水路，是当年韩愈贬潮州时走过的。苏轼停在船舱里，静观船外风雨，写下《慈湖峡阻风五首》。“暴雨过云聊一快，未妨明月却当空。”乐观，自信，生命的向度尤其清晰，几十年始终如一。任它朝局纷乱，仕途沉浮，而一时之风雨，怎能淹没这永恒的明月。九百多年过去了，或有所谓学者执着于北宋末年的你争我夺，凭他们说去，但苏东坡的形象，早已被定格了。

　　六月，过当涂县，将往岭南炎荒。苏轼遣散家伎，大难临头各自飞，别跟着自己受苦。所谓家伎，不过数人而已，苏轼在汴京便如此，他本不好这个，“性不昵妇人”。有一人如何都遣不动，就是朝云了。她也很明白，随着爱人，“身赴死地亦心安”。此间朝云32岁，苏轼58岁。“不似杨枝别乐天，却如通德伴伶玄。”苏轼作《朝云诗》，并引：“予家有数妾，四五年间相继辞去，独朝云者随予南迁……”

　　大孝子苏过，爱妾朝云，同苏轼一行三人赴岭南。九月，过大庾岭，弟子张耒派来两个士兵王告与顾成，力保苏轼一路平安。十月，苏轼抵惠州。