七月，楊再興召心腹諸將入府，酒酣之際，慨然道：“諸兄弟，為兄累於王事久矣，今欲暫歇，往海外一遊，可有願意隨行地？”
眾將譁然，雖不能盡知其詳，卻個個相勸，都力阻其遜退之舉，然楊再興主意一定，再難更改，一時間應者如潮，都道願意出海相隨。靖康帝聞訊，出宮往楊府苦勸，道：“楊卿一旦舍朕而去，如何讓朕心安，朕寧可禪位予愛卿，亦不願見卿遊於海外！”
楊再興以頭叩地，慨然流淚道：“陛下，臣愚昧不堪，不能治國事，然此事實為臣一點私志，願陛下莫相強！”
靖康帝不忍，號泣而去。
七月間，楊再興辭了諸般職務，率家小出海，王蘭、高林等誓死相隨，柔福在宮中與靖康帝哭了兩日方別，但懷南卻不肯離去，死活要與皇上同住，楊再興無奈，道：“孩兒既然如此，便交與皇上管束，異日好生跟洪先生學為人之道，勿壞某家門可矣！”
洪皓其時已經領北京相位，慨然允諾，只有柔福大一場，不肯將懷南舍下，卻又身不由己，只得隨楊再興赴津門碼頭上船去了。
數年之後，鴿書傳來，王蘭、高林、阮漓等率懷南市舶司水軍三萬，戰船數百艘，攜河北及流求中土百姓數萬，歷經艱難，途中經過黑股之國，無邊之洋，到了一處大陸地，其景美不勝收，絕無人煙，楊再興遂命其�