三日後一早，有四個衙役帶著沈穆之上了一輛馬車，沒有給他上枷鎖。不久他們到了河渡口，換乘了搖櫓船。
船行約一個時辰以後，隻見水麵逐漸開闊，風帆隱隱，水鳥翔集，沈穆之覺得似乎行至了太湖。
午後小船靠岸，差役們又帶著他步行走了不少路，日落之前，來到一處湖邊，依舊坐船朝湖心島進發。
沈穆之忍不住問道“差大哥，咱們這是在哪裡？”
有個略和善的差役道“這裡是洞庭西山，此處湖心島上有個采石場，咱們正是要去采石場。”
沈穆之暗道自己應該能活命了，費了許多周折，把他弄到采石場，多半不要他性命。
此處原來是洞庭西山，他千裡迢迢，就為的要到洞庭西山投親，想不到自己會以囚徒的身份來到西山。
四個衙役把沈穆之交給采石場的差役就走了，沒有人來盤問他甚麼，差役發給他一身號衣，一雙蒲鞋，領他去指定的號房。
號房裡已經有了一個人，是個威風凜凜的大漢，赤腳睡在柴草堆上，這大漢不說話，也不欺淩沈穆之，沈穆之靠在角落裡縮了一宿。
第二天清早，差役們驅趕著號房裡的犯人們去采石場乾活，采石場裡管理不太嚴，大概是孤島四麵環水，沒有船出入，很難泅渡到對岸。
沈穆之發現，他與同號的那個大漢是被優待的，沒有差役盯著他們去鑿石掏方搬運，他跟在眾人後麵出點力就行了。
渾渾噩噩過了一兩個月，島上條件雖然艱苦，沈穆之因為有之前逃難流離失所的經曆，竟也忍受了下來。
轉眼歲聿其莫，一日差役們將他和同號的大漢叫起來，說柳府尊來了島上，要提審他們。
那大漢先進去，隔了很久才出來，垂著頭，麵無表情。
接著是提審沈穆之，柳府尊仍是遠遠地坐在堂前，許久未有的驚惶又壓迫著沈穆之。
良久，柳府尊冷冷問道“赤腳劉大跟你說過甚麼嗎？”
“赤腳劉大？哦？”沈穆之聽到這個陌生的名字楞了一下，隨即猜到就是指同號的大漢“他，從未與我說過話。”
“哦。”柳府尊與左右耳語一番，回頭對沈穆之說“赤腳劉大要是同你說話，你就牢牢記著。”
說罷拂袖離開。
如此一連三年，年底之時柳府尊就來提審他們一次，看樣子，並未得到滿意的答案。
島上差役對沈穆之的管束更鬆，他有時漫山遍野亂跑，晚上也隻能回到采石場。沒有食物和水，進出島嶼的船隻，他是逃不出去的。
同號房的劉大還是對他一言不發，他聽彆的號房的人說，這赤腳劉大是太湖大盜，凶名在外。
第四年夏天，有一日淩晨，號房前忽然傳來陣陣鳥叫，沈穆之自從豫章王府迎賓館事變後，睡覺就很警醒，他偷偷冷眼裡看著赤腳劉大，赤腳劉大顯得很焦躁，在號房裡踱來踱去，然後也模仿著小鳥叫聲，但是外麵的鳥叫聲又響起來。
號房門前衝過來兩個人，似乎是一男一女，他們舉著大刀鐵棍就來砍號門。
“二弟，三妹，你們快走，這個號房都是精鋼灌注，你們開不了的。”劉大撲到門前。
“大哥，你再挺一挺，我去抓幾個獄卒搶一把鑰匙。”那男的從號門的格子裡丟進來一把匕首，昏黃的燈火下，閃閃發亮。
“不可不可，驚動了獄卒你們就跑不了了，我被那狗官灌下了毒酒，早就武功儘失成了廢人，根本不可能逃出去。”
那女的慘聲道“大哥，我們同生共死。”
門外漸漸腳步聲雜遝起來，差役們大概發現有情況，紛紛趕過來。