因其孤身一人，神出鬼沒，相貌可怖，凶殘非常，便成為了“宛如誌怪傳說”一般的存在，可止小兒夜啼，當時鯁水邊漁人皆道“勾魂鬼，索命鬼，不如鯁水船上鬼”，可見歸四通的形象有多麼不堪，又令人汗毛倒豎，毛骨悚然。
當然，歸四通也不是生下來就學會了劫江的勾當，反而他走上這條路，和他的出生不無關係。
興祚六年，鯁水邊上瀏溪鎮中姓劉的大戶家生下來了一個醜兒，渾身皮膚皺如老人，麵目更是慘不忍睹。
按理來說生下來個醜孩兒也不算什麼，畢竟長相這玩意兒是天定的，有美就有醜，長得醜又不是不能活。
但壞就壞在，這醜孩兒降生之後，劉家是禍事不斷，先是孩子的母親生下孩子不久之後便暴病而亡，再然後就是家中的管家坐船時翻了船淹死河中，直到醜孩兒六歲的兄長失足掉進井裡摔死之後，劉家的老爺終於坐不住了，最後他請來了一個方士驅邪，以盼保佑家中平安。
這個方士呢，也不知道是真的能掐會算，還是靠著一張嘴招搖撞騙，總之他便斷定一切的禍端都是自這個醜孩兒而起，隻要這個醜孩兒沒了，劉家的“禍根兒”也就斷掉了。
人都說虎毒不食子，但劉老爺畢竟更在乎自己的性命。他年富力強，再找個漂亮女人生個漂亮孩子也不是什麼不可能的事情，何必在乎這個給自己帶來不幸的醜八怪呢？於是他便聽從了方士的話，把這醜孩兒扔到了鯁水裡溺斃。
醜孩兒是無辜的，所以他奇跡般地活了下來，順流而下漂到了鯁水下遊一處村莊附近。
真是他命不該絕，恰巧被這村莊中一對老來無子的夫婦撿到了，這吉利村雖然也在鯁水邊上，但兩地離得甚遠，他們又怎麼會知道這孩子是“不幸的象征”，一想到自己半生都無子嗣，這孩子雖然其貌不揚但也算天賜之喜，便將這醜孩兒當作自己的孩子收養下來。
同樣一個孩子，在老劉家是“不祥之兆“，到了老歸家就成了”報喜鳥“，就在醜孩兒被收養的幾年後，歸夫人竟然有喜了，而小兒子也平安誕生——歸氏夫婦覺得這正是這個醜孩兒帶來的好運，不但沒有拋棄這個養子，還愈發地對醜孩兒關懷備至，為他和弟弟分彆取名為“四通”和“八達”。
然，歸氏夫婦雖格外關心歸四通，但歸四通是撿來的野孩子這件事卻瞞不過鄉裡鄉親，再加上他的相貌醜陋，所以同齡的孩子們經常欺侮他，嘲笑他是個“醜八怪”、“野種”。
與此同時發生的是，劉家的厄運仍舊沒有斷絕，劉老爺本以為送走了醜孩兒，自家就沒這麼多幺蛾子事情了，便納了一個年輕貌美的女子為妾，日日洞房，盼著能給自己生下來一個大胖小子來。
但幾年過去，新媳婦不但沒有任何生育的跡象，劉老爺的身體卻是愈發的衰弱，瀏溪鎮便有了傳言說劉老爺要不行了。直到有一日他在行房事的過程中無端吐血，幾曾仙去，據家中下人所說劉老爺昏迷的這幾天臉上黑氣衝天仿佛火場濃煙，這一下子可是給劉老爺嚇壞了，急忙來找大夫來看，但大夫又都說不出個所以然來，於是劉老爺再一次把希望投入到方士身上，盼著神仙救他一命。
當年的方士可能是因為煉丹給自己毒死了，來人是他的徒弟。徒弟隨師父，總之就是扯了一大通有的沒的之後說了一句：“你家的醜孩兒可能還沒死，所以禍根苗才沒斷絕。”
聽完這話之後，這劉老爺可謂是急火攻心，差人在四郡八縣十裡八鄉調查過之後，最終找到了歸氏夫婦，希望能“買回這個孩子”。
說是買回來，實際上就是要買回去之後親手弄死，歸氏夫婦雖然不知道這背後有什麼門道，但當親生兒子養了這麼多年的孩子怎麼可能說賣就賣？歸四通本人也更願意留在自己的養父母身邊。
但這無疑是劉老爺不願意接受的局麵，所以他一咬牙一狠心，便下令讓人硬搶，搶不到就算是冒著犯法的罪過也不能留醜孩兒在世上。
最後，歸家活下來的隻有歸四通一個人，他跳進鯁水裡藏了兩天兩夜，渴了便大灌江水，餓了便生吃魚蝦，唯獨不敢合眼。
年過六十的老父母和不到三歲的小弟弟慘死的景象在他眼前一遍一遍地掠過，怎可忘之？怎可休之？
冰冷渾濁的江水泡傷了他的雙眼，日光之下歸四通幾乎目不能視，但在夜晚和水中他的眼睛比誰看的都要清楚；江水泡腫了他的身軀，他全身如溺斃的屍體一半發白浮腫，但浮腫消去之後他發現自己竟然已然無師自通地打開了氣脈。
但他倒是想用自己這一身的“特異功能”，來換老頭老太太回來。
歸四通沒有朋友，他有的除了已經死去的親人外隻有仇人。吉利村裡的孩子說他是野種，瀏溪鎮中的鎮民傳他是怪胎，就連親生父親也視他為禍根，欲殺之而後快。
他所信任的隻有這江冷水。
瀏溪鎮中姓劉的大戶被人滅了滿門，鎮民口口相傳是當年的醜孩兒化作厲鬼索命；鯁水之上多了一艘行跡詭秘的鬼船，無人能在遭遇這艘鬼船之後生還。
船鬼歸四通，就在這無數個夜晚，用他心中無處宣泄的憤怒報複這個讓他覺得恐懼的人間。
歸四通其實也並不是一個沉默寡言的人，隻是他的相貌讓他自卑，他的經曆又讓他內向。他也有話很多的時候，但通常都是在他的烏篷船中，對著他眼前將死的人，講述他的故事。
“你覺得，我這樣的人該死麼？“這句話，通常作為歸四通一席話的收尾。
他並不在乎對方的答案是該死還是不該死，他隻是想問一問，或許是他真的想和人交流一下，哪怕是馬上要被自己殺掉的人。
“啊……我覺得你是該死的，但不是該死在你小時候，而是現在。”船上的青年沉穩如一尊洪鐘，“難道你不覺得，你活的很可悲麼？”
青年沒有給歸四通反應的時間，緊接著繼續說道：“我不是佛，不是仙，無意於勸人向善放下屠刀，隻是覺得你所做的事情沒有意義而已。”
“既然你已經報了自己的仇，為何又沉溺在過去的仇恨之中呢？為何又遷怒於那些如孩提時的你一般的無辜之人呢？”
“如果你覺得世道不公，大可去改變這個世道；如果你覺得心如死灰，不如找一堵牆撞死。”
“醜陋的不是你天生的相貌，而是你如今千瘡百孔的心。”這宛如心靈雞湯一般的話語好像每個人都能說出來，但不是每個人都有機會在和歸四通交手之後活著說出來，“我之所以不殺你的原因，不是因為我講究什麼慈悲為懷，也不是因為我認同你的所作所為，隻是因為我不會劃船，如果沒有你渡我過江，那我殺了你自己也得餓死在船上。”
“但是……渡人不如渡己，你覺得呢？朋友。”
這句“朋友”，也未必是這人的真心之語，聽上去更像是一句口頭禪，但這是歸四通生平第一次聽到有人這麼稱呼自己。
歸四通在那人下船之後便頭也不回地鑽進江水裡逃走了，而這個說了一大通心靈雞湯的人也沒有再追到水裡。
又過了許多年後，他又一次乘上了歸四通的船，此時的他無論是相貌還是名字都變了，但歸四通還是一眼就認出了他。
雖然他那雙蒙著白翳的眼睛在光下看不清楚，但在夜裡卻比常人看的更加久遠、清晰。
“幾年前我渡了你，今日你也渡我一次可否？”這話說得有些奇怪——當年明明擺渡是歸四通，青年隻是一個乘客。
但顯然他說的也並不是表麵上的事情。
“雖然如今的你是四海幫中的頭目。”喜歡叫人朋友的青年笑了笑：“但想必幫朋友一個忙也不算什麼難事吧？你覺得呢？朋友。”