鹹豐二年，彭玉麟的母親去逝，他在家為母丁憂，曾國藩得知其才能，請其出山，為湘軍做事，彭玉磷同意。他在衡州與曾國藩創辦湘軍水師，鑄造火炮，製造大船，製船製營製章程。
鹹豐四年，也就是今年年初，湘軍衡州船廠畢工。是時，湘軍水師初具規模，有湘勇五乾人，被編為十營，其中在湘潭的有四營，以褚汝航、夏鑾等為營官；在衡州的有六營，以彭玉麟、楊嶽斌等為營官。當時其餘九營多為武員，奏事都要倚仗彭玉麟，於是彭玉麟成為了實際上的水師領導者，“草創規製多所讚畫”。
後世都說彭玉磷是湘軍水師的締造者，同時滿清海軍也是湘軍水師演變而來，所以說彭玉麟也算是滿清水師的創始人，是中國近代海軍的奠基人。
其實，彭玉磷不過是擅長做事，他並沒有專門學習過海軍知識。營造戰船的條目不過都是從書上學得。
但是他督造的戰船，結構堅固，樣式統一，還有不同類型、不同功能的戰船。比那些野路子要強多了。
然而跟班算不上什麼海軍，隻能算是老式的水軍。
不久後，曾國藩發布《討粵匪檄》，督湘軍水師、陸師共計一萬七乾餘人，自衡州啟程，開始北伐。
不久後，太平軍石祥禎部擊敗曾國藩湘軍，再占嶽州，湘軍水師往長沙撤退。
與此同時，太平軍林紹璋部攻占了湘潭，長沙也被圍困，湘軍大本營被威脅。
曾國藩召集諸營官議戰守，推彭玉麟決策。彭玉麟支持左宗棠的觀點，力主以主力攻打湘潭。
按照彭玉麟的規劃，曾國藩派褚汝航領湘軍水師五營馳赴湘潭，助塔齊布所率陸師攻打西征軍。
但他違背彭玉麟事先的規劃，自督戰船四十艘、陸勇八百，合鄉團進攻靖港太平軍，水陸俱敗。
曾國藩羞憤投水自殺，左右援救以出。
不過就在靖港兵敗的同日，彭玉麟分領的一營水師進至近湘潭十裡，偵知塔齊布陸師已大勝，於是相約水陸循城進攻，儘焚太平軍輜重。
城中守軍倉卒無計而棄城逃跑。湘軍一舉收複湘潭，不僅解了長沙之圍，且使曾國藩重新拾回東征的信心。
這是湘軍出師以來的首次告捷，使交戰雙方的攻守態勢從此開始改變。
此戰後來被李秀成指斥為“林紹璋在湘潭全軍敗儘”，是天朝十誤之一。
這是彭玉麟的軍事才能、膽識謀略的初露鋒芒，他被朝廷敘功任為知縣。
六月，彭玉麟等率水師再攻嶽州，太平軍據守南津抵禦。彭玉麟與楊嶽斌分彆埋伏在君山、雷公湖，派小舟引誘太平軍船隊出戰，然後伏兵四起，擊毀太平軍船隻一百餘艘，並多次擊退其反攻。
之後，湘軍水師對擂鼓台發起進攻，彭玉麟與楊嶽斌各自乘著舢板衝入數量上遠超於己的太平軍船隊，燒其坐船，迫使太平軍救援坐船，被湘軍擊敗。
此役中，彭玉麟手指受傷，流出的血染紅了襟袖，軍中都認可他與楊嶽斌的勇敢謀略。
隨後，總兵陳輝龍等率廣東水師等新軍抵達，軍容強盛，彭玉麟“偕諸營從觀戰”。太平軍韋俊等部反攻嶽州，陳輝龍、褚汝航、夏鑾等率湘軍水師下駛抵禦，輕敵中伏。陳輝龍、褚汝航、夏鑾先後受傷落水身亡。
彭玉麟、楊嶽斌駕駛舢板前往援救，奮力作戰，也兵敗退走。自此之後，湘軍水戰全靠彭玉麟、楊嶽斌。
就在這個時候，護衛軍拿下廣西，出兵占領永州，湘軍的後院起火，曾國藩留著樣嶽斌率領湘軍水師，隨他戰於武昌、九江。而將老成持重的彭玉磷派到衡州，再募十營水師，駐守衡州。
水師的駐地放在衡陽，彭玉麟於上遊的鬆柏、江口設置水軍營寨。
護衛軍雖然偶爾騷擾，但是並未有大舉進攻的意思。
期間，彭玉磷還派出細作，從山間下路進入永州偵查。
細作扮作走街串巷的貨郎，在永州各地活動。
他們竟然見到大量的護衛軍放下了武器，拿起農具在幫助永州的百姓恢複生產，他們協助百姓修整溝渠，加固梯田。
想象中被亂匪占據之後，生靈塗炭的現象絲毫沒有出現。
細作都是彭玉磷親自安排的，臨行之前，彭玉磷專門交代過，一定要調查的細致一些，將海匪的暴行都給記錄下來，回頭將這些事情告訴衡州的父老鄉親，讓大家下定決心，一致抗擊匪軍。.
.