張宗遜1908年2月7日出生在陜西渭南赤水鎮(zhèn)堰頭村的一個富裕農(nóng)民家庭里。1926年2月，他如愿考入廣州黃埔軍校，編入第五期入伍生第二團二營五連，并由社會主義青年團員轉(zhuǎn)為中共正式黨員。

　　1927年7月，張宗遜時任國民革命軍第二方面軍總指揮部警衛(wèi)團連長。當時，警衛(wèi)團擬參加"八一"南昌起義未果，轉(zhuǎn)入江西修水一帶活動。同年9月，張宗遜隨警衛(wèi)團參加湘贛邊界秋收起義，任中國工農(nóng)革命軍第一師第一團（由警衛(wèi)團改編而成，團長盧德銘）參謀。按照中央規(guī)定的秋收起義計劃，各團由東向西攻擊，目標是奪取長沙。行動中，張宗遜率領一連兵力，在第一團編成內(nèi)行動，向西攻擊時，擔任先鋒；向東撤退時，擔任后衛(wèi)。連續(xù)戰(zhàn)斗十來天，都出色地完成了任務，初步展現(xiàn)了他指揮作戰(zhàn)和管理部隊的才干，引起了領導起義的中共前敵委員會書記毛澤東的關(guān)注。由于敵強我弱，加上起義軍的指揮員又大都缺乏實戰(zhàn)經(jīng)驗，起義軍損失嚴重，盧德銘不幸犧牲。

　　在此危急時刻，毛澤東毅然決定，放棄西進奪取長沙的計劃，改向東南湘贛邊界的山區(qū)轉(zhuǎn)移。1927年9月，起義軍轉(zhuǎn)戰(zhàn)至江西省永新縣境內(nèi)的三灣村。在毛澤東領導下，起義軍在三灣休整了五天，對所剩部隊進行了整編，將起義部隊原來的三個團縮編為一個團，下轄七個戰(zhàn)斗連隊，共約1000人。張宗遜調(diào)到特務連（連黨代表羅榮桓）任副連長，他帶領一個排專門擔負毛澤東的貼身警衛(wèi)，實際上成了毛澤東的首任衛(wèi)士長。當毛澤東聽說他是陜西渭南人時，風趣地說："你來自八百里秦川，是姜太公的老鄉(xiāng)呀！姜太公垂釣于渭水嘛。"而張宗遜性格內(nèi)向，不善言辭，只是以微笑來答謝毛澤東的信任和鼓勵。

　　1927年10月23日破曉，部隊在江西遂川縣大汾鎮(zhèn)突然遭到反動地主武裝蕭家壁部的襲擊。當時，情況非常緊急，連長曾士峨和黨代表羅榮桓命令張宗遜帶一個排，負責護送毛澤東。秋收起義前后，幾十天的長途行軍跋涉中，毛澤東的腳背早已被草鞋磨爛了，走路一拐一拐，行動很困難。他不時的微微皺一下眉頭，有時被崎嶇的山路猛地硌一下腳，禁不住輕輕吸一口冷氣?？吹剿D難行軍的樣子，張宗遜和戰(zhàn)士們一次次提出用擔架抬著他走，毛澤東擺擺手說："謝謝大家，我自己能走。"張宗遜堅持要抬，毛澤東堅決不坐。雙方爭執(zhí)不下，彼此都很動情，毛澤東退讓說："你給我弄根竹竿，咱們拄著慢點走，好嗎？"爭執(zhí)才平息下來。在回憶此段經(jīng)歷時，張宗遜曾感慨地說："我們覺得，毛委員是讀書人，并不善于長途行軍，但他竟能如此經(jīng)得住艱苦，很令人佩服。"

　　1928年4月，朱德、毛澤東在井岡山會師，張宗遜擔任中國工農(nóng)紅軍第四軍連長，成為"我軍創(chuàng)始階段的少數(shù)幾個連長之一",一度兼任過江西永新縣游擊大隊大隊長。

　　在"工農(nóng)武裝割據(jù)"斗爭中，張宗遜一直在毛澤東率領下行動，緊隨在毛澤東身旁。毛澤東從斗爭實踐中總結(jié)出來的建軍原則和作戰(zhàn)原則，張宗遜都能較早地得知，認真學習領會，并積極貫徹執(zhí)行。1929年1月，紅四軍轉(zhuǎn)戰(zhàn)贛南、閩西，張宗遜在戰(zhàn)斗中成長，歷任紅四軍第三縱隊九支隊（營）副支隊長、支隊長、軍代理參謀長。

　　毛澤東很重視偵察敵情的工作，當時沒有無線電偵聽設備，軍隊情報主要靠派人出去偵察和收集報紙，他曾多次派張宗遜出去收集報紙。下井岡山不久，部隊在大柏地打的一個大勝仗，就是根據(jù)從報紙上得到的消息布置的。

　　1929年2月初，部隊到江西瑞金地區(qū)活動，張宗遜奉命帶一個大隊（連）進入瑞金縣郵政局收集報紙，報上的一行消息引起他的注意："獨七師劉士毅蕭致平團，經(jīng)瑞金尾隨共軍，朱、毛部不久將被殲滅。"這說明敵人正向瑞金開來，他當即將這重要的情報報告了軍部。軍部遂決定部隊不在瑞金停留，而到大柏地去，相機殲滅該敵。2月11日，陰歷大年初一，紅軍在大柏地布置了伏擊陣地。蕭敵自恃追擊紅軍有功，大搖大擺準時進入紅軍伏擊地。一仗下來，全殲了蕭團并俘獲敵人800多名、繳槍800余支。