公元444年，江淹出生于宋州濟陽考城（今河南省商丘市民權(quán)縣程莊鎮(zhèn)），故里位于今民權(quán)縣程莊鎮(zhèn)。祖父江耽。父親江康之，南沙令，雅有才思。江淹少時孤貧好學(xué)，六歲能詩，十三歲喪父，家境貧寒，曾采薪養(yǎng)母。二十歲左右教宋始安王劉子真讀五經(jīng)，并一度在新安王劉子鸞幕下任職，開始了他的政治生涯。
江淹在仕途上早年不甚得志。泰始二年（466年），江淹轉(zhuǎn)入建平王劉景素幕。江淹受廣陵令郭彥文案牽連，被誣受賄入獄，在獄中上書陳情獲釋。劉景素密謀叛亂，江淹曾多次諫勸，劉景素不納，貶江淹為建安吳興縣令。江淹的許多代表作品都寫于被貶期間。宋順帝升明元年（477年），齊高帝蕭道成執(zhí)政，把江淹自吳興召回，并任為尚書駕部郎、驃騎參軍事，大受重用。
尋舉南徐州秀才，對策上第，轉(zhuǎn)巴陵王國左常侍。景素為荊州，淹從之鎮(zhèn)。少帝即位，多失德。景素專據(jù)上流，咸勸因此舉事。淹每從容諫曰：“流言納禍，二叔所以同亡；抵局銜怨，七國于焉俱斃。殿下不求宗廟之安，而信左右之計，則復(fù)見麋鹿霜露棲于姑蘇之臺矣。”景素不納。及鎮(zhèn)京口，淹又為鎮(zhèn)軍參軍事，領(lǐng)南東海郡丞。景素與腹心日夜謀議，淹知禍機將發(fā)，乃贈詩十五首以諷焉。
會南東海太守陸澄丁艱，淹自謂郡丞應(yīng)行郡事，景素用司馬柳世隆。淹固求之，景素大怒，言于選部，黜為建安吳興令。淹在縣三年。升明初，齊帝輔政，聞其才，召為尚書駕部郎、驃騎參軍事。俄而荊州刺史沈攸之作亂，高帝謂淹曰：“天下紛紛若是，君謂何如？”淹對曰：“昔項強而劉弱，袁眾而曹寡，羽號令諸侯，卒受一劍之辱，紹跨躡四州，終為奔北之虜。此謂‘在德不在鼎’。公何疑哉？”帝曰：“聞此言者多矣，試為慮之。”淹曰：“公雄武有奇略，一勝也；寬容而仁恕，二勝也；賢能畢力，三勝也；民望所歸，四勝也；奉天子而伐叛逆，五勝也。彼志銳而器小，一敗也；有威而無恩，二敗也；士卒解體，三敗也；搢紳不懷，四敗也；懸兵數(shù)千里，而無同惡相濟，五敗也。故雖豺狼十萬，而終為我獲焉。”帝笑曰：“君談過矣。”是時軍書表記，皆使淹具草。相國建，補記室參軍事。建元初，又為驃騎豫章王記室，帶東武令，參掌詔冊，并典國史。尋遷中書侍郎。永明初，遷驍騎將軍，掌國史。出為建武將軍、廬陵內(nèi)史。視事三年，還為驍騎將軍，兼尚書左丞，尋復(fù)以本官領(lǐng)國子博士。少帝初，以本官兼御史中丞。
宋順帝升明初年，蕭道成（后為齊高帝）輔政時，荊州刺史沈攸之忠于宋，舉兵反對蕭道成。蕭道成詢問江淹，江淹向他陳說蕭道成必勝而沈攸之必敗的五條原因。第二年沈攸之果然戰(zhàn)敗自殺身亡，江淹也因此而甚得齊高帝賞識。齊東昏侯永元年間，崔慧景造反，率叛軍圍困京城建康，城內(nèi)士族官僚紛紛投身于叛軍門下，只有江淹稱病不往。崔慧景很快兵敗，眾皆服江淹有遠見。后來蕭衍帶兵至新林（今江蘇省南京市西南），士族官僚對他并沒有看好，人人安之若素，而江淹卻脫去官服，投奔蕭衍。后蕭衍稱帝，江淹得到重用。
江淹為官清正，不避權(quán)貴，直言敢諫。宋后廢帝劉昱即位“多失德”，劉景素又偏聽偏信左右之言，政局岌岌可危。江淹從容直諫，劉景素怒而不納，江淹贈詩十五首以諷諫。江淹任御史中丞時，彈劾中書令謝朏、司徒左長史王繢、護軍長史庾仲遠。也曾奏前益州刺史劉悛、梁州刺史陰智伯有臟物寶貨成千上萬，并拘捕了他們，交朝廷治罪。其他被檢劾論治的違法官員更是不勝枚舉。齊明帝曾當(dāng)面稱贊江淹：“從宋代以來，不曾有嚴明的御史中丞，君今天可說近代獨一無二了。”
蕭道成代宋自立，江淹被任為驃騎豫章王記蕭嶷室?guī)|武令，遷中書侍郎，齊武帝永明間，任廬陵內(nèi)史、尚書左丞、國子博士諸職。少帝蕭昭業(yè)即位，江淹任御史中丞。明帝蕭鸞時，又任宣城太守、秘書監(jiān)諸職。
梁武帝蕭衍代齊后，江淹官至金紫光祿大夫，封醴陵侯。梁天監(jiān)四年（505年），江淹去世，時年六十二。葬在故里江集村東北約六公里處（今民權(quán)縣李堂鄉(xiāng)岳莊村西），梁武帝為他素服舉哀，謚曰憲伯。 《梁書》、《南史》有傳。
