據(jù)《新唐書·宰相世系表》知其父官職卑微，僅為洪洞縣丞。張說為文運(yùn)思精密，年輕時(shí)很有造詣。垂拱四年（688年），武則天策試賢良方正，親臨洛陽城南門主考，張說應(yīng)詔對策為天下第一。武則天以為近古以來沒有甲科，張說遂屈居為乙等，授任太子校書，遷左補(bǔ)闕。
長安初年（701年），詔令張說與徐堅(jiān)等人撰修《三教珠英》，由麟臺監(jiān)張昌宗及成均祭酒李嶠總領(lǐng)此事。昌宗不學(xué)無術(shù)，只是廣引文詞之士，高談闊論，“歷年未能下筆”。唯張說與徐堅(jiān)“構(gòu)意撰錄，以《文思博要》為本，更加《姓氏》、《親族》二部，漸有條流”。書修成后，遷右史、內(nèi)供奉，兼知考功貢舉事，后又擢任鳳閣舍人。
長安三年（703年），女皇男寵張昌宗誣陷御史大夫魏元忠與人私議“太后老矣，不若挾太子為久長”，稱此是謀反，并脅迫張說作證，張說應(yīng)允了。當(dāng)上廷作證時(shí)，再次威脅他，張說卻慷慨陳詞，對女皇說：“陛下視之，在陛下前，猶逼臣如是，況在外乎！臣今對廣朝，不敢不以實(shí)對。臣實(shí)不聞元忠有是言，但昌宗逼臣誣證之耳！”張昌宗陰謀敗露后，又氣急敗壞地反誣稱張說與魏元忠同謀反。張說又據(jù)理反駁，最后并說：“且臣豈不知今日附昌宗立取臺衡，附元忠立致族滅！但臣畏元忠冤魂，不敢誣之耳。”張說理正詞嚴(yán)，揭露了張昌宗的非法行為，保護(hù)了耿直大臣魏元忠，但武則天卻不分是非曲直，反認(rèn)為張說是“反復(fù)小人”，再次鞫審，最后竟被無辜流放于嶺外。
唐中宗復(fù)位后，張說入為兵部員外郎，后轉(zhuǎn)工部侍郎。景龍年間（707年—709年），遇母喪離職，服喪未滿，中宗欲起復(fù)授黃門侍郎，當(dāng)時(shí)“風(fēng)教頹紊，多以起復(fù)為榮”，張說卻推辭不受，頗受有識之士的稱贊。服喪期滿，復(fù)授工部侍郎，不久改為兵部侍郎，加弘文館學(xué)士。
景云元年（710年），唐睿宗即位，張說遷任中書侍郎，兼雍州長史。這年秋天，譙王李重福潛入東都，欲謀奪皇位。兵敗后，東都留守捕獲了其黨羽數(shù)百人，審訊多月，遲遲不能定案，睿宗即命張說前去審理。張說很快查清了此案，一宿即捕獲了譙王的主謀張靈均、鄭愔等，弄清了其全部罪狀，其余誤捕下獄的一律宣布無罪釋放。張說辦事干練，深受睿宗的嘉獎(jiǎng)，稱贊他說：“知卿按此獄，不枉良善，又不漏罪人。非卿忠正，豈能如此？”翌年，進(jìn)同中書門下平章事，監(jiān)修國史。
這時(shí)，李隆基尚居?xùn)|宮為太子，張說為侍讀，備受親近禮敬。太子姑母太平公主交結(jié)朝臣，朋比為奸，干預(yù)朝政，圖謀廢掉太子。這年二月，唐睿宗曾對待臣說：“有術(shù)者上言，五日內(nèi)有急兵入宮，卿等為朕備之。”侍臣們明白，此事顯然是旨在離間挑撥父子關(guān)系，以動搖太子地位，都面面相覷，不知說什么好。張說則直言不諱地說：“此是讒人設(shè)計(jì)，擬搖動?xùn)|宮耳。陛下若使太子監(jiān)國，則君臣分定，自然窺覦路絕，災(zāi)難不生。”睿宗聽后十分高興，即日下制止皇太子監(jiān)國。第二年，又下制皇太子即位。
睿宗雖然退居為太上皇，但仍控制著朝政大權(quán)。太平公主仍依恃皇兄權(quán)勢繼續(xù)干預(yù)政事，變本加厲地謀害玄宗。她恨張說不趨附自己，便奏請睿宗，將他貶為尚書左丞，并出為東都留守。張說洞知太平公主之黨暗中懷有異謀，遂遣使者獻(xiàn)給玄宗一把佩刀，暗示他要果斷行事，以鏟除太平公主之黨。故史稱“張說獨(dú)排太平之黨，請?zhí)颖O(jiān)國，平定禍亂，迄為宗臣。”在平定了太平公主的謀亂之后，玄宗即召張說拜中書令，封燕國公。
開元元年（713年）十月，玄宗欲召回同州刺史姚崇為相。張說因與姚崇不和，暗中指使御史大夫趙彥昭彈劾，玄宗不予理睬。接著，張說又使殿中監(jiān)姜皎向玄宗建議，任命姚崇為河?xùn)|總管，以阻止姚崇入相。玄宗知是張說的計(jì)謀，不顧一再阻撓，仍拜為兵部尚書、同中書門下平章事。姚崇任相后，張說就私自到岐王李范家申述誠意。姚崇告發(fā)此事，張說被貶為相州刺史，充河北道按察使。
張說被貶不久，又因他事牽連，再貶為岳州刺史。蘇颋擢任宰相，張說與其父蘇瑰為故交，撰《五君詠》獻(xiàn)蘇颋，其中一則是記蘇瓖事。蘇颋讀后很感動，上奏稱張說為“忠貞謇諤，嘗勤勞王室，亦人望所屬，不宜淪滯遐方”。開元六年（718年）二月，張說遷任荊州長史。不久又遷任右羽林將軍，兼檢校幽州都督。
開元十年（722年），詔命張說為朔方節(jié)度大使，并去朔方巡視邊防，處置兵馬。開元十一年（723年），張說進(jìn)為中書令。開元十七年（729年），再拜張說為尚書右丞相，集賢院學(xué)士。開元十八年（730年），張說患病，玄宗每天都遣中使前去看望，并御筆寫藥方賜予他。由于醫(yī)治無效，這年十二月病卒。時(shí)年六十四歲。贈太師，謚曰文貞，玄宗還親自為張說撰神道碑文。
