丞相张苍是阳武人,他非常喜欢图书、乐津及历法。在秦朝时,他曾担任过御史,掌管宫中的各种文书档案。后来因为犯罪,便逃跑回家了。等到刘邦攻城略地经过阳武的时候,张苍就以宾客的身份跟随沛公刘邦攻打南阳。后来张苍因为犯法应该斩首,脱下衣服,伏在刑具上时,身体又高又大,同时还有一身如同葫芦籽一样肥硕白皙的皮肤,凑巧被王陵看见,惊叹张苍长得好。因此,王陵就向沛公说情,赦免了他的死罪。这样,张苍便跟随沛公刘邦向西进入武关,到达咸阳。后来,在公元前201年中被封为北平侯,食邑一千二百户。
公元前176年,丞相灌婴去世,张苍继任为丞相。