元朔三年(公元前126年),公孙弘升为御史大夫,位列三公。身在高位,公孙弘不骄不躁,遇事更加小心,从不与人争权夺利,有了误会也不辩解,言行注意迎合武帝的心思。两年后,公孙弘替代薛泽拜为丞相。在这之前,汉朝常例以列侯为丞相,而公孙弘布衣出身,没有爵位,似乎有违惯例。汉武帝就亲自下诏,封公孙弘为平津侯,自此以后,汉朝拜相封侯引为惯例。
公孙弘当上丞相后,虽位高禄重,但生活依然十分节俭,从不苛求奢华,做事情以人为先,颇得朝野上下好评。朝廷的大臣如果在生活上遇到了什么困难,公孙弘必定会全力相助,故而家无余财,生活简朴,睡觉用的是普通棉被,每餐只吃一种荤菜。公孙弘的耿正廉洁,节俭律己,得不到别人的理解,朝中不少人认为公孙弘是在沽名钓誉。
朝中重臣汲黯在皇帝面前参了公孙弘一本,批评公孙弘位列三公,有相当丰厚可观的俸禄,却只盖普通的棉被,吃普通饭菜,这明显是在沽名钓誉,目的是为了赚取清廉俭朴的美名。