张霸记载较少

年数岁而知孝让，虽出入饮食，自然合礼，乡人号为张曾子。后就长水校尉樊儵受严氏公羊春秋，遂博览五经；诸生孙林、刘固、段著等慕之，各市宅其傍以就学焉。

初，霸以樊儵删严氏春秋犹多繁辞，乃减定为二十万言，更名张氏学。

举孝廉，为光禄主事，永元中为会稽太守，表用郡人处士顾奉、公孙松等，奉后为颍川太守，松为司隶校尉，并有名称；其余有业行者皆见擢用，郡中争厉志节，习经者以千数，道路但闻诵声。

霸始到越，贼未解，郡界不宁，乃移书开购，明用信赏，贼遂束手归附，不烦士卒之力。童谣曰『弃我戟，捐我矛，盗贼尽，吏皆休』。视事三年，谓掾史曰太守起自孤生、致位郡守，盖日中则移、月满则亏，遂上病；后征，四迁为侍中。

时皇后兄虎贲中郎将邓骘当朝贵盛，闻霸名行，欲与为交，霸逡巡不答，众人笑其不识时务。后当为五更，会疾卒，年七十。遗敕诸子速朽薄葬，诸子承命，葬于河南梁县，因遂家焉。将作大匠翟酺等与诸门人追录本行，谥曰宪文。