李孝光于元世祖至元二十二年（1285）出生在温州路乐清县淀村（今为大荆镇五峰社区田岙村）一个世代隐处耕读、文化氛围浓厚的士农家庭，从小受到良好教育。五岁跟从祖母习读《孝经》、《论语》、《孟子》，六七岁更授《尚书》、《诗经》及古文辞。“凡奇字妙语，皆从大母得之。”少年孝光，聪颖好学，他说：“我昔年十二，开口作词赋。”又说：“我昔为儿时，看书不停手。十二作文赋，点笔赋鹦鹉。长者见之骇，云出诸父口。”
少时李孝光从舅氏处获读外祖谢隽伯（谢灵运留在温州的后裔）诗卷，极受鼓舞，激发了他奋励上进的热情。在《谢山人诗卷为鹤阳外祖题》中说：“忆吾为儿时，将命父母傍。舅氏袖钜简，有作似季唐。云是而外祖，遗此手泽芳……吾今在牛下，坐须羽翮成。天子正好文，去献明光宫。”随后他从学天台方仪，在那里接受了宋儒朱熹的学说。
青年的李孝光，志气轩朗，又倔强自负，“功名不经意，自谓可拾取。”但仕进遭受挫折，乡贡时被黜落，这于他打击不小，于是筑室家乡五峰山云霞洞（又名普庵洞），名白云舍，授徒讲学，因此以五峰自号。他生性倜傥豪放，熟谙经籍，学问醇厚，又教育得法，名誉日闻，“四方之士，远来受学。”元代至顺三年（1332）他应江南诸道行御史台聘，任职昇州（今南京）积庆学宫，“昇士从之如云”，是一位深受学子欢迎的好老师。元末明初著名学者朱右、陶宗仪俱出自他的门下。
李孝光壮岁曾游历南北山川名胜，凌天台，探禹穴，济钱江，揽西湖、姑苏、维扬、金陵、淮南诸景，足迹遍及匡庐、少室、泰岱、恒岳。其间往返会稽（绍兴）、钱塘（杭州）、平江（苏州）等地，寓居建康（南京）十数年之久。他深通儒术，满腹经纶，明乎古今治乱兴亡之理，怀有“致主尧舜”、匡时济世的远大志向，然而得不到施展抱负的机会。
中年之后，李孝光曾有强烈的出仕从政愿望，同政界人物也广有来往，但他励志自守，不愿屈身侥幸图进，希望能以体面的方式获任朝廷，用布匡济方略，报效国家。元代泰定二年（1325），怀王图帖睦尔（武宗次子，明宗弟，后即位为文宗）出居建康（南京），李孝光特被顾遇，“受知梁王（怀王）”。至顺元年（1330）秋，相国赵世延养疾金陵，李孝光出入赵府，深受鲁公器重。侍御史郭干卿曾将他的《春秋述始》称扬于朝，“而天下士大夫始知有公”，出身贵胄又擅才名的泰不华“以师事之”。
元顺帝至正七年（1347）十二月，李孝光终于获得朝廷召聘，这时他已六十三岁了。次年四月至京师，顺帝御明仁殿召见，授官秘书监著作郎。自是数获召见。不久，顺帝御宣文阁，与语宋儒性理。帝悦，升任秘书监监丞。但李孝光在朝任职没有多久。至正九年（1349）七月，右相朵儿只、左相太平相继去位。他目睹政局变化，自觉在朝中失去依靠；况且秘书监丞也只是一个号为“清贵”的闲职，不能有所作为，便以老病请辞。至正十年（1350），他以奉训大夫、秘书监丞致仕。这年四月，南归途中病故通州（今北京市通州区）。▲
钱大昕默坐观弈：一次，钱大昕在朋友家里看下围棋。一位客人几次输棋，他讥笑客人失算，总是想替他改放棋子，认为他赶不上自己。过一会儿，客人请求和钱大昕下棋。刚刚下了几个棋子，客人已经取得主动的形势。棋局快到中盘，钱大昕已不支。终局计算双方棋子，客人赢了十三子。以后有人邀请他观看下棋，钱大昕整天默默地坐着罢了。
钱大昕总结道，现在求学的人读古人的书，常常非议古人的错误；和现在的人相处，也喜欢说别人的错误。人本来就不可能没有错误，但是试试彼此交换位置来相处，心平气和地估计一下就能够认识别人的失误，也能看到自己的失误！