周游列国归来的孔子，已垂垂老矣，但历经磨难并没有改变他的本性，仍然坚持自己的政治主张。
季康子派人接回孔子，可能有重用他的想法，但是在田赋改革上却没有得到孔子的支持。季康子想实行名为田赋的征税方法，派冉求去征求孔子的意见，孔子说不懂，冉求问了三次，孔子仍不表示意见。冉求说：“您是退休的大夫，国家等待您的意见办事，您为什么不发表意见呢？”孔子仍不表态，私下对冉求说：“君子办事情，要用礼来衡量，施舍要多，办事要适中，赋敛要少。如果这样，按原来的办法就足够了。如果贪得无厌，即使按照新的方法征税也还是不会够的。”季康子没有听取孔子的意见，仍然实行田赋法收税。孔子大为恼火，就把一腔怒火发泄在帮助季康子的冉求身上，公开宣称冉求不再是他的弟子：“非吾徒也，小子鸣鼓而攻之可也。”（《论语·先进》）孔子虽然没有正面对抗季康子，但季康子知道孔子不是同路人，不再考虑重用孔子的问题了。
从此以后，孔子对季康子失去信心，他对季康子的态度逐渐转向公开批评甚至当面指责。季康子问怎样做才能使人民严肃认真，孔子告诉他说：“临之以庄则敬，孝慈则忠，举善而教不能则劝。”（《论语·为政》）但在回答孔子弟子是否可以从政时口气大变。季康子问：“仲由可以从政吗？”孔子说：“由也果，于从政乎何有？”问端木赐，孔子说：“赐也达，于从政乎何有？”问冉求，孔子说：“求也艺，于从政乎何有？”（《论语·雍也》）一副不屑于回答的样子。在回答季康子“杀掉坏人，亲近好人，怎么样”时，孔子公开进行了批评：“子为政，焉有杀？子欲善而民善矣。君子之德风，小人之德草。草上之风，必偃。”（《论语·颜渊》）在回答季康子另一次问政时，孔子教训他：“政者，正也，子帅以正，孰敢不正？”（《论语·颜渊》）在回答季康子问强盗太多怎么办时，孔子指责他：“苟子之不欲，虽赏之不窃。”（《论语·颜渊》）鲁国不再用孔子，孔子也已无求仕之心。他将晚年的精力全都放在整理古代文献和教育弟子上。
春秋时期，礼崩乐坏，历史文献遭到很大破坏，许多文献都散失了。孔子开始创办私学时就发现了这个问题，有感于教材不足，就对古代文献进行整理，编纂教材。周游列国期间，孔子也曾进行古代文献的整理工作，归来后集中精力，对古代文献进行了全面系统的整理，后人将他整理古代文献的工作称之为删《诗》、《书》，订《礼》、《乐》，系《周易》，作《春秋》。
《诗》原来是人们在劳动中口头创作的民歌，古代官方有搜集民歌的制度，通过民歌了解民俗和从政的得失。民歌本来就是歌、舞、乐三位一体的艺术表演形式，官方收集后除了上述的考察政治得失功用外，还将它整理后作为宫廷、贵族演出的内容。中国是诗的国度，从远古时期就产生了大量的民歌，而且民歌不断产生，不断被官方搜集。当然官方对民歌也要进行整理，一些被淘汰了，一些被保存了下来，不断积累就形成了《诗》。它的数量应该是很大的，据司马迁说：“古者诗三千余篇，及至孔子，去其重，取可施于礼义。上采契、后稷，中述殷周之盛，至幽厉之缺。始于衽席，故曰：‘《关雎》之乱为《风》始，《鹿鸣》为《小雅》始，《文王》为《大雅》始，《清庙》为《颂》始。’三百五篇孔子皆弦歌之，以求合《韶》、《武》、《雅》、《颂》之音。礼乐自此可得而述，已备王道，成六艺。”孔子对原来官方保存的三千多首诗歌进行加工整理，以有利于礼义教化为标准进行取舍，将流传下来的《诗》删减至305首，而且全部配乐演唱。
孔子重视《诗》，一是因为《诗》除用于演出，还用于祭祀、朝会、典礼、宴享等重大活动，是言志、应酬的工具，赋诗成为社交、外交活动的时尚，尤其是在诸侯会盟或聘问时往往以诗明志，借以表达各自的思想意图，所以孔子教育儿子孔鲤说：“不学《诗》，无以言。”二是孔子把《诗》当成修养道德、陶冶情操、齐家治国的重要手段。孔子教育弟子说：“小子何莫学夫《诗》？《诗》可以兴，可以观，可以群，可以怨；迩之事父，远之事君；多识于鸟兽草木之名。”（《论语·阳货》）《诗》不仅可以激发人的意志，抒发人的情感，观察风俗民情、自然风物等，还可以更深切地了解人，讽刺不合理的社会现象，批评时政，甚至还可以用来敬奉父母，侍奉君主，认识自然界中的鸟兽草木。
经孔子整理过的《诗》后人称之为《诗经》，分为三部分：一是《国风》，收录周南、召南、邶、鄘、卫、王、郑、齐、魏、唐、秦、陈、郐、曹、豳十五个国家的民歌，有诗160篇，主要来自民间，反映了当时的风俗民情，是周代前中期的民歌；二是《雅》，分为《小雅》和《大雅》两部分，有诗105篇，主要是西周时期公卿大夫的献诗，内容多是议论政治得失，“言王政之所由废兴也”；三是《颂》，分为《周颂》、《鲁颂》和《商颂》三部分，是西周、宋国（商天子后裔封国）、鲁国宗庙祭祀乐歌，共40首。《诗经》经过孔子有目的地整理，注入了孔子的政治理念，成为儒家的重要经典，“正得失，动天地，感鬼神，莫近于《诗》”。通过《诗经》可以了解政治的得失，“治世之音安以乐，其政和；乱世之音怨以怒，其政乖；亡国之音哀以思，其民困”。使用《诗经》可以用于讽喻、规谏君主，改善政治，可以祭祀神祇、祖先，祈求保佑。经孔子整理和提倡，《诗》成为“六经”之一并留传下来，人们从中可以了解两千多年前的社会面貌、风俗人情、政治生活以至青年男女的爱怨等，进而感受文学和艺术的熏陶。
《书》又称《尚书》，“尚”就是“上”，《尚书》就是上古之书，远古之书，是周代以前历史文献和部分追述古代事迹著作的汇编。《史记·孔子世家》说：“孔子之时，周室微而《礼》、《乐》废，《诗》、《书》缺，追迹三代之礼，序《书传》，上纪唐虞之际，下至秦缪，编次其事。”孔子以前就有称为《书》的古代文献流传，孔子在这些历史文献的基础上编纂了《尚书》。汉代时《尚书》有两个版本，一是今文尚书，一是古文尚书。秦始皇焚书坑儒时，博士伏生将《尚书》藏在墙内，汉文帝时访求遗书，伏生从墙内取出时已经毁掉了一部分，只剩下二十九篇，由晁错用当时的文字隶书抄写，被称为“今文尚书”。秦始皇焚书坑儒时，孔子九代孙孔鲋将《尚书》等经典藏在孔子故居的墙内，因孔鲋南下投奔陈胜农民起义军，死在南方，这批经典直到汉武帝时鲁恭王拆除孔子故居才发现，因是由古代的篆书所书写，所以被称作“古文尚书”。《古文尚书》后来失传，现在流行的《十三经注疏》本《尚书》是由《今文尚书》和伪《古文尚书》拼合而成的。
《尚书》相传有一百篇，按照时代顺序分为《虞书》、《夏书》、《商书》和《周书》四部分。《虞书》有五篇，但在现存本中，《舜典》是从《尧典》中分出的，记载了尧舜的事迹，《益稷》是从《皋陶》中分出的，记载了皋陶和舜、禹的一些谋议以及大禹治水的方法和事迹，《大禹谟》出自伪《古文尚书》。《夏书》有《禹贡》、《甘誓》、《五子之歌》、《胤征》四篇，但后两篇出自伪《古文尚书》。《禹贡》记载了地理区划和风土物产，是古代重要的地理学文献，《甘誓》是夏代君主讨伐有扈氏的誓师之词，表达了夏代的天命思想。《商书》有十七篇，但除《汤誓》、《盘庚》上中下、《高宗肜日》、《西伯戡黎》、《微子》七篇，其他均出自伪《古文尚书》，记载商代史实。《周书》三十二篇，但《泰誓》以下十三篇为伪书，记载周代史实。《尚书》中的文体有典、谟、誓、诰等。典是载于长大简册上的记事，谟是记载谋划之事的文章，誓是誓师之词，诰是告示、告诫之词。
《尚书》最重要的思想是敬德保民和以德配天，不能依赖祭祀的频繁和祭品的丰盛来祈求上帝鬼神的保佑，只有有良好的德行才能得到上帝鬼神的保佑和赐福。这种思想是商周之际宗教思想的重大转变，奠定了儒家重人事的思想基础。
礼的本意就是祭祀的礼仪，是原始社会人们日常生活中产生的一些风俗习惯，到商代时逐渐发展为规范人们祭祀等行为的准则。周公在殷商之礼的基础上，结合本族的风俗习惯，制礼作乐，将礼从宗教领域扩大到社会政治领域。周礼是社会秩序的基础和核心，以此划定名分、明确贵贱、分辨等级，所有的人和一切的行为都必须遵循礼的规范和准则。但到春秋时期，政治上礼崩乐坏，有关周礼的资料因不被重视也已散失不全。孔子最推崇周礼，“周监于二代，郁郁乎文哉，吾从周”（《论语·八佾》），决心恢复西周的社会秩序，这就需要周礼作为根据，于是对周礼进行了全面的整理。
现存的礼书有《周礼》、《仪礼》、《礼记》三种，是经过东汉郑玄融合今文、古文两派之后定型的，孔子整理过其中的哪一些目前还有争论。《周礼》主要讲述官职建制，所以本名《周官》或《周官经》，西汉时列为经书，称为《周礼》。有人说是周公所作，有人说是伪书，过去学者一般认为是战国时人所作，近代学者有的认为成书于东周初年，孔子进行整理的可能性不大。《仪礼》主要讲述各种典礼仪节，汉代时称为《礼》或《士礼》，大约到晋代才称作《仪礼》。汉代时有高堂生所传的今文本和孔子故宅鲁壁所出的古文本，今文本十七篇，古文本五十六篇，今文本与古文本相比大致相同，但现在传世的只有十七篇。《仪礼》的作者，古文经学者认为是周公，今文经学者认为是孔子，现代学者一般认为周公所作是不可能的。《论语》中孔子有关礼仪的论述多与《仪礼》相合，孔子是完全有可能进行过整理。《礼记》主要讲述礼的性质、作用和意义，司马迁说“故《书传》、《礼记》自孔氏”，认为孔子曾作《礼记》。但《汉书·艺文志》说，礼“记百三十一篇，七十子后学者所记也”，《隋书·经籍志》认为：“汉初，河间献王又得仲尼弟子所记一百三十一篇，献之，时亦无传之者。至刘向考校经籍，检得一百三十篇，因第而叙之。又得《明堂阴阳记》三十三篇、《孔子三朝记》七篇、《王氏史记》二十一篇、《乐记》二十三篇，凡五种，合二百一十四篇。戴德删其繁重，合而记之，为八十五篇，谓之《大戴记》。而戴圣又删大戴之书，为四十六篇，谓之《小戴记》。”近代学者认为，《礼记》并非出自一人之手，而是众多学者的合集，其中“中庸”、“坊记”、“表记”、“缁衣”为孔子之孙子思所作。书中收有孔子言行和弟子及时人杂事，当是出自孔子及其弟子、后学之手。
《乐经》久已不传，有人认为毁于秦始皇的焚书坑儒，有人认为根本就没有《乐经》一书。清代学者邵懿辰就说：“乐之原在《诗》三百篇之中，乐之用在《礼》十七篇之中”（《礼经通论》），否定《乐经》的存在。其实这种观点是不准确的。古代音乐与诗歌、舞蹈密不可分，国家有民间采风收集民歌的制度，收集的民歌应该有专门的机构整理保存，而保存民歌的同时应该也保存音乐。夏代和商代的制度不详，但周代是设置了专门主管乐舞机构的，同时还组织了专门的乐队。有音乐，就有记录音乐的文字资料。《左传》记载，襄公二十九年（公元前544年），吴国公子季札出使鲁国，请观周乐，鲁国乐工为他演唱了《诗经》中的《国风》、《大雅》、《小雅》和《颂》，表演了舜时的舞蹈《韶箾》，大禹时的舞蹈《大夏》，商汤时的舞蹈《韶濩》，周文王时的舞蹈《象箾》、《南龠》，武王时的舞蹈《大武》。孔子“在齐闻《韶》，三月不知肉味，曰：‘不图为乐之至于斯也。’”可见《韶箾》是有音乐伴奏的。舜时的舞蹈至此次演奏已有一千四百多年的历史，最晚的武王舞蹈也有近五百年的历史，如此悠久历史的舞蹈音乐不可能只凭舞工、乐工的口授相传而能历经动乱保存下来。况且孔子自述说：“吾自卫反鲁，然后乐正，《雅》、《颂》各得其所。”（《论语·子罕》）孔子周游列国归来后正乐，只能是进行音乐文字资料的整理工作。
孔子善于学习音乐，具有很高的音乐理论水平和音乐艺术鉴赏水平，他评价《关雎》是“乐而不淫，哀而不伤”，评价《韶箾》是“尽善尽美”，《大武》是“尽美而不尽善”。（《论语·八佾》）孔子也具有很高的音乐创作能力，他曾经创作琴曲，现存的琴曲《猗兰操》据说出自孔子之手。孔子非常重视音乐的教化功能，他说：“兴于《诗》，立于《礼》，成于《乐》。”（《论语·泰伯》）孔子“以诗书礼乐教”弟子。孔子说“吾自卫返鲁，然后乐正”，对《乐》加以整理，教授学生。
孔子作《易传》的说法最早见于《史记》。司马迁说：“孔子晚而喜《易》，序《彖》、《系》、《象》、《说卦》、《文言》。”（《史记·孔子世家》）又说：“孔子传《易》于瞿，瞿传楚人 臂子弘，弘传江东人矫子庸疵，疵传燕人周子家竖，竖传谆于人光子乘羽，羽传齐人田子庄何，何传东武人王子中同，同传菑川人杨何。何元朔中以治《易》为汉中大夫。”（《史记·仲尼弟子列传》）孔子不仅作过《易传》，而且还传授给弟子商瞿，商瞿以后弟子师承有序，至司马迁时师承关系仍历历可数。
孔子是研究过《周易》的。《论语》记载，孔子说：“加我数年，五十以学《易》，可以无大过矣。”（《论语·述而》）孔子学习《易经》非常认真刻苦，司马迁说孔子“读《易》，韦编三绝”，连穿编《易经》竹简的牛皮条都翻断了多次。1973年在湖南长沙马王堆出土的帛书《周易》卷后所附的佚书《要》等两篇记录了孔子与弟子研讨《易》理的问答，就说明了这一点。综合上述历史记载和新出土的历史资料，孔子是为《易经》作过传，但不一定是全部。
《春秋》是中国第一部编年史，记载了鲁隐公元年（公元前722年）至鲁哀公十四年（公元前481年）间242年的历史，因此这段时间也被称作春秋时期。关于《春秋》的作者，孟子首先说是孔子。《孟子·滕文公下》说：“世道衰微，邪说暴行有作，臣弑其君者有之，子弑其父者有之。孔子惧，作《春秋》。《春秋》者，天子之事也。”其后司马迁也说：“子曰：‘……吾道不行矣，吾何以自见于后世哉？’乃因史记作《春秋》，上至隐公，下讫哀公十四年，十二公。据鲁，亲周，故殷，运之三代，约其文辞而指博。故吴楚之君自称王而《春秋》贬之曰‘子’；践土之会实召周天子而《春秋》讳之曰‘天王狩于河阳’；推此类以绳当世。贬损之义，后有王者举而开之。《春秋》之义行，则天下乱臣贼子惧。”（《史记·孔子世家》）可见，孔子根据鲁国的史记，整理编修了《春秋》。孔子整理历代文献，为继承和发展中国古代文化作出了重大贡献。
古人说：人生有三不幸，少年丧父，中年丧妻，晚年丧子。孔子可以说是三不幸都占全了。他三岁丧父，去世前四年死去了独生子孔鲤，妻子虽然不算是中年时去世，但是孔子从五十五岁离开鲁国后就再也没有见过她，在周游列国回来的前一年也就是孔子六十七岁的时候，他的妻子去世了。除了人生三不幸，孔子还有更大、更多的不幸，那就是许多优秀年轻的弟子先他而去。
鲁哀公十四年（公元前481年），孔子最喜爱的弟子颜回去世。颜回家贫好学，孔子曾表扬他“不迁怒，不贰过”，“一箪食，一瓢饮，在陋巷，人不堪其忧，回也不改其乐，贤哉回也”。颜回去世时只有四十二岁，孔子哭得非常悲痛，连呼：“天丧予！天丧予！”（《论语·先进》）弟子们说：“老师太悲痛了。”孔子说：“有恸乎？非夫人之为恸而谁为？”
第二年，忠心耿耿的子路死在卫国的政变中。打仗时，子路被人砍断了帽带，他说：“君子死，冠不免。”放下武器去结帽带子，结果被人砍成了肉酱。孔子听说子路被砍成了肉酱，害怕睹物生情，马上派人去倒掉厨房的肉酱。
另一个著名弟子冉耕大概也是在这个时候去世的。冉耕得的可能是传染病，孔子去看望他，没有进屋，从窗子里抓住他的手，非常惋惜地说：“亡之，命矣夫！斯人也而有斯疾也！斯人也而有斯疾也！”（《论语·雍也》）孔子晚年不顺心的事也不少，鲁哀公十四年（公元前481年），也就是孔子去世的前两年，一年就有两件事。一是在春天，鲁国打猎，打死一条怪兽，孔子听说后专门去看，他说：“这是麒麟啊！”麒麟是一种瑞兽，只有在政治清明、社会安定的时候才会出现，现在是乱世，麒麟出现后就被杀害了，孔子认为天下清平无望，彻底绝望了，连正在编写的《春秋》也停笔不写了。二是齐国的臣子陈恒杀死了齐国国君，孔子认为这是大逆不道的大事，他斋戒三天，三次请求鲁哀公出兵讨伐。鲁哀公认为鲁国打不过齐国，孔子认为齐国有一半人不支持陈恒，加上鲁国就能战胜他。鲁哀公没有办法，就说你去告诉季孙氏吧，孔子一看没有希望了，就从鲁公的宫殿里退了出来，对别人说：“因为我曾是一个大夫，所以我不敢不说话。”
鲁哀公十六年（公元前479年）四月，孔子病重，子贡前来看望，孔子正拄着拐杖在门口散步，他看到子贡就说：“你为什么来得这么晚？”然后长叹一声唱起了歌：“泰山颓兮！梁柱折兮！哲人萎兮！”一边唱歌一边流泪，并对子贡说：“天下失去正道已经很久了，没有人采用我的主张。夏代人的棺材停放在东边的台阶旁，周代人的棺材停放在西边的台阶旁，殷代人的棺材停放在两个柱子之间。昨天晚上我梦见自己坐在两个柱子之间接受祭奠，我是殷代人啊。”夏历的二月十一日，孔子去世，享年七十三岁。死后葬于鲁城北泗上。
