鲁定公十三年（公元前497年）的春天，孔子匆忙离开鲁国，去了卫国，住在弟子子路妻子的哥哥颜浊邹家。
卫国当时社会安定，经济富庶。孔子在鲁国是官至司寇的大夫，又以博学著称，加上颜浊邹的推荐，受到了卫灵公的礼遇，按照孔子在鲁国的待遇，给予俸禄谷子六万斗。卫灵公是个平庸的君主，对孔子的治国主张没有兴趣，所以对孔子养而不用。孔子师徒在卫国没有事情可做，孔子就去交往卫国的官员和名人，了解卫国的历史、文化、风俗等情况。孔子师徒本来就是一个很大的团体，人才济济，因此招致卫国大夫的妒忌，他们就在卫灵公面前搬弄是非，说孔子的坏话，引起卫灵公猜疑，就以照顾孔子的名义派人监视孔子。孔子意识到卫灵公开始猜疑自己，于是决定赶快离开卫国。他在卫国停留了十个月。
孔子离开卫国要到陈国去，路经匡地，颜刻为孔子赶车。颜刻曾经来过此地，指点着城墙上的一个缺口说上次就是从那个缺口进去的。鲁国的阳货曾经残害过本地人，孔子的长相很像阳货，又见他们指指点点，认为阳货又来了，就围困了孔子师徒。孔子师徒被包围了五天五夜，弟子们非常害怕，孔子鼓励他们说：“文王既没，文不在兹乎？天之将丧斯文也，后死者不得与于斯文也。”“天之未丧斯文也，匡人其如予何？”（《论语·子罕》）弟子颜回掉了队，后来追了上来，孔子很担心，见了他就说：“吾以为汝死矣。”颜回回答说：“子在，回何敢死？”最后被卫国的宁武子解救。
孔子师徒过了一个多月又返回卫国，寄居在卫国著名的大夫蘧伯玉家。卫灵公的夫人南子是宋国人，在娘家时和宋子朝相好。鲁定公十四年（公元前496年）时，糊涂的卫灵公还邀请宋子朝来卫国，结果两个人重续旧好。卫灵公的太子蒯聩出使外国路过宋国，宋国就有人唱歌说：“既定尔娄猪，盍归吾艾豭。”已经满足了你们发情的母猪，为什么还不归还我们那漂亮的公猪，故意让太子蒯聩听到。南子派人去召见孔子，虽然南子名声不好，但她是所在国国君的夫人，孔子也无法推辞，只好去见她。子路很不高兴，孔子发誓说：“予所否者，天厌之！天厌之！”（《论语·雍也》）其后卫灵公和夫人南子外出，他们同乘一辆车，让孔子乘车随后，招摇过市。孔子深感受辱，生气地说：“吾未见好德如好色者也。”（《论语·子罕》）于是离开卫国到曹国去。
孔子又离开曹国到了宋国。宋国司马桓魋派人用石头为自己建造坟墓，三年都没有建好。孔子对这种即违背礼制又奢侈无度的行为非常不满，就说：“像这样奢侈，死了还不如赶快烂掉的好。”这句话传到桓魋那里，桓魋想报复孔子。有一天，孔子和弟子们正在大树下演习礼仪，司马桓魋派人伐掉了大树，给孔子一个警告。弟子们催促孔子快走，孔子很镇静地说：“天生德与予，桓魋其如予何！”（《论语·述而》）去郑国途中，孔子和弟子们失散，一个人孤零零地站在郑国的东门外。一个郑国人告诉子贡说，东门外有个人，“累累若丧家之狗”，是不是你的老师。子贡按照这个人的指点在东门外找到了孔子，并把郑国人的话告诉了孔子。孔子一点也不恼，反而笑了，他说：“形状，末也。而谓似丧家之狗，然哉！然哉！”（《史记·孔子世家》）孔子一行路经郑国，到了陈国，在那里待了三年，陈国也没有重用孔子。孔子感到无法发挥自己的才能，带领弟子们离开了陈国。
经过蒲邑，正好碰上叛乱，蒲人怕孔子到卫国走漏了消息，就将孔子师徒扣押起来。孔子弟子公良孺身材高大，勇敢有力，蒲人害怕他，对孔子说：“如果你们不到卫国去，就放了你们。”孔子答应了他们的条件，和蒲人签订了盟约，蒲人就放走了孔子师徒。孔子一出蒲邑就直奔卫国，子贡问：“盟约可以违背吗？”孔子说：“要盟也，神不听。”在被要挟情况下订立的盟约，神是不会认可的。
孔子重返卫国。卫灵公觉得上次失礼了，亲自到郊外去迎接。但是卫灵公已经老了，懒于处理政务，也不任用孔子。孔子周游列国，一方面是到处宣传自己仁政德治的政治主张，一方面是寻找推行自己政治主张、实现自己政治抱负的机会，但是在外风尘仆仆地奔波了这么多年，一无所成，孔子感叹地说：“苟有用我者，期月而已可也，三年有成。”（《论语·子路》）孔子深知时不我待，因此急于寻找从政施展抱负的机会。中牟宰佛肸反叛，派人去请孔子，孔子很想去。弟子子路劝孔子说：“过去我听老师您说过，‘亲自做坏事的人那里君子是不去的’。现在佛肸占据中牟作乱，老师您却想到他那儿去，这是为什么？”孔子回答说：“我是说过这句话，但我不是也说过坚硬的东西是磨不薄的，洁白的东西是染不黑的吗？我难道只是中看不中吃的葫芦，怎么能老挂在那里不给人吃呢？”（《论语·阳货》）孔子虽然这样说，但是最终还是没有去。
孔子在卫国得不到任用，就想到晋国去见赵简子寻找机会。但刚到黄河边上，就听说了窦鸣犊和舜华被杀的消息。孔子放弃了去晋国的打算，在河边叹息说：“美哉水，洋洋乎！丘之不济此，命也夫！”子贡不理解，孔子解释说：“窦鸣犊、舜华都是晋国有才有德的大夫，赵简子还没有得志的时候必须依靠这两个人才能从政，等到他得志了，就杀了这两个人单独执政。君子忌讳伤害同类，我怎么能去晋国呢？”
回到卫国，孔子仍然经常去见卫灵公。有一天，卫灵公问孔子带兵打仗的事情。孔子反对战争，回答说：“俎豆之事则尝闻之矣，军旅之事，未之学也。”（《论语·卫灵公》）卫灵公很不高兴，仰看天上的飞雁，不理孔子。孔子明白了，第二天就离开卫国，再次到陈国去。
鲁哀公三年（公元前492年）秋天，鲁国季桓子病危，他乘车去看鲁城，感慨地说：“过去这个国家就要兴盛了，因为我得罪了孔子，孔子离开了鲁国，所以没有兴盛起来。”他交代儿子季康子说：“我死后你一定要召回孔子。”季桓子死后，季康子执政，想召回孔子，大夫公之鱼劝他说：“昔吾先君用之不终，终为诸侯笑。今又用之，不能终，是再为诸侯笑。”季康子按照他的建议派人去召冉求。孔子对冉求说：“鲁人召求，非小用之，将大用之也。”感叹地说：“归与！归与！吾党之小子狂简，斐然成章，不知何以裁之。”（《论语·公冶长》）哀公四年（公元前491年），孔子从陈国迁到蔡国。第二年，又从蔡国到了楚国的叶邑。叶公向孔子请教为政的道理，孔子告诉他“近者悦，远者来”，为政的道理在于让附近的人民高兴，使远方的人归附。（《论语·子路》）有一天，叶公向子路问孔子的为人，子路没有回答，孔子对子路说：“女奚不曰其为人也发愤忘食，乐以忘忧，不知老之将至云尔。”
孔子离开叶邑，在返回蔡国的途中找不到渡口，看到两个人在并肩耕地，就派子路去打听。长沮问子路：“那个拉着缰绳的人是谁？”子路说：“是孔丘。”长沮又问：“是鲁国的孔丘吗？”子路回答说：“是。”长沮就说“他知道渡口”。桀溺问子路：“你是谁？”子路说：“我是仲由。”桀溺说：“你是孔丘的徒弟吗？”子路说：“是的。”桀溺说：“像洪水一样的坏东西到处都是，你们和谁去改变它呢？你与其跟着孔丘那种逃避坏人的人，为什么不跟着我们这些逃避这个黑暗社会的人呢？”说完，继续种他的地。子路回来把整个经过告诉了孔子，孔子失望地说：“鸟兽不可与同群，吾非斯人之徒而谁与？天下有道，丘不与易也。”我们不能和飞禽走兽合群共处，如果不同人打交道又能同谁打交道呢？如果天下太平，我就不会从事改革了。（《论语·微子》）有一天，子路掉了队，问一位除草的老人：“您见到夫子没有？”老人说：“四体不勤，五谷不分，孰为夫子？”把拐杖插在地上就去拔草。子路一听是个有见识的人，就不再说话，拱手站在一边。天晚了，老人就留下子路住宿，又杀鸡又做饭，招待子路。第二天，子路找到孔子，把昨天的经过诉说了一遍。孔子听后说：“这是个隐居的人。”派子路回去找他，但他已经走了。子路回来说：“不仕无义。长幼之节不可废也，君臣之义如之何其废之？欲洁其身而乱大伦。君子之仕也，行其义也。道之不行，已知之矣。”（《论语·微子》）不出仕做官是不合道义的。长幼之间的礼节是不能废弃的，君臣之间的大义怎么能废弃呢？隐居不仕只想洁身自好，但却乱了人间大伦。君子出仕做官是为了尽自己应尽的义务。
孔子迁到蔡国的第三年，也就是鲁哀公六年（公元前489年），楚国派人去请孔子。陈国、蔡国的大夫们听说楚国邀请孔子，害怕楚国重用孔子后楚国强大对自己的国家不利，就派人把孔子师徒包围在旷野里。孔子师徒七天七夜都没有吃上饭，但孔子仍然不停地给弟子们讲学，弹琴唱歌。子路问：“君子亦有穷乎？”孔子开导他说：“君子固穷，小人穷斯滥矣。”（《论语·卫灵公》）孔子知道弟子们心中都不高兴，就把子路叫来，问他：“《诗》云‘匪兕匪虎，率彼旷野’。吾道非邪？吾何为于此？”我们既不是犀牛，也不是老虎，为什么徘徊在旷野里，是我们的学说不对吗？为什么会落到这种地步呢？子路回答说：“大概我们的仁德还不够，所以人家不信任我们；想必是我们不够明智，所以人家不放我们走。”孔子说：“是这样吗？如果有仁德的人一定能使人信任，怎么能有伯夷、叔齐？如果明智的人一定能行得通，怎么能有王子比干？”
子路退出以后，子贡走了进来，孔子也问他相同的话。他说：“夫子之道至大也，故天下莫能容夫子。夫子盖少贬焉？”孔子教育他说：“好的农夫善于耕种但不一定能有好的收获，好的工匠有精巧的手艺但作品不一定能让人都满意。有修养的人能创立自己的学说，但却不一定能为世人所接受。现在你不去完善你的学说却降格去追求世人的接受，你的志向不够远大啊！”
子贡走后，颜回走进来，孔子也问他相同的话。他说：“夫子是道至大，故天下莫能容。虽然，夫子推而行之，不容何病，不容然后见君子。”孔子对颜回的回答很满意，说：“有是哉？颜氏之子。使尔多财，吾为尔宰。”
后来，孔子派子贡到楚国去，楚国派出军队来迎接，孔子师徒才幸免于难。
到了楚国，楚昭王想封给孔子方圆七百里的地方，楚国宰相子西不同意，他劝楚昭王说：“大王的使臣有比得上子贡的吗？辅助大臣有比得上颜回的吗？将帅有比得上子路的吗？办事官员有比得上宰予的吗？”楚昭王都说没有。子西说：“现在如果让孔子拥有七百里的土地，有众多卓有才干的弟子辅助，这可不是楚国的福气啊！”楚昭王听从了子西的劝告，打消了原来的想法。
孔子在楚国没有得到任用，也没有立即离开。一个楚国人唱着歌从孔子车边走过，他唱道：“凤兮凤兮，何德之衰。往者不可谏，来者犹可追。已而！已而！今之从政者殆而。”过去的不能再挽回，未来的还来得及，劝孔子赶快离开楚国。孔子下车，想和他交谈，但他却躲开了。（《论语·微子》）孔子知道在楚国没有希望了，就离开楚国返回卫国。
此时卫国国君是卫灵公的孙子卫出公。孔子归来，卫出公想请孔子出来执政。子路就问孔子：“卫国国君等待您来执政，您打算首先做什么？”孔子说：“必也正名乎！”子路说此举太迂腐了，孔子批评子路粗野，告诉他说：“名不正则言不顺，言不顺则事不成，事不成则礼乐不兴，礼乐不兴则刑罚不中，刑罚不中则民无所措手足。”（《论语·子路》）孔子要正名分，卫出公的国王名分将受到冲击，所以孔子又失去了从政的机会。
鲁哀公十一年（公元前484年），齐国进攻鲁国，冉求担任了季孙氏的统帅，打败了齐国军队。季康子问冉求的军事才能是学来的还是天生的，冉求回答说是从孔子那里学来的。季康子派人去接回孔子，孔子返回鲁国。
孔子五十五岁周游列国，六十八岁时返回鲁国，在外奔波了十四年，历经磨难，先后到过卫、曹、宋、陈、蔡、楚等大小近十个国家，到处宣传自己的政治主张，寻找施展自己政治才能的机会，但没有一个国君肯采用他的主张，给他一个实现自己政治抱负的机会。
