悉达多太子剃掉了胡须和头发，觉得很像一个出家人了。但有一桩缺憾，就是衣服还是王宫所著七宝之衣，华丽希有，为修行求道所不宜。太子当时心里想道：“过去各佛出家时，是不应当穿着这么华丽贵重的衣服的。”然而，喜马拉雅山的气候尚不允许在初春季节轻易将衣服脱下。正当太子左右为难之际，只见前面的山林里走出一位猎师，身穿袈裟之衣，正从太子身边经过。太子一见之下，大为高兴，于是对那位猎师说：“你穿的衣服，是适合寂静修道的衣服，是过去各佛修道时所着的样式。你怎么穿着这样的衣服而去干那些杀生的勾当，犯下杀生的罪行呢？”猎师回答说：“我穿着这袈裟，可以方便地诱使群鹿上当。因为这袈裟之服，为修行者所用，牲畜都知道他们是不会来伤害它们的，因此那些鹿见到穿着这样衣服的人，都会前来亲近，表示友好，我正好趁机向它们下手，因此每每都能满载而归。”太子说：“如果像你这样说，你穿着这袈裟之衣，就只是为了杀死那些鹿，而并不是为了求得人生解脱才穿上它的了，那么，我现在将我身上所穿的七宝之衣，和你交换，你觉得如何？我穿着这袈裟之衣，是为了要救护一切众生，使他们各种烦恼都得到消除。”猎师听到太子这话，一看太子身上所着七宝之衣，华丽贵重，觉得十分划算，因此很高兴，于是当即答应交换。太子便脱下七宝之衣，交给那位猎师，从猎师手中接过袈裟，随即按照过去各佛所穿着的法式将它披在身上。
车匿见到太子刚才剃除了胡须头发，现在又跟山中的猎师交换了衣服，知道了太子的意志无法挽回，心里一着急，又闷绝于地。太子等车匿醒转过来，便对他说：“你现在不应当再悲愁了，赶紧回宫去吧。回去之后，就将我的意思一一向各位亲朋好友禀明。”太子说完，就慢慢地向前走去。车匿唉声叹气，知道无法劝解，于是跪下来，向太子头面作礼，目送太子向苦行林中冉冉而去，直到看不见太子的身影，才颤巍巍地从地上爬起来。他回头看看身边的白马犍陟，白马犍陟发出哀鸣。车匿从地上捧起宝冠以及明珠、璎珞等物，仿如人亡物在，悲不自胜，竟放声大哭起来，这一哭哭得地动山摇，哭得山川变色。哭了许久，车匿才牵着白马，一步一回头地向着都城的路走了回去。
悉达多太子于是缓步走向跋伽仙的住处。太子虽然换了一身袈裟之服，又将须发剃掉，全身打扮，极像一位苦行僧人，但他高贵的气度，庄严的外表，使人心生敬畏，就连林中的鸟兽见了太子也不禁为他的奇特庄严的仪形所慑服，都一个个目不转睛地盯着太子。跋伽仙苦行林中的仙人远远看见太子向他们走过来，都不禁为太子庄严的气度和仪表所打动，他们心底下想道：“这是什么神啊？是日月天吗？还是帝释下凡了？”他们猜测着太子的身份，不由得聚集在一起前来迎候太子。太子对他们非常恭敬，说：“你们好吗？你们是真正的仁者啊！”太子见到众位仙人，感到十分高兴，心意即时变得十分柔软，言语也不知不觉中透出一种温和的气息。各位仙人因为太子的到来，都失去了往日的光芒，因此，他们都纷纷前来向太子施礼问讯。
太子在盛情邀请下，在他们身边坐了下来。他看到这些仙人修道的方式，各各不同，不禁大吃一惊。他们有的以草为衣，有的只披着树皮树叶，还有的只吃些草木花果，有的一天只吃一顿饭，有的是两天一顿饭，有的甚至三天吃一顿饭，他们就这样实行简陋的、饥饿的修行方法。有的苦行僧奉日月为教，有的则奉水火为教。有的翘起一脚，只用另一只脚站立；有的就睡眠在尘土里，有的甚至睡倒在荆棘之上，还有的成天睡卧在水火之侧，使身体经受水深火热般的考验。他们的修行方式是自惩性的，是痛苦的。太子见到他们这样的苦行，非常感动，于是上前问跋伽仙苦行林中的仙人：“你们现在修炼这样的苦行，非常奇特，请问你们要用这种修行方法求得什么样的果报呢？”仙人们回答说：“我们修炼这种种苦行，为的要升天。”太子又问道：“各种天界虽然快乐，但一旦福德用尽就会从天上降落下来，依然要轮回六道，最终还是要受尽种种痛苦。你们为什么要修炼这种苦（因）行，最终得到的仍是痛苦的果报呢？”太子问完，当即默默地不作一声，心下自思道：“商人为了得到宝物，所以不惧艰难险阻，到大海里去寻找；国王为了拓宽国土，于是不顾民劳国困，动辄兴师征伐他国。现在这么多仙人也是为了升天，所以才修此苦行啊。”想到这里，太子不觉发出了一声感叹。然后，又默默地停住了。跋伽仙见到太子如此模样，心中不解，于是当即探问太子道：“你这位仁者为什么喟叹一声后又默然不再说话了？莫不是我们的修行不是真正的办法吗？”太子回答道：“你们的修行，不是不苦，可以说是达到非常高的苦境了，然而求得的果报，与愿相违，最终总是不能脱离苦痛。”跋伽仙听到太子如此言语，心中大是不服，于是和太子争论起来。太子将这层意思与跋伽仙苦行林中的仙人们反复论说，还是无法说服他们，唇枪舌剑，一直争论到太阳落山。
太子见到无法说服这批仙人，于是，就在这苦行林中呆了一个晚上，第二天早晨起来，又将昨天议论的话题反复思考了一番，觉得这些仙人修炼这种种苦行，都不是真正的解脱之道。他想，“我现在不应当留在这里，我应当再到别的地方去寻求最终解脱之道。”太子一想到此，于是就跟那些仙人告别，准备到别的地方去。当时众位仙人听到太子要走，就纷纷对太子说道：“你这位仁者来到我们这里，我们都是十分欢喜的，而且你使我们这么多人陡增了许多威仪道德，我们都很感谢你。但现在你为什么要突然离开这里呢？是不是我们有失礼仪，在言语方面有所冒犯，得罪了你呢？究竟是什么原因不在这里住下来呢？”太子恭敬地回答道：“不是你们有什么过失，也不是礼仪上有什么不到的地方，我只是觉得你们修炼的苦行，只是增长苦痛的因，而我现在要学的道，却是要消除苦痛的根源，因此之故，我才决定离开这里。”众位仙人听到太子这样的话，个个面目相觑，纷纷议论道：“这位仁者修行的道极为广大，我们有什么福德能将他留住下来么？”
当时跋伽仙苦行林中有一位仙人对相法非常精通，他仔细研究了悉达多太子的相貌，于是对众人说道：“这位仁者，各相具足，一定会得到一切种智，他将来定当做天人间的导师。”他说完这话，便率领苦行林中的仙人们一起来给太子送行，并对太子说道：“我们和你所修行的道各有不同，不敢留下你和我们在一块修行。但如果你要离开，你可以向北走，那里有两位大仙，名叫阿罗逻和迦兰。你可以到他们那里去，和他们进行讨论研究，或许可以得到一些收获。不过，我看你这位仁者，也绝不会在他们那里停留很长时间的。”太子听了他们的劝告，于是当即和他们告别，往北而行。各位仙人见到太子离去，一个个都有留恋之意，他们合掌相送太子，到看不见了太子的身影才回去。