改变吴历人生轨迹的，是两趟“朝圣之旅”。第一次发生在康熙初年，时任钦天监监正的德国人汤若望因被指责新历有假，于是整个西洋团队均遭罢黜，但此后中国监正推闰失误，洋团又得以复职。常州人许之渐与汤若望等人交好，闻讯便立即要去北京贺喜。长路漫漫，许之渐力邀吴历同行，后者欣然应允。

　　在北京，吴历的思想与事业统统得到了升华。许之渐曾是顺治进士，他本想将吴历推荐入仕，可吴历却反被一些西方事物所吸引。在汤若望平反后，京城的欧洲学者备受尊重，通过许之渐的介绍，吴历结识了很多外国友人，并能融入其中，怡然自得，继而打开了自己心中的另一扇窗。此外，他用空闲时间观摩了很多古书字画，且从中获得了不少灵感。在北京的这段日子，吴历开始步入创作的黄金期，在中国的文化圈内也逐渐有了名气。

　　若不是得知默荣离世的消息，吴历或许会长留北京。默荣是常熟兴福寺僧人，同时也是吴历的学生，两人实为莫逆之交。此番生死永别，吴历以一幅《兴福庵感旧图》来纪念挚友，随后又自题了“自惭浪迹，有负同心”和“云看无限意，何事即浮沉”等一些文字，流出一股对世界的无奈与敬畏之心。在之后的几年中，他的儒学老师陈瑚，以及恩师王鉴、王时敏也先后离世，这时的吴历已年近半百，陋室空堂，满目凄凉，是时候开启那第二次“朝圣之旅”了。

　　《湖天春色图》作于吴历45岁那年，作者以爽朗明快的线条绘出了一幅早春的南国美景，图中既采用了西洋画法，也毫无一丝忧郁。原来，这幅画是吴历赠给欧洲友人远西鲁（鲁日满）的礼物，画中题跋就有：“丙辰春从游远西鲁先生，得登君子之堂，诗酒累日。”难得吴历如此开心，在那段艰难的日子里，与外国朋友的会面或许成了他的寄托。就在王时敏去世后的第二年，吴历决定跟随比利时人柏应理前往欧洲生活，但当俩人抵达澳门时，吴历却染上了疾病，无法承受大海的颠簸，旅行最终也未能如愿。

　　一年后，柏应理独自回到了欧洲，他将带回的汉文书刊献给了罗马教皇，这批典籍随后就被收藏在了梵蒂冈图书馆，并对以后的中欧文化交流起到了关键作用。而吴历也彻底离开了家乡那口墨井，开始了第二段旅程。

　　在“清初六家”中，王翚因与吴历同龄又同门，世人就常把二人拿来比较，各自褒贬不一。直到他们71岁那年，胜负似乎有了定论，王翚在吴历的《凤阿山房图》上留下了一段颇有深意的题跋：“墨井道人与余同学同庚又复同里，自其遁迹高隐以来，余亦奔走四方，分北者久之，然每见其墨妙，出宋入元，登峰造极，往往服膺不失。”（张天慜）