先有潭柘寺后有北京城
潭柘寺始建于西晋永嘉元年（公元307年），是佛教进入北京地区后所修建最早的一座寺院，当时规模不大，名叫嘉福寺。佛教作为一种外来宗教，在传入中国北京地区的初期，还未能被百姓所接受，也没有得到地方官府的支持，因而发展很缓慢，以后又经过了北魏和北周的两次“灭佛”，使佛教受到了很大的打击，嘉福寺自建成之后，影响不大，一直也没有什么发展，后来逐渐破败，直到了唐代才兴盛起来。
唐代武则天万岁通天年间（696-697年），佛教华严宗高僧华严和尚居住在幽州城北，“持《华严经》以为净业”，“其所诵时，一城皆闻之，如在庭庑之下”。在幽州都督张仁愿的赞助下，华严和尚来到了潭柘山开山建寺，购买了嘉福寺附近西坡姜家和东沟刘家的土地，以破败了的嘉福寺为中心，重建寺庙。华严和尚带领僧众填平了寺内一个叫“青龙潭”的大水坑，修筑殿宇，扩建寺院，开拓出了潭柘寺的雏形。寺院后山有两股丰盛的泉水，一眼名为龙泉，一眼名为泓泉，两股泉水在后山的龙潭合流后，流经寺院，向南流去，不仅满足了寺院日常的生活用水，而且还能灌溉附近大片的土地农田，正是因为有了这股宝贵的泉水，此后附近才出现了平原、南辛房、鲁家滩等村庄。故而华严和尚将嘉福寺改为“龙泉寺”。潭柘寺有了一定的规模，并在幽州地区有了名气，逐步地发展、兴盛了起来，所以后人尊华严和尚为潭柘寺的“开山祖师”。华严和尚也因此而名列《续高僧传》。
唐代会昌年间，唐武宗李炎崇信道教，在道士赵归真和权臣李德裕的怂恿下，唐武宗下令在全国排毁佛教。潭柘寺也因此而再次荒废。直到了五代后唐时期，著名的禅宗高僧从实禅师来到了潭柘寺，铲除荒夷，整修寺院，“师与其徒千人讲法，潭柘宗风大振”，才使潭柘寺重又繁盛了起来。当时的潭柘寺也从此由华严宗改为禅宗。
在金代，禅宗在中都（今北京）地区有了很大的发展，潭柘寺先后出现了数位禅宗大师，大大提高了寺院的声誉。金熙宗完颜亶于皇统元年（1141年）到潭柘寺进香礼佛，并拨款对潭柘寺进行了整修和扩建，这是第一位到潭柘寺进香的皇帝，使后代皇帝争相效仿，这对于进一步提高潭柘寺的地位，繁盛寺院香火，都起到了极大的推动作用。金熙宗将当时的寺名龙泉寺改为“大万寿寺”，拨款对潭柘寺进行了大规模的整修和扩建，开创了皇帝为潭柘寺赐名和由朝廷出资整修潭柘寺的先河。
元代的潭柘寺依然辉煌，元世祖忽必烈的女儿妙严公主曾在潭柘寺出家。当时著名的僧人有瑞云霭禅师、柏山智公禅师等，都是当时禅宗佛学大师，享有崇高的声望。他们对于整修寺院，繁盛潭柘寺的香火等方面都起到了很大的作用。
明代是潭柘寺的兴盛时期，这首先得益于明初重臣姚广孝。明建文帝削藩时，明成祖朱棣就是按照姚广孝的谋划，起兵“靖难”夺取的皇位。功成名就之后，姚广孝辞官不做，而到京西的潭柘寺隐居修行，每日里与自己的老友，潭柘寺住持无初德始禅师探讨佛理。期间，明成祖朱棣还曾到潭柘寺看望过他。据说当年修建紫禁城时，设计师就是姚广孝，他从潭柘寺的建筑和布局中获得了不少灵感，例如太和殿就是仿照潭柘寺的大雄宝殿而建的，同为重檐庑殿顶，井口天花绘金龙和玺，所不同的是更高大了一些而已。
明代从太祖朱元璋起，历代皇帝及后妃大多信佛，再加上当时宦官机构宠大，并权高势重，他们为了年老出宫之后有一个安身之所，而不惜耗尽积蓄，到处修建寺庙。在明代二百多年的期间内，或由朝廷拨款，或由太监捐资对潭柘寺进行了多次整修和扩建，使潭柘寺确立了今天的格局。皇帝、后妃、王公大臣、权监等纷纷到此进午礼佛、游山赏景，民间善男信女们更是视潭柘寺为佛门圣地。当时的潭柘寺不仅是北京一座有代表性的宏刹巨寺，而且还是当时对外交流的一个窗口，许多外国人久慕潭柘寺的盛名，而纷纷到此来学习佛法，有的甚至终老于此，其中最著名的有日本的无初德始、东印度的底哇答思、西印度的连公大和尚等人。
清代是潭柘寺历史上最辉煌的时期。在清代，潭柘寺改禅宗为律宗，并出现了多位律宗大师。在清代的历史上，先后有康熙、雍正、乾隆、嘉庆四位皇帝，多次到潭柘寺进香礼佛，这对于提高潭柘寺的地位，繁盛香火等方面都起到了极大的作用。有了皇帝的宠爱，潭柘寺有恃无恐，趁机广置庙产，增购土地，扩展林区和山场，发展成为了一座庞大的寺庙地主庄园，此时的潭柘寺已经发展到了其历史上的顶峰时期。
1929年蒋介石来北京时，曾专程到潭柘寺去进香，并且送给潭柘寺几支大枪。此外，潭柘寺与日本人的关系也相当密切，纯悦方丈与当时日本裕仁天皇的大女婿大谷光瑞是挚友，大谷光瑞是一个虔诚的佛教徒，经常到潭柘寺来小住，向纯悦方丈学习佛法。因为有这种关系，故而在日本侵占京西期间，唯独潭柘寺没有受到任何骚扰。
1956年，全国人大朱德委员长到潭柘寺视察，指示有关部门，修建了现在这条从门头沟通往潭柘寺的公路，为前来游览的人们提供交通上的方便。
1957年10月28日，经北京市人民政府批准，潭柘寺被列为北京市首批重点文物保护单位，对潭柘寺的文物保护工作起到了很大的作用。1978年，北京市政府拨款，重修潭柘寺。这次重修不仅整修了殿堂，重塑了佛像，而且还修建了旅游服务设施。1980年7月，潭柘寺进行试开放，以崭新的姿态展现在了人们的面前。如今的潭柘寺已经成为了北京市一处著名的旅游胜地。