罗睺寺位于塔院寺的东北面,是五台山专供罗睺罗的道场,建寺历史最早可追溯于北魏时期,清朝时发展为地位仅次于菩萨顶的一座黄庙。寺庙内的“开花献佛”闻名遐迩,还是五台山著名的“五大禅处”之一,关于罗睺寺名称的来历,有两种说法。
第一种说法是佛太子说。传说释迦牟尼的嫡子在其母肚里怀孕七年,于释迦牟尼称道之夜降生,起名罗睺罗。罗睺罗十五岁时随释迦牟尼出家,是佛教史上的第一个沙弥,后来成就了罗汉果位。北宋时期,丞相张商英在当时还名善住阁院的罗睺寺新建了罗睺殿,供奉了罗睺像,罗睺寺也就因此而名了。
十六祖罗睺罗尊者第二种说法是西方十六祖说。传说释迦牟尼死后,将教义传给了大徒弟摩柯迦叶,中国佛教称其为西方初祖。