灵山寺位于小琉球屿北方沿岸山崖，白沙尾码头左侧，当东港或中芸前往琉球之交通船驶近该屿时，首先映入眼帘者，即此古色古香富丽庄严之寺观，该寺系于1960年六月间，由陈乃等士绅募资所兴建，并蒙台湾省警备总部琉球职训叁总队、海军实践队鼎力协助，历经叁年，于五十二年始告完成。