선찰사는 들판 가운데 자리 잡고 있는 사찰이다. 절 주위로 사과밭이 넓게 펼쳐져 있는데 사과밭 속에 자리한 선찰사는 봄이면 사과 꽃 향이, 가을이면 사과향이 진동을 한다.
선찰사는 신라시대에 창건한 것으로 알려졌으나, 누가 창건한 지는 알 수 없다. 선찰사의 원위치는 이곳이 아닌 임하댐 건설로 수몰된 임하현 남쪽 17리쯤 되는 약산 동쪽의 물길이 휘돌아 돌고 왼쪽은 절벽으로 막혀 있으며, 앞으로는 독산이 마주한 곳에 터를 잡고 있었다고 한다. 이는 「영가지」의 기록에도 나타나 있다. 이곳은 임하댐의 건설로 인해 수몰되어 지금은 찾아볼 수 있는 자취 대신 안타까움만 남았다.