사산사는 1670년(현종 9년)에 서원으로 창건하였다. 1700년(숙종 26년)에 사우로 중건하고, 함평이씨 시조 함풍군 언, 전라좌수사 춘수, 효우당 접의 삼위를 초향 했다. 1778년(정조 2년)에 함성군 장양공 종생, 기성군 긍 이위를 추가 배향하고 향사우로 봉향하였다. 1868년(고종 5년)에 국령으로 사우를 훼철하였고, 1872년(고종 9년)에 사당 내 유허비와 제단을 세우고 제사를 지냈다. 1902년(광무 6년)에 영풍문회에서 1906년에 단문과 담장을 축조하고 제전을 마련했으며, 1910년에 사우를 복원했다. 1936년에 현재 사우로 중건하여 참판공 종수와 현령공 주 이위를 추가로 배향했다. 1988년에 신실 단청과 내외삼문 및 담장 일부를 준공하였고, 1990년 경행당(강당)을 준공했다. 매년 양력 3월 마지막 토요일에 제향을 올린다.