휴정서원은 숙종 25년(1699)에 연산에 건립되었으며, 유무를 주향으로 하고 유문원, 이항길, 김정망, 권수 등 4인을 추배 하였다. 고종 8년(1871) 전국적인 서원 훼철령으로 철폐되었고, 1919년에 다시 복원되었다. 그 후 탑정저수지가 완공되면서 서원이 수몰되자 1944년 현재의 위치에 단소를 설치하였다가 1984년 사우를 복원하였으며, 1985년 구봉 송익필을 주향으로 하고 김공휘, 김호, 이항길, 유무, 김상연, 김진일, 김우택 등 8위의 위패를 봉안했다.