옥계서원은 율곡 이이의 유물인 「격몽요결」과 「해동연원록」 등을 소장하기 위해 세운 서원이다. 이이(1536∼1584)는 조선 중기 학자이자 정치가로 퇴계 이황과 쌍벽을 이루는 대학자이다.
옥계서원은 영조 3년(1725)에 지금 있는 자리에서 4㎞ 정도 떨어진 향옥동에 세웠으나, 흥선대원군의 서원철폐령으로 폐쇄되었던 것을 고종 6년(1867)에 마을 동쪽 200m 지점에 다시 세웠다. 서원의 건물로는 강당, 소원사, 내삼문, 외삼문, 관리사 등이 있다. 강당은 앞면 4칸, 옆면 2칸 규모로, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 소원사는 앞면 3칸, 옆면 2칸 규모이며, 지붕은 옆면에서 볼 때 사람 인(人)자 모양인 맞배지붕으로 꾸몄다.