임장서원은 우리 곡성임씨 8세이신 만절당(晩節堂)께서 기묘사화(己卯士禍)에 많은 선비들이 화를 입는 것을 보시고 은거하시기 위하여 찾은 곳에 정사(精舍)를 지어 주자학을 연마 하시고 후학을 양성하던 곳이 서원건립의 모태가 되었다.

이후 숙종 26년(1700년)에 지역 유림들의 발의로 주자(朱子)의 학문과 덕행을 추모하기 위하여 주자서원(朱子書院)을 창건하여 주자의 위패를 모셨다. 숙종 39년(1713년)  임장(臨漳)이라는 사액을 받아 임장서원(臨漳書院)으로 개칭 하였으며 순조1년 (1801년) 송시열을 추가 배향하였다.

당시의 경내 건물로는 사우(祠宇), 강당, 동재(東齋), 서재(西齋), 전사청(典祀廳) 등이 있었으며, 원내에는 정조가 편찬한 양현 전심록(兩賢傳心錄)의 판각을 소장하고 있었다.  선현배향(先賢配享)과 지방교육의 일익을 담당하여 오던 중 고종5년(1868년) 대원군의 서원 철폐령으로 훼철 되었다가 뒤에 복원하였다. 그러나 6·25동란으로 다시 소실 되었다. 그후 서원터에 제단을 마련하여 지방 유림들이  향사를 지내다가 1998년에 현재의 모습으로 건립하여 주자(朱子), 송시열 (宋時烈), 만절당(晩節堂) 3위의 위패를 모시고 매년 음력 9월 보름에 향사를 지내고 있다.