1924년 경남 양산에서 태어난 서 씨는 1946년 육군사관학교를 1기로 졸업한 뒤 5·16군사정변에 참여해 박정희 정권에서 주요 요직을 두루 거쳤다. 육군참모총장과 대통령 안보담당 특별보좌관을 거쳐 1973∼77년 국방부 장관을 지냈다. 서 씨는 장관 재임 시절인 1977년 당시 지미 카터 미국 대통령의 주한 미2사단 철수 선언을 계기로 이듬해 헤럴드 브라운 미 국방장관과의 합의에 따라 한미연합사령부를 창설했다.
고인은 군 사조직인 ‘하나회’의 후원세력이기도 했다. 그가 참모총장으로 재직하던 시절 전두환 노태우 전 대통령이 잇따라 그의 수석부관으로 활동했다. 전두환 정권이 들어선 뒤 고인은 8년 동안 한국야구위원회(KBO) 총재를 맡았고 이후 말년을 조용히 보냈다. 가수 서지영 씨가 고인의 손녀다.