향원은 덕의 적이다.
‘논어’ ‘子路’에서 공자는 ‘중도에 맞게 행동하는 사람을 얻어 같이 할 수 없다면 반드시 뜻이 큰 사람이나 절조를 굳게 지키는 사람과 함께 할 것이다. 뜻이 큰 사람은 나아가 取하려 하고 절조를 지키는 사람은 하지 않는 바가 있다’고 했다. 中道에 맞게 행동하는 선비가 없다고 해서 향원을 선택해서는 안 되며, 차라리 뜻이 큰 狂者(광자)나 節操(절조) 있는 견者(견자)와 함께 일하는 편이 낫다고 말한 것이다. 그런데 향원은 광자나 견자를 비난한다.
‘맹자’ ‘盡心(진심)·下’에 보면 향원은 광자와 견자를 두고 “행하는 것이 어이 그리 쓸쓸하고 고독하단 말인가. 이 세상에 태어난 바에는 이 세상 사람들과 살면서 사람 좋다고 인정받으면 되는 것이 아닌가?”라고 말한다고 했다. 하지만 공자는 ‘내 문전을 지나면서 내 집에 들르지 않아도 내가 유감으로 여기지 않는 자는 오직 향원이로다. 향원은 덕의 적이다’라 말했다고 맹자는 덧붙였다. 향원은 私만 알고 公을 모르며 통념에 순응할 뿐 진취를 모른다. 우리는 혹 향원의 실체를 못 알아보고 그를 후덕하다 여기지 않는가?