こんなときは、

I know what you're saying.
I understand what you're saying.

のどちらかがお勧め。しかし、

I know where you're coming from.
I understand where you're coming from.

なんてのも同じぐらいお勧め。こっちのほうは「君がどこからやって来ようとしているかわかる、理解できる」と言いつつ、「何を言わんとしているかわかる、理解できる」といったところです。