We can hardly agree where to visit, because each of us has a different choice.
「まとめるのが大変」は
We can hardly agree(なかなか意見がまとまらない)
その内容は
where to visit / where we should visit(どこに行くか)
ということになります。文章なら where の前に as to をつけてもいいですが、口語ではまず言いません。
「それぞれ行きたい場所が違う」は
each of us has a different place of his/her choice(それぞれ希望する場所がある)
ですが、場所のことだとわかっているので、後半は different choice と縮めていいと思います。