この場合、次のような言い方ができますよ。
ーSo you don't want to see him often.
「じゃあ彼には頻繁に会いたくないね」
ーYou probably don't want to see him again soon.
「あまりすぐ彼には会いたくないだろうね」
ご参考まで！
It's probably better if you only meet him occasionally.
こんにちは！
ご質問ありがとうございます。
先のアンカーさんが回答されているので、ここでは他の例を挙げてみます。例えば、
It's probably better if you only meet him occasionally.
とすると、『彼に会うのは[たまに](https://eikaiwa.dmm.com/uknow/questions/44436/)でいいね』となります。
役に立ちそうな単語とフレーズ
occasionally 時々、たまに
参考になれば幸いです。
カナダ 
日本 
