"see each other"＝ （実際に）「会うこと」又は、「付き合うこと」という意味でも使えます。
「正直いつも予定を変えられるのも困るので」という部分は"To be honest, it's troublesome for me when you keep changing the schedule"と言えます。
「前日に変更されるのが困る」と表現したい場合は"It's inconvenient for me when you change your schedule at the last minute." (last minute=突然の変更）
To be honest, having our plans changed on me repeatedly has been really hard, so I think we should hold off on making plans for a while.
こんにちは！
ご質問ありがとうございます。
ご質問について、いくつか言い方が考えられますが、例えば、
To be honest, having our plans changed on me repeatedly has been really hard, so I think we should hold off on making plans for a while.
とすると、「正直、[何度も](https://eikaiwa.dmm.com/uknow/questions/87607/)予定を変えられるのが辛くなってきたので、しばらく約束するのは一旦やめにしたいと思います。」となります。
役に立ちそうな単語とフレーズ
hold off on 〜を一旦やめる・見合わせる
change plans at the last minute 直前に予定を変える
repeatedly 何度も繰り返して
see each other 会う・付き合う
参考になれば幸いです。
アメリカ合衆国 
日本 
