"see each other"= (実際に)「会うこと」又は、「付き合うこと」という意味でも使えます。
「正直いつも予定を変えられるのも困るので」という部分は"To be honest, it's troublesome for me when you keep changing the schedule"と言えます。
「前日に変更されるのが困る」と表現したい場合は"It's inconvenient for me when you change your schedule at the last minute." (last minute=突然の変更)