They always contact me at the last minute, so I never know any details until then.
いつも always
ギリギリに at the last minute
連絡が来る contact me
直前まで until then (until the last minute)
詳細 details
分からない I don't know
予定を立てにくそうですね!
「ギリギリに連絡が来る」というところは contact me at the last minute でいい伝え方だと思います。
ご参考になれば幸いです。