急に誘われるのは嬉しいですが場合に寄っては困りますよね。
この場合は前もってで in advance と言う表現を
使うのがおすすめです。
急だと伝えたい時に at the last minute を使うのも良いです。
「いつも誘うのが急なんだよ。次からは前もって聞いて下さいな」
"You always invite me out at the last minute. Please ask in advance next time" など
I could go out with you if you let me know at least a few days beforehand.
「2，3日くらい前に」と情報を加えて下記のようにしてみました。
I could go out with you＝「あなたと出かけられるかも」
let me know＝「私に知らせる」
at least＝「少なくとも」
a few days beforehand＝「2，3日前に（事前に）」
I could go out with you if you let me know at least a few days beforehand.
「少なくとも2，3日前に知らせてくれれば、一緒に出掛けられるかもよ」
ご参考まで
日本 
