相手を食事に誘ってその返事を待っている状態なのですが、相手から仕事の予定が分からないのでまたあとで連絡すると言われた時の返事で、これを言いたいです。
直訳的なI don't care if your reply is lateはちょっと不自然ですね。雰囲気としてちょっとだけネガティブです。
私なら相手から仕事の予定が分からないのでまたあとで連絡すると言われた時の返事で、
No hurry, it's okay if you reply whenever
急がなくていい、いつでも(都合のいいとき)返事してOK
で表現します。
ご参考になれば幸いです!