直訳的なI don't care if your reply is lateはちょっと不自然ですね。雰囲気としてちょっとだけネガティブです。
私なら相手から仕事の予定が分からないのでまたあとで連絡すると言われた時の返事で、
No hurry, it's okay if you reply whenever
急がなくていい、いつでも（都合のいいとき）返事してOK
で表現します。
ご参考になれば幸いです！
Don't worry if it takes a little longer to get back to me.
この場合、次のような言い方ができますよ。
A: Would you like to go out for supper next Friday?
「来週の金曜、夕食を食べに行きませんか？」
B: I don't know what my work schedule looks like now. I'll let you know later.
「今、仕事のスケジュールがわからないから、あとで知らせますね」
A: Don't worry if it takes a little longer to get back to me.
「返事に少し時間がかかっても気にしないでくださいね」
ご参考まで！
アメリカ合衆国 
カナダ 
