ご連絡が遅くなりまして大変申し訳ございません。って英語でなんて言うの？

ビジネス的に、フォーマルに謝る “大変申し訳ありません” というのは、“I apologize"　または "I'm awfully sorry”（直訳）のどちらかでちゃんと伝わると思います。

“long delay” と言えば、直訳で “長い遅延” という表現を意訳して言うか、“my late reply” 、つまり私の遅くなった返信、という表現もまた好みで自由に選んで問題無いと思いますね。

いずれも参考に使ってみてください。

初めの文章は普段よりやり取りがある方に対しての標準的な丁寧さです。
後者はお取引先や目上の方にたいする丁寧な文章です。ビジネス英語は丁寧な言回しは長くなる傾向があります。

＜ボキャブラリー＞
delay = 遅れ
response = 返事
accept = 受け入れる
apology = 謝罪

I apologize for the late reply　は「返事が遅れ、申し訳ございません。」
I apologize は「謝る」という意味です。

delayed response は late reply と同じです。両方とも「遅れた応答/返事」という意味を持ちます。

返信がおそくなったことをフォーマルな感じで謝るなら上のように言うのが無難かなと思います。
他にもたくさん回答が挙がっていますが、表現の一つとしてご参考ください。

こんにちは。
さまざまな言い方ができると思いますが、下記のような英語表現はいかがでしょうか：

I apologize for the late reply.
返信が遅くなってしまい申し訳ございません。

Sorry for getting back to you so late.
返信が遅くなってしまい申し訳ございません。

apologize は「謝る」という意味の英語表現です。
sorry よりも丁寧なイメージです。

ぜひ参考にしてください。

I apologize for the late reply.
返信が遅くなりまして申し訳ございません。

上記のように英語で表現することができます。
apologize で「謝る」という意味になります。

ほかに：
I was on vacation.
休暇中でした。

お役に立てればうれしいです。

ご質問ありがとうございます。

I apologize for the late reply.
返信が遅くなってしまい申し訳ございません。

上記のように英語で表現することができます。
apologize は sorry よりもフォーマルな印象がある英語表現です。

お役に立ちましたでしょうか？
英語学習頑張ってくださいね！