●失礼致しました
① I'm so sorry S V ~（～して本当にスミマセン。）
② I'm so sorry for ~（～のこと本当にスミマセン。）
③ I must apologize for ~（心からお詫び申し上げます。）
→ ③はビジネス向けです。直訳は「～のこで私は謝らなければなりません」です。sorryがカジュアル・フォーマル両方で使えるのに対し, apologizeはフォーマル限定というイメージです。mustは省略してもOK。
→ ①②のI'mを省略し, So sorryやSorryで始めると, カジュアル度がさらに増します。相手との親密度によってはビジネスでも使えないこともないと思います。
●返信が遅くなる
① couldn't get back to you sooner（もっとすぐに返信できないかった）
→ 「返信する」となるとreply（返事する・返事）やrespond（返事する）が最初に浮かんでくることが多いですが, ネイティブスピーカーは, get back to = ～に返事する を多用します。soonerをearlier（もっと早く）やat once（すぐに）で代用できます。是非get back to を使ってみてください。
② my/the late reply（私の/その遅い返信）
③ the delay in replying（返信の遅れ）
→ delay = 遅れ です。電車が遅延しているときに駅の電光掲示板を見ると "Delay 3 min"（遅延3分）のように書かれてあります。
こんにちは。
・I apologize for the late response.
「返信が遅くなってしまい申し訳ございません」
・Sorry for the delayed response.
「返信が遅れてしまいすみません」
上記のような言い方ができます。
apologize（謝る）という言葉を使うとよりフォーマルな感じになります。
スペルは z（アメリカ英語）でも s（イギリス英語）でも正しいです。地域差があります。
「返信」は response や reply、「遅れた」は late や delayed と言えます。
ぜひ参考にしてください。
apologise は(口頭または文書で)謝る，わびるという意味があります。Sorryよりフォーマルな表現なので、公的なメールの文章内でも会社での会話でも使ってもらます。
late response で遅い返信、返事などという意味です。
ご参考までに♬
情熱と生きよう♬Live with passion♬
謝る場合には、I am sorryやI apologizeを使うといいのですが、
この際に重要なのはその後ろです。どちらもforがきて謝罪の理由を入れます。
ここには-ingを入れても構いません。
お礼を言う時は、Thank you for…ですので、forはこのような感謝や謝罪を述べるときに使えることを覚えておくといいと思います。
日本 
アメリカ合衆国 
