「夜遅くに」は
late at night
at a late hour
などと言います。
1) I'm sorry to bother you late at night.
「夜遅くにすみません。」
bother で「迷惑をかける・邪魔をする」という意味です。
2) I'm sorry to call you at such a late hour.
「こんな夜遅くに電話してすみません。」
ご参考になれば幸いです！
ご質問ありがとうございます。
・「Sorry to bother you late at night.」
（意味)夜遅くに失礼します。
<例文>Sorry to bother you late at night. I forgot to ask you when tomorrow's meeting is starting.
<訳>夜遅くに失礼します。明日の会議がいつ始まるかを聞くのを忘れました。
参考になれば幸いです。
日本 
アメリカ合衆国 
