「遅ればせながら、お誕生日おめでとう」は、Happy belated birthday.です。
a little belated という言い方もします。
Congratulations on your 10th anniversary! It's a little belated, though.
遅ればせながら、１０周年おめでとう。
というような感じです。
会話であれば、言いたい内容の後に a little late, though と付け加えるのが１つの方法です。
たとえば、
Congratulations -- a little late, though.
遅ればせながら、おめでとうございます。
のように言うことができます。
これに比べて、Yumiさんの belated は
belated（遅ればせながらの：形容詞）⇢ belated apology（遅ればせながらの感謝）
belatedly（おくればせながら：副詞）⇢ thank him belatedly（遅ればせながら彼に感謝する）
のように使えるので、応用がきいて便利なのが良いところです。
日本 
