Sorry I forgot to say thank you for the gift yesterday.
ご質問ありがとうございます。
気心の知れた人であれば、最初に Sorry「ごめんね」と軽い感じで、
I forgot to say 「言うことを忘れた」と続けます。
その後ろに、thank you for the gift をつけると、「贈り物に対してのお礼を」(言うことを忘れてごめんね)と表現することができます。
"Sorry I forgot to say thank you for the gift yesterday."
昨日、贈り物に対してのお礼を言うことを忘れてごめんね
他にも表現方法はありますので、ご参考までに。