こんにちは！
ご質問ありがとうございます。
ご質問について、いくつか言い方が考えられますが、例えば、
I had gone to Tokyo that day.
として、『私はその日東京へ行っていました。』
I celebrated my birthday in Tokyo.
として『私は東京で誕生日を祝いました。』
I spent my birthday in Tokyo.
として『私は東京で誕生日を過ごしました。』
とするのはいかがでしょうか。
役に立ちそうな単語とフレーズ
celebrate 祝う
spend ～を過ごす
参考になれば幸いです。
ご質問ありがとうございます。
"On that day, I had gone to Tokyo."＝「その日は、東京に行っていました。」
追加：
Person A: "How did you spend your birthday?"＝「どのように誕生日を過ごしたの？」
Person B: "On that day, I was in Tokyo to go visit a friend of mine."＝「その日は、友人を訪問するために東京に行っていました。」
ご参考までに。
日本 
アメリカ合衆国 
