修学旅行に広島に行った時、そこに原爆ドームがありましたって英語でなんて言うの？

❶When I went to Hiroshima for my school trip, I saw the Atomic Bomb Dome.
(修学旅行で広島に行った時、原爆ドームを見ました)。

❷When we went to Hiroshima for our school trip, we visited the Atomic Bomb Dome.
(修学旅行でみんなで広島に行った時、原爆ドームに行った)。

School trip-修学旅行
atomic bomb dome-原爆ドーム
〜という言い方になります。

もう既に回答があるように、私も I saw や we visited の方が無難だと思います。
特に原爆ドームという固有名詞ではこちらの使い方が自然だと思います。

ただ、使おうと思えば以下のような言い方もできます。
When I went up the mountain, there was a castle.
山に登った時、そこにお城がありました。

When I went up the mountain, there was a girl.
山に登った時、そこに女の子がいました。

ここでの過去形はあくまであなたがそこへ行った時の話をしており、今あるかどうかについては特に言及していないことになります。この文に there is を使うのはかえって文法的に間違いになります。
お城ならさすがに今もあるだろう、女の子なら今もいるとは限らないと思うでしょうが、それはあくまで文脈で判断するものです。