I went to your orchestra concert when you came to Japan.
あなたが日本へ来た時、私は貴方のコンサートに行きました。
という意味になります。
本人とお話されているということで、これでいいのではないかと思います。
音楽会はだいたいコンサートといいます。変な感じですが、ロックの場合でも、Rock concert です。(小さなコンサートだとgig とも言いますが。。。)
コンサートへは「行く」ので、ここではgo で良いかと思います。
ほかの言い方として、
Went to see your concert
とも言えるでしょうか。
あまり、聴きに行くという表現はしないかと思います。
どうでしょうか
日本 
