went to 〜 は日本語で言う「〜へ行った」、visitedは「〜を訪問した」ですので、遊びに行った場合はどちらを使っても大丈夫です。例えばお泊まりした場合には stayed in 〜 を使った方がいいことはあります。
's が続くのは気になるかもしれませんが、今回のようなケースで話し言葉であれば、そのまま「お母さんの友達の家」と続けても不自然ではないと思います。逆に which is 〜 というような言い方は日常ではあまり使いません。一文が長くなると聞いている方も混乱しますので。
どうしても気になるようでしたら、
My mother's friend invited us to her house.
私の母の友達が家に招待してくれました。
という手もあります。