この場合の「そこに寄らなくてもいいわ」は次のように表現できます。
ーYou don't have to go there.
「そこに行かなくてもいい」
ーNo need of going there.
「そこに行く必要はない」
例:
A: They didn't have any watermelons at A supermarket. Do you want me to go to B supermarket?
「Aスーパーにスイカなかった。Bスーパーに行こうか?」
B: Don't bother. It's okay.
「大丈夫、行かなくていいよ」
don't bother で「それには及ばない、気にしないで、お構いなく」などの意味があります。
ご参考まで!