相手がその場所にいてもいなくても、相手の方に行くことを言うなら come を使って言うと良いですよ。
ーCan I come to your office?
「あなたの事務所に行っていいですか?」
ーCan I come visit your office?
「あなたの事務所に行ってもいい?」
ーCan I stop by your office?
「あなたの事務所に寄ってもいい?」
come 以外に to stop by を使っても言えます。
ご参考まで!
ご質問ありがとうございます。
・「Can I visit your office?」
「May I visit your office?」
(意味) あなたの事務所に行ってもいいですか?
<例文>May I visit your office?// Sure! When?
<訳>あなたの事務所に行ってもいいですか?//いいですよ!いつですか?
参考になれば幸いです。