Let me come over. は「（あなたのところに）寄らせて・行かせて」みたいな意味です。
もし相手が来ても良いなら次のように返事すると良いでしょう。
ーSure, come over whenever you like.
「いいよ、好きな時に来て」
ーSure, it would be great to see you.
「いいよ、会えたら嬉しいわ」
もし都合が悪い場合は、次のように言えます。
ーI can't see you today, but tomorrow might work.
「今日は会えないけど、明日なら大丈夫だと思う」
ーI have to work today, so how about the weekend?
「今日は仕事だから週末はどう？」
ご参考まで！
"Let me come over"とは「（あなたの家に）行かせてください」または「（あなたのところに）来させてください」という意味です。これは一般的に、相手があなたの家を訪れることを提案していることを示します。
あなたが彼らを歓迎して、彼らが訪れることを喜んでいるなら、「Sure, you're always welcome!」（もちろん、いつでも歓迎です！）または「Of course, I'd love to have you over.」（もちろん、あなたを招待するのがうれしいです）が自然な応答となります。
しかし、都合が悪い場合や訪問を好まない場合は、適切に回答を変えても良いです。たとえば、「I'm sorry, but it's not a good time for me.」（申し訳ありませんが、私にとって良い時間ではありません）などの回答も考えられます。
カナダ 
アメリカ合衆国 
