これを直訳するのは避けたほうが良いと思います。文化の違いで誤解する恐れがあります。英語で「Invite me to ...」のような言い方は命令形に聞こえるかもしれません。しかも、「誘ってほしいなら、誘ってくればいいじゃん。」と思わせるかもしれません。
そして、「たまには」は「sometimes」で大丈夫ですが、少し曖昧な言い方です。「来週のいつか」「sometime next week」や「来月のいつか」「sometime next month」のように絞ると相手は安心します。
なので、「来週ランチ行こう！」のようなダイレクトな言い方がお勧めします。例えば：
Let’s have lunch sometime next week!
How about going for lunch sometime next month?
「たまに」はonce in a while, at times (時々といったニュアンス）for a change（気分転換に、たまに） occasionally someday（いつか） などがありますので
Ask me to lunch once in a while.（たまにランチに誘ってね）
あるいは
Let's have lunch together at times.
（たまには、一緒にランチしよう）
などといえばよいかと思います。
カナダ 
日本 
