ゲームをする= to play games となりますが、文脈から何の話かわかっているのであれば、to play「遊ぶ」だけでも通じます。to game とも言います。
I'm sad I can't play games with you.
I'm sad I can't play with you.
I'm sad I can't game with you.
これらのどれでも大丈夫です。
名前を使うなら you を名前で入れ替えます。
I miss playing with you! だと「あなたとゲームが一緒にできなくて残念である」というニュアンスです。