ご質問ありがとうございます。
この場合、適切な答えを考えました。説明したいなら「yes but in this case...」から始まります。そうすると、「私たちだけで遊びたい」と伝えたいなら、「He/she wants to talk to me about something so it'll only be us two.」になります。
会話はこのようななります。
私：遊びに誘われたからこの日は出かけるね。
I was invited to hang out so I'll be out on the ○○ of this month.
A：良いけど次から誘われたら私も行っていいか聞いてくれない？
That's good and all but next time you're invited, ask if I can come along?
私：（誘われてないってことはそういうことなんだけど…）
Yes but in this case he/she wants to talk to me about something so it'll only be us two.
この言い方で相手（ルームメイト）に傷つけずに言えます。
ご参考になれば幸いです。
アメリカ合衆国 
