We should have a meeting with just the four of us.
この場合、次のような言い方ができます。
ーWe should have a meeting with just ourselves.
「私たちだけでミーティングしましょう」
to have a meeting with just ourselves で「私たちだけでミーティングをする」
ーWe should have a meeting with just the four of us.
「4人だけでミーティングをしましょう」
このようにそこにいる人数を使って言うこともできます。
ご参考まで!