私たちは外国人を特に拒否しているわけではない、って英語でなんて言うの？

可能な限りカジュアルに言うのであれば "nothing against ~" →「～に対して悪く思っていない」 という表現があります。質問者様の危惧するようなrefuse、reject、denyのような堅苦しい表現でなければ、友達同士でも使えるすぐに人種差別に結び付けられる表現でもないので語弊もないと思います。 しかし、大前提として、人種差別により敏感な西欧圏の人と話すのであれば「外国人」とひとくくりにして何かを言うだけ苦い顔をされてしまう可能性が高いと思います。ので印象を悪くしないために一言目ではなくその後に差別意識がないことをいかに説明するか、そしてそれをいかに態度で示すかが重要かと思われます。