その部署には英語が専門分野じゃない人が5人はいたって英語でなんて言うの？

whose field of expertise was not を使うのであれば１つめの答えのように使うといいです。 二つ目の答えの方が若干カジュアルな言い方ではあります。 あえて専門分野という難しい言い方をするのであれば１つめで良いです。単純に英語が得意じゃない、と言いたいのであれば、doesn't know English very well, doesn't speak much English などのような言い方がございます。どうぞご参考までに。