(面接官が）３人は少ない方ですよって英語でなんて言うの？

英訳１：「私のときより少ない人数です」が直訳です。
less ... than ～「～より少ない…」という比較級が使われています。
正式な書き言葉では、lessはpeople (person)のような「数えられる名詞」と一緒に組み合わさることはないのですが、略式ではよく使われます。

英訳２：low sideで「下の方」、つまり「数ない方」ということ。

英訳３：こちらも１と同様で、peopleは数えられる名詞なので、muchではなくmanyでもOKです。

That's not that bad.（そんなに悪くないじゃない）などもこの場面では自然な返しです。

No, that's better! I had five in my interview!
え！それはまだ良いよ。自分の時には５人だったよ！

すこしジュアルな表現になります。
"better"という表現ですが、暗に面接官は少ない方がよいという
ニュアンスを込めて伝えたい時にはこのように言えます。
同様の意味ですが、
"I (got) worse!"
自分の時の方がきつかったよ！

というような言い方もできますね。