次のように言うのが自然な言い方になると思います。
ーNot many Japanese houses have proper insulation.
「ちゃんとした断熱材が入った日本の家はあまりない」
Not many を使って言うのが良いと思います。
もし few Japanese を使って言うなら次のように言うと良いでしょう。
ーVery few Japanese houses have proper insulation.
「ちゃんとした断熱材の入った日本の家はとても少ない」
ご参考まで!