この場合、次のような言い方ができますよ。
A: Do you have any pets?
「ペットを飼っていますか?」
B: My family aren't what you call pet lovers.
「うちの家族はいわゆるペット愛好家ではない」=「うちの家族は動物が大好きで飼いたいってほどではない」
または次のような言い方もできます。
ーNone of my family are big on pets.
「うちの家族はペットが大好きっていう人がいない」=「嫌いじゃないけど好きってわけでもない」
ご参考まで!