I'm sorry, I only accept follows from people I know
面識があるということは、知り合いであることだと思います。
そういうのは「I know him」とか「I don't know him」(あの人知らない)と表現します。
なので、「I'm sorry, I only accept follows from people I know」を提案しました。
また、相手にとって残念なので、I'm sorry と断っておくことが丁寧だと思います。
人気者は大変ですね。