「To be perfect for」はいろいろな用途があります:
You're perfect for each other. (二人ともはお似合いですよ。)
That dress is perfect for you. (そのワンピースはあなたにぴったりです。)
もっともの場合、「To be perfect for (someone)」、「to suit (someone) well」、「to fit (someone) well」は互換的に使われます。けど「This is the perfect town for you」の方がそのままでよいと思います。