Forests play an important role of a habitat for various animals and plants.
Forests play an important role in serving a habitat for various animals and plants.
どちらでも書けるのではないでしょうか。かなり微妙な違いですが、結局は"of"と"in"の違いになるのではと思いました。
"play a role of ~"は、「~の役割を担う」なので、"of"の後には直接その役割を持ってくることができます。従って、"play a role of a habitat"とは言えます。これは、"of"がその後にくる名詞と直接的な関係を持つからです。
一方、"play a role in ~"は、「~において(~で)役割を担う、~の一因になる」なので、"in"の後には直接その役割を持ってくることができません。従って、"play a role in habitat"とは言えません。これは、"in"がその後にくる名詞と間接的な関係を持つからです。直接"habitat"を持ってくるのではなく、"serve"等のクッションを入れて、「生息地を(提供する)役割において」とした方が、自然な英語に聞こえると思います。