ご質問ありがとうございます。
I love him more and moreは完璧ですね!ただ、loveで「愛」の意味になりますので、恋人と仲良い友達で使えます。「愛している」までに言いたくなかったら、likeをお勧めしたいと思います。
他の表現はgrowing on meです。これは人だけではなくて趣味とか本などとしても使えます。
例文:I didn't like Murakami Haruki's books, but they are growing on me.
ご参考になれば幸いです。