I'm more concerned about finding a partner with whom I can make a good connection of the heart, than I am the language barrier.
この場合、次のような言い方をすると自然な感じで良いかと思います。
ーI'm more concerned about finding a partner with whom I can make a good connection of the heart, than I am the language barrier.
「言葉の壁より、心が通じるパートナーを見つけることにもっと関心を持っている」
I'm more concerned about ... で「…についてもっと関心を持つ・より気に掛ける」
language barrier「言葉の壁」
ご参考まで!