「聞き手にまわる」は
be on the listening end(聞くサイドにいる)
find oneself listening(気がつくと聞き手になっている)
を使って表現できます。
例:
I'm often on the listening end of conversations rather than speaking.
「話すより聞き手にまわることの方が多い。」
I often find myself listening to others instead of doing all the talking.
「話役になるより、聞き役にまわることが多い。」
ご参考まで!