I spoke in a way so that people nearby couldn't hear.
ご質問ありがとうございます。
「隣の人」=「people nearby」
「会話を聞かれないよう」=「(the conversation) couldn't hear」
「気を使った」=「took into consideration」
直訳すれば、大体「I took into consideration the conversation so it couldn't be heard by people nearby.」となりますが、ちょっと不自然です。
ですので、「I spoke in a way so that people nearby couldn't hear.」を使いましょう。受身形の文ですが、この表現の主語は「自分」なので代名詞の「I」を使います。
ご参考になれば幸いです。
I made sure not to have my conversation heard by the person next to me
I made sure that my neighbour did not overhear my conversation
隣の人は隣にいる人の場合 the person next to me で良いですが
隣人(隣に住む人) は my neighbour が良いです。
聞かれないは not to be heard などの表現が使えます。
聞くつもりなくても聞くのは overhear と言います。
この場合の気を使ったは 用心したと言う感じで
I made sure と言う表現を使うのが良いでしょう。