こんにちは！
ご質問ありがとうございます。
ご質問について、何が『引かれてしまう』のかにより言い方は様々ですが、例えば、
My behavior sometimes leads some individuals to lose interest in me.
とすると、『私の行動は時々、一部の人に興味を失わせてしまうことがあります。』となり、『[引かれる](https://eikaiwa.dmm.com/uknow/questions/29334/)』というニュアンスを伝えられます。
また、
Sometimes my behavior turns them off.
とすると、シンプルに『時々私の行動は彼らに引かれる。』というようにも表現できますね！
役に立ちそうな単語とフレーズ
turn someone off 人の気をなくさせる
参考になれば幸いです。
The things I do sometimes puts my boyfriend/girlfriend off.
Sometimes my behaviour gets under my girlfriend's skin.
この場合、次のような言い方ができますよ。
ーThe things I do sometimes puts my boyfriend/girlfriend off.
「私がやることは時々、彼氏/彼女に引かれる」
to put someone off で「人の気をそぐ・人を嫌がらせる」
ーSometimes my behaviour gets under my girlfriend's skin.
「時々私の行動は彼女の気に障る」
to get under someone's skin で「人の気に障る・人を困らせる」
ご参考まで！
日本 
カナダ 
