That's one thing about you that really bothers me.
I hate that about you.
この場合は次のように言うと良いでしょう。
ーThat's the part about you that I really hate.
「それは私がとても嫌に思うあなたについての部分です」＝「あなたのそういうところが嫌いです」
ーThat's one thing about you that really bothers me.
「それは私に嫌な思いをさせるあなたについての一つです」＝「あなたのそれが嫌いです」
ーI hate that about you.
「私はあなたのそれについてが嫌いです」＝「あなたのそれが嫌いです」
ご参考まで！
カナダ 
