"Kabukicho has a rough reputation." 「歌舞伎町は柄が悪い。」
「柄が悪い」を表現するのに "rough reputation" というフレーズを使います。"rough" は「荒い」、「乱暴」という意味があり、"reputation" は「評判」を意味します。
もう少し詳しく言うと、次のような表現もあります。
"Kabukicho is known for being a bit rowdy compared to Roppongi." 「歌舞伎町は六本木に比べて少し柄が悪いことで知られています。」
質問補足に関連するフレーズとしては以下もおすすめです。
"Although Kabukicho is a bit rough compared to Roppongi, it has some great restaurants, so I still go there." 「歌舞伎町は六本木に比べて少し柄が悪いですが、美味しいお店があるので行きます。」