この場合、次のような言い方ができますよ。
ーI wish my little brother wouldn't cling to me all the time.
「弟がいつもひっついてこないといいのに」
to cling to で「ひっつく」
ーI wish my baby brother wouldn't follow me around so closely.
「弟がぴったりひっついてこないといいのに」
to follow someone around closely で「ピッタリひっつく」とも言えます。
ご参考まで!