My contacts are bugging/bothering me.
(コンタクトの調子が悪い)
まず、コンタクトレンズは contact lenses でもいいのですが
日本語と同じで会話ではcontacts と省略されたりします。
bother (人) や、bug (人) で「〜を悩ませる、〜を困らせる、〜の邪魔をする」
という意味で、「うざったい」というニュアンスもあります。
My eyes hurt when I put my contacts in.
(コンタクトを入れると目が痛くなった。)