「目が泳いでいる」はshifty eyesといいます。どんなことをして恥ずかしいかにもよりますが、shifty eyesはどちらかというと、ずるがしこい、うさんくさい、嘘をついている、気まずいといったときに使います。
His eyes were shifty. / He had shifty eyes. 彼の目が泳いでいた
「(私は」恥ずかしい時に目が(あっちこっちに)泳ぐ」
「My eyes shift (here and there) when I'm embarrassed.」
英語では「Shifty eyes」だけいうと「怪しい」という意味になってしまいます。表現するときは必ず「恥ずかしい時に目が泳ぐ」を補足して、「I have shifty eyes when I'm embarrassed」、「My eyes shift (here and there) when I'm embarrassed.」と表現しましょう。