「~に浮気する」は英語で言うとcheat on ~ になります。
例えば、「歌手Aに(対して)浮気している」はI'm cheating on singer A.になります。
「~と浮気する」は英語で言うとcheat with ~ になります。
例えば、「歌手Bと浮気している」はI'm cheating with singer B.になります。
2つのパターンを合わせたら、cheat on A with Bになります。
そのため、「私俳優Aのファン。でも今は俳優Bに浮気してる」は
I'm a fan of actor A, but I'm cheating on him with actor B.になります。