この場合の「被害を被る」は次のように言うと良いでしょう。
ーto be negatively impacted by ...
「…によって悪影響を受ける」
例:
A often makes mistakes at work, which negatively impacts the people he works with, so I went to speak with our boss to ask him to do something about this.
「Aはよく仕事で失敗をするので、彼と仕事をする人たちは被害を被る。だから私は上司になんとかするよう頼むため話をしに行った」
ご参考まで!