渡しているのがあなたであれば、
He threw the money at me!
【訳】彼、私にお金を投げてよこした（返した）んだよ！
となります。
当てるように投げつけるのも threw at 〜になりますが、テーブルなどにぽんっとぞんざいに置かれて渡されるのも、一応入るでしょう。
後者の場合、具体的に He threw the money on the table. というのでもいいと思います。
返す時に投げたのであっても threw backというと、投げ返した（あなたが投げたので相手も投げ返した）感じがするので、ちょっと違う感じになります。
全体的にそういう扱いを受けたということを話したいのであれば、こういう表現もできます。（あえて訳は直訳っぽくしました）
I didn't like some of the people throwing things at me when they give it back.
【訳】何人かの人たちが物を返すときに私に投げてよこしてきたのは、好ましくなかった。
日本 
