"He's turning his back on me." というフレーズは「彼は私に背を向けている」という意味になります。直訳では「彼は私に背を向けて(turn)いる」となります。身体言語において、背を向ける行為は無関心や否定的な意図を示すことが多いです。
このフレーズはコンテクストによっては単に物理的な位置関係を示すだけでなく、彼があなたを無視したり関心を示さない、またはあなたから遠ざかるといった象徴的な意味を持つこともあります。
なお、身体の動きに直接言及する際には "He stands with his back to me."(彼は私に背を向けて立っている)という表現もあります。