ご質問ありがとうございます。
「数字の単位」はunits for numbersとかnumber unitsと言えます。「ずれています」はare differentになります(違うと同じ)。
下記に簡単な説明方法を書いております。
日本語と英語では数字の単位がズレています。
The units for numbers in Japanese and English are different.
例えば、日本語の10万は英語で100thousandと言います。
For example, 10 man in Japanese is 100 thousand in English.
単位がずれるので数字に弱いです。
Because of this difference, I'm not great with numbers.
(私も頭の中で英語から日本語に変えないといけないから数字について喋るのが特に嫌いです。)
ご参考いただければ幸いです。