国によって、言葉変わりますが、一般的にtax officeという言葉を使うと誰でも通じると思いす。
例えば、カナダの場合は Canada Revenue Agencyと言いますが、カナダ出身の人でないとわからないときの可能性が高いので、tax officeという表現を使うといいでしょう。
例文:I need to go to the tax office next week. 「来週、税務署に行かなきゃ。」
The tax office is only open on weekdays. 「税務署は、平日のみ開店しております。」
もちろん、使う場面が多くありますので、税金の話になるときは、tax officeという言葉をつかってみてください。