「自然と」という日本語全般で考えれば、naturally でいい場合もあります。
それは、前の流れから考えて当然である場合です。
ただ、今回の状況は、当然というより自分の意図にかかわらず「自動的に」日本語が出てしまったので、automatically がいいと思います。
I was so angry that I automatically gave a shout in Japanese.
I was so angry that Japanese words came out automatically.
のような文はいかがでしょうか。