We all know of the Kame hermit!「あの有名な亀仙人みんな知ってる」
There is a recluse「仙人がいる」 living on top of that mountain.「あの山の上に住んでいる」
My brother is a loner or is he a hermit.「兄はちょっと仙人というか引きこもりか」
「仙人」は英語で大体 hermit と言います。この言葉を普通の人にも使えます。例えば He lives like a hermit(彼は仙人のような生活を送っている)と言えます。その不老不死の神話の中のイメージの人物は、英語での一つの言い方は the old man on the mountain です。これは山に住んでいるイメージがあるので。
ご参考になれば幸いです。