I've tried everything I could, but the smell just doesn't go away.
I can't get rid of the smell no matter what I do.
「どうやっても」は、何をしてもという意味の「no matter what I do」または「出来ることは全て試したのに」という意味の「I've tried everything I could, but~」と言うのがいいと思います。
「臭いが取れない」は 「the smell doesn't go away」(臭いが消えない)または「I can't get rid of the smell 」(臭いを消し去れない)と表現できます。
「the smell just doesn't go away」のjust は臭いが消えないことを強調するために使います。
「シミはうっすらある」は "there's a faint stain" と言うことができます。
この場合、次のような言い方ができますよ。
ーSomeone spilled something on our chair in the dining room and I got most of the stain out, but there's a little left and the smell won't go away completely.
「誰かがダイニングの椅子に何かをこぼして汚れをほとんど取ったが、まだ少し残っているし、匂いが完全に取れない」
The smell won't go away completely. で「匂いが完全に取れない」=「匂いがまだ残っている」
ご参考まで!