It's just my opinion. You're free to take it or leave it.
It's up to you whether you take my advice or not.
ご質問ありがとうございます。
日本語でよく使われる「参考」を直訳すると"to refer"や"to use as a reference"となりますが、アドバイスを聞いてそれに従うという意味で使う場合は、"take"という動詞が適切です。
例文：
I think you should take her advice.
I will take your opinion into account.
"It's just my opinion"の"just"は自分の意見が複数のうちの一つであることを強調します。少し意訳になりますが、「あくまでも私の意見だけど…」という感じになります。
「あなたに任せる」というフレーズですが、この場合は "You're free to..." あるいは "It's up to you...”が自然です。
例文：
What movie do you want to watch? It's up to you.
It's up to you whether you believe it or not.
You're free to drink the coffee in the office any time.
日本 
