I'd like to try to cast a spell on someone/something.
ーI would like to try my hand at magic.
「魔法を使ってみたい」
to try one's hand at magic「魔法を使ってみる」という言い方ができます。
日本語の通り to use magic と言うとあまりネイティブっぽくないです。
ーI'd like to try to cast a spell on someone/something.
「人・ものに魔法をかけてみたい」
to try to cast a spell on ... 「…に魔法をかけてみる」を使っても表現できると思います。
ご参考まで!