I didn't really want to go, but I went reluctantly
I really didn't want to go を言うと、本当に行きたくなかったという意味になります。「本当のことを言うと行きたくなかった」ということでしたら"I didn't really want to go"になります。"really"を先に書くと"didn't want to go"にかかるので、行きたくなかった気持ちを強調することになります。
But I went to with reluctance の went toと書いてありましたが、"to"を書くとその後に場所が来ないといけません。この場合は場所が書いてないので"to"はいりません。そして場所を書くとしたら具体的な場所を書かなければなりません。「あそこ」という意味の"there"でしたら"go there"になります。
また、"with reluctance"でも問題ありませんが、もう少しシンプルに形容詞にして"reluctantly"を使うといいかもしれません。
少し意味が変わりますが、"I didn't really want to go, but I had no choice"という言い方も、「本当は行きたくなかったけど行かなきゃいけなかった」という意味で言えます。
kazukiさんへ
既に先の回答者様がアドバイスされている内容が
ございますので、私からは追加で紹介致します。
（5月にいただいたご質問への回答となり、恐縮です）
I didn't want to go, but I had to.
は、「行きたくなかったけれど
行かなければならなかった」という意味です。
この had to は have to の過去形ですが、
例えば断った場合にその後で気まずい思いをする
恐れがあったり、上司からの誘いなので、なかなか
断りづらいといった状況で使うのにも適しています。
「外部の要因により」しなければならないというニュアンスで
「自分はそうしたくないのだが、そうせざるを得ない」という
意味を表せます。
ex. I have to study English.（例えば、会社からスコアアップを命じられて）
※「嫌々」「気乗りしない」を直接表現するには
やはり reluctant を使うのが一番良いのですが
参考までに別表現を紹介致します。
こうしたお誘いの場面では、他にも
I wish I could go, but I have to work tonight.
「行きたいのですが、今晩は働かなくてはなりません」
などと、have to を使うことで、「自分は行きたいのだが
状況が許さない」という、上で述べました have to の
ニュアンスを逆手にとって、うまく断ることもできます。
少しでもお役に立てますと幸いです。
kazukiさんの英語学習の成功を心より願っています。
LLD外語学院 学院長 前川 未知雄
アメリカ合衆国 
日本 
