It might be kind of rude to say, but that's not what I expected.
You might not think it's very polite, but I thought that was surprising.
詳しいシチュエーションがわかりませんが、次のような言い方ができると思います。
ーIt might be kind of rude to say, but that's not what I expected.
「失礼かもしれないけど、意外だった」
that's not what I expected「それは私が期待したことではなかった」＝「意外だった」と言えます。
ーYou might not think it's very polite, but I thought that was surprising.
「失礼かもしれないけど、意外だった」
I thought that was surprising「それは驚きだと思った」＝「意外だった」
ご参考まで！
I don't mean to be rude, but I found it quite surprising.
ご質問ありがとうございます。
・「I don't mean to be rude, but I found it quite surprising.」
（意味) 失礼な事言うつもりないけど、結構意外だと思った。
<例文>I don't mean to be rude, but I found it quite surprising. I didn't expect it.
<訳> 失礼な事言うつもりないけど、結構意外だと思った。予期してなかった。
参考になれば幸いです。
カナダ 
アメリカ合衆国 
