「褒める」= praise, compliment
※ praiseは「よくやったね!」とか、「素晴らしいね!」、「よく出来たね!」のような褒め方です。
※ complimentは「あなたのワンピースは素敵ですね!」とか、「あなたの新しい髪形は可愛いですね!」のような褒め方です。
「別に褒めてないよ」= I wasn't praising you / I wasn't complimenting you / It wasn't intended as praise / It wasn't intended to be a compliment
上記のフレーズは気をつけないと失礼に聞こえますのでかなり仲のよい友達じゃないと言わない方がいいと思います^^
1)Complimentは「褒め言葉」と言う意味です。
That wasn't a complimentを訳すと「今のは褒め言葉じゃないよ」となります。
I wasn't complimenting you.
あなたを褒めたわけじゃないんだけど、と言う使い方もできます。
2)1の回答とにていますが、こちらは「褒めたつもりじゃない」と言う意味です。
「褒めてない」とストレートに言うよりかは幾分柔らかいニュアンスになります。