「あなたは私に気を使いすぎ」って英語でなんて言うの？

英訳①　「そんなに私のことを心配しないで」という言い方ですね。
知っている人も多いと思いますが、worry about ...で「…を心配する」という意味になります。

英訳②　「注意深い」という意味でよく使われる careful ですが、「気に掛ける、案じる」という意味もあるので、「私のこと心配しすぎだよ」という文になります。

英訳③　fuss about ...は「…を構う、気に掛ける」という意味のカジュアルな口語表現。
この文では、「…する必要がない」という意味のdon't have to ...と一緒に使われて、「私にそんなに構わなくていいんだよ」となります。

すごくシンプルですが、「Kind」＝「親切、優しい」という形容詞を使って伝えることがいいと思います。「too kind」＝「優しすぎる」となりますが、「優しい」という前提がある上での指摘ですので、失礼なニュアンスはなく柔らかい表現だと思います。

もう少し固い言い方だと、「curteous」＝「礼儀正しく思いやりがある」の方を使うこともあります。

「ありがとう。大丈夫だよ」
「大丈夫だから」

日本語の感覚だと「柔らかい」というより直接的な言い方かもしれないです。
相手が日本人ではない場合（例えばアメリカ人など）だったら逆に直接伝えた方が伝わるかなと思います。