It's not about being smart or dumb; it's about whether or not you use it or don't.
上記英訳例は二つの文章で構成されているので、二つに分けてみましょう。
①It's not about being smart or dumb➜Smartは頭が良い、Dumbは頭が悪い。
It's not about being~は、○○が問題ではない、○○は関係ない、という意味です。つまり、頭の良し悪しは関係ない、となります。代名詞のItを、語学に置き換えれば、Language is not about...となります。
②It's about whether or not you use it or don't➔whether or notはセットで使い、~かどうか、という意味です。You use it or don'tは、使う又は使わない(Don't use it)。合体させると、使うか使わないか、となります。ここでも、代名詞のItをLanguageと置き換えれば、具体的になりますね。二度Languageを入れる必要はないので、どちらかはItでOKです。
言葉は生きている、と言いますよね。使うか使わないか、そのとおりだと思います。
少しでもご参考になれば幸いです。
It doesn't matter whether you are smart or not. Anyone can master a language.
「賢いかどうかなんて関係ないよ。誰だって言語はマスターできるんだよ」の意味です。
It doesn't matter whether S V or notは「SVかどうかは関係ない。問題ない」の意味です。
2文目は、誰でも母国語はマスターできるので、第2言語も同じようにできるはずという含みを持たせて訳しました。