英語は比較的に細かい言語なので、このフレーズを直訳したところで、
「で？その『言いたい奴』って、いったい何が言いたいの？」と聞かれるかもしれません。
なので、話題が既に会話の中でしっかりと確立している場合、
「Let them talk.」
で十分ですが、分かりやすさを考慮して、以下の方がいいかと。
~~~~~~~~~~~~~~~~~~
Let the naysayers talk.
~~~~~~~~~~~~~~~~~~
「naysayer」＝「いつも反対［否定］する人」、「否定的に物事を見る人」
（ちなみに「nay」は古英語で、「no」を意味します。）
また、もうちょっと一般的に使用されている表現でこちらがあります。
~~~~~~~~~~~~~~~~~~
Who cares what others say?（「他人の言うことなんて、放っておけ。」）
~~~~~~~~~~~~~~~~~~
使用例：
~~~~~~~~~~~~~~~~~~
A: Mr. Snyder, critics are absolutely lampooning Batman v Superman.（「スナイダー監督、『バットマン vs スーパーマン』がかなり酷評されてますよ・・・。」）
B: Let the naysayers talk.（「言いたい奴にはいわせておけ。」）
A: But the reviews are so low, the shock made Ben Affleck look suicidal on YouTube. It's gone viral.（「いや、レビューの点数が低すぎて、あまりのショックで無言になったベン・アフレックの映像がYouTubeで話題に・・・」）
B: Who cares what others say?（「他人の言うことなんて、放っておけ。」）
~~~~~~~~~~~~~~~~~~
※ちなみにこの映像はYouTube上で実際にあります。
「sad affleck」と検索してみてください！^^
❶Let people say what they want.
(人が言いたいように、言わせとけ)。
という意味です。
❷Let the haters hate.
haters は 「アンチ」また 「いつもある人や人たちのことを悪く、またネガティブに言う人たち」のことです。
ですから Let the haters hate. は「アンチが言いたいように、言わせとけ」という意味になります。
参考に！
アメリカ合衆国 
