It is not fair to regard someone as a fool without talking talking with him/her well.
「少し話しただけで」は a little などを使うよりも、「十分に話さないで」という意味の
without talking with 人 well
の方が自然です。
「その人を〜と決めつける」は、「AをBとみなす」の
regard A as B
でいいと思います。
「おかしい」は wrong でもいいですが、この内容では not fair(正当ではない)の方がいいでしょう。
You can't just talk to someone for a few minutes and decide they're an idiot. That's not right.
この場合、次のような言い方ができますよ。
ーYou can't just talk to someone for a few minutes and decide they're an idiot. That's not right.
「誰かと少しだけ話して、その人を馬鹿だと決めつけることはできない。それはおかしい」=「少し話しただけで、その人を馬鹿だと決めるのはおかしいよ」
ご参考まで!