3歳の兄が1歳の弟によく手を上げます。どう関わるのがいいでしょうか。

幼稚園に通っている三歳と、家でみている一歳の男の子の兄弟を育てています。

兄が弟に手が出る頻度が高いことが心配です。産まれた直後は意味もなく叩くことが多かったのですが、弟が意思を持ち始めるようになると、おもちゃを取られたり、テレビが見えないから邪魔などと、理由のある時に手が出るようになりました。ですが、今は弟が何もしていなくても自分の目の前にいるだけで押してしまっている状態です。弟はまだヨチヨチ歩きなので、少し押されるだけでバランスを崩して倒れてしまいます。なので、兄に押されて床に頭を打つことは日常茶飯事で、時には椅子の角に打ってしまったりもします。。
10分に一回くらいと言っていいほど、兄は弟に手を出します。
手を出した方にも理由があると思い、聞いてみようとしても、兄は分からないの一点張りです。私が、楽しいと思ってやっちゃった？や、嫌なことされたからやっちゃった？などと言うと、そうそう！と適当に合わせて来ます。
その度にいけないことだと言うことは伝えています。上の子が下の子に手を出す事はあまり強く怒らない方が良いと良く聞くので、はじめはダメだよくらいでサラッと済ましていました。ですが一向に改善されないので、さすがに弟が可哀想になり強く叱るようにしました。それでも改善されません。

弟はちょっとしたことで泣くので、逆に弟をかばいすぎたかな？と思い、そこまで痛くないかなと思う時は、見て見ぬ振りというか口出ししすぎないようにしたこともありましたが、そうすると弟は情緒不安定になり、常にママママになってしまい、兄は兄で手を出しても怒られないと思ったのか、以前よりも増して手が出るようになった気がしたので、少しの事でも対処するように戻しました。

兄が手が出る時は、弟が何もしてない時以外にも、自分が使っているおもちゃを触られたなどと理由が明確な時もあります。あと、私が触ってはいけないと言ったものに弟な触ったり、お友達のおもちゃを弟が触ってしまったなどという時には、必ず押してしまいます。
その時は、まだ弟は小さいから分からないんだ。優しく教えてあげようねと声かけています。

発達障害を疑った方がいいとの情報もネットであり、医者に相談した方が良いのか迷っています。
ちなみ、友達とは喧嘩もしますが仲良く遊べています。たまにおもちゃの取り合いで手が出る事はあります。特に拘りが強いなどはありません。言語も平均的には話せていると思います。

今後どのようにして兄に関わっていけば良いのかアドバイスを頂けると助かります。