Провокация на драку

Я будучи студентом шел по улице домой. Сзади подходит мужчина (возможно нетрезвый). Начинает меня оскорблять, после чего он сказал мне мол: "Тебя ударить (матом) или что?". Я его игнорировал и шел дальше.

Если бы я его ударил и он упал  ( без серьезных последствий ), я понес бы наказание, или как?