俺が新年会を断ったのを上司が未だに根に持ってる

今年の新年会を断る際に飲み会を強制する上司と断りたい俺で喧嘩になって
その時のことを今でも根に持たれてるんだがどうすれば良かったのかアドバイスがほしい
予定があるとかお酒が苦手とかそういうよくある言い訳は一通り言ったけどそれでも上司に理由を潰されて参加を強要されてた
お前らならどう断る？