こんなときの言い方は、"I'm allergic to ～."と"I have a[an] ～ allergy."の2つ。

たとえば、そばアレルギーなら、
I'm allergic to buckwheat./I have a buckwheat allergy.
猫アレルギーなら、
I'm allergic to cats./I have a cat allergy.
卵アレルギーなら、
I'm allergic to eggs./I have an egg allergy.
などのように。