これを言うなら“That's too extreme.”。ここでの“too”は「～も、～もまた」ではなく「あまりにも、～すぎ」といった意味。

またこんなときは“That's going from one extreme to another.”「それって一つの極端から真逆の極端に行くようなもんだ」といった言い方でもオッケーです。