こんなときは“I'm gonna sit this one out.”というのがお勧め。

“I'm gonna”は“I am going to（～するつり）”の口頭短縮表現で“sit out”が「参加しない、加わらない」って意味の熟語です。

こんなときはほかにも“I'll pass.（わたしパスする”や“Count me out.（わたしを（参加者から）外して”なんて言ってもオッケーです。