【「Mind if I join you？」と聞かれたときのアブナイ英語】Yes!
【こんな風に聞こえるかも】あなたを仲間に入れるのは嫌です。
【ネイティブが使う英語】No, not at all.

「mind」には、嫌がる、迷惑に思うといったニュアンスが含まれていますから、丁寧に訳すと「私と一緒に仲間になるのは嫌ですか？」となります。OKの場合は、自信を持って「No.」と答えましょう。