こんなときのお勧めは、"Do you mind if I tag along?"という言い方。

"tag along"で「ついて行く、つき従う、つき添う」ってこと。なのでこれを直訳的に言うとするなら「あなたは気にしますか、もしわたしがついて行くとしたら」ってところです。