言わせておけばいいじゃないですか。

少なくとも自分が楽しめていると思えるなら、他人が何と言おうと雑音です。馬鹿にされる謂われなんてないでしょう。

「彼」が心配なら寄り添えばいいし、不快なら離れればいい。容易くはないだろうけど、お互いに益がない。