大前提として、自分と他人は別の人間だと認識することが大事だと思います。別の人間なら考え方も違う、考え方が違えば解釈は違って当たり前です。
自分と違う考え方を楽しむスタンスも試してみてください。
あとはとにかく考え込む時間を減らして自分が好きなものを描く時間を増やすのが一番良いと思います。描いていればそのうち自分の描くものを好いてくれる人も現れると思いますよ。
大手になりたいとか、人気になりたいとかでなければ↑でいいかと……
あとは界隈と少し距離を取るのもいいかもしれないです。私も自分の作風が界隈と合わずに悩んでましたが、距離をとって壁打ちにしたらだいぶ落ち着きました。あとは別カプに手を出してみるのもおすすめです。

文面を読む限りですが、ほとんど同じような状況を経験した者です。
ジャンルが太い時は少数ながら解釈が同じ人もいたのですが、先細りになるにつれて本当に一人になってしまいました…。
カプ自体はある程度人口がいましたが、心から共感でき作品には出会えず、かといって解釈違いに踏み込まず仲良くしてくれる人たちもいたので「自分は一人ぼっちだ」と言うこともできず、寂しさも一人で飲み込むしかありませんでした。
(キャラ解釈自体はむしろ別カプの人たちの方が合ったりしました。)

「自分の画力や表現力がもっと高ければ良さに気づいてくれる人が現れるかもしれない」と技術向上に努めて相当頑張ったのですが、残念ながら力及ばずで、自分の場合は結局の所それぞれの関係性の解釈は変わらないんだなと思うに至ってしまいましたが、過去1件だけ、ジャンル内でもマイナーなカプにとてつもない画力と構成力を持った作家さんが現れて界隈が活性化した例を知っているので、可能性はゼロではないかもしれません。

オフで自カプの人たちと会ったときは、同調できる話題には加わり、そうじゃない話題は黙っているようにしていました。しんどいときもありましたが、概ね楽しかったです。自分の友人たちはそこまで過激派ではなかったのでなんとかやれていた…というか、そのへんを許容してくれる人との関係が残ったという方が近いのかもしれません。

結果的には今は全く別のジャンルにいるのですが、その時の人たちの何人かは今もゆるく繋がっていて、一次創作を読んでくれたり、日常の雑談をしたりしています。それも貴重な縁だったと思えます。
オフ会も、トピ主さん自身がまあまあ楽しいと思えるのであればそれでいいと思いますよ。

私も解釈の違いに肩身の狭さを感じることが多いです。他の方の二次創作に対する感想もトピ主さんと近しいかもしれません。
界隈が自分と真逆の解釈で盛り上がっていると心が狭くなって卑屈になったり悲しくなることもあります。解釈地雷までいかない分、逆に苦しさもありますよね。

知り合いの方がジャンルで初めて本を出したとき「ずっとこういうキャラ像の作品が見たかった」と言われたそうです。界隈との解釈とは違うのをその方当人も感じてらっしゃいましたが、熱狂的なファンが沢山ついてらっしゃいました。私もその方のようにダイレクトに熱い声はいただいたことはないけど、あまり交流の広くない方からフォローをいただいたり、自分のCP以外の方から反応をいただいたり、解釈の近しい方と繋がれることもありました（トピ主さんと同じく去っていかれたり今は別ジャンルに居たりもするのですが）
辛くなることも多いと思いますが、応援しています。トピ主さんの作品が、あなたような解釈のCPが読みたかった！と思う方に届きますように。

またオフ会に関してですが、「普段作品に反応を貰ってはいない」ということを危惧されてますが、逆に言えば、「自分の作品を褒めてもらったから気を遣って相手の作品を褒める（または褒められないことを申し訳なく思う）」ことにならない気楽さもあるんじゃないでしょうか。今まで参加したオフ会はツイッターや作品に比べると解釈差を感じずに過ごせることが多かったように思います。
オフ会で得られる充足はやはりちょっと物足りないものかもしれませんが、普段周囲に気を遣って表に出てこない解釈の近しい方に巡り合える可能性もあるかもしれませんし。