あなたが周りに合わせられるならふわっとそのジャンルに触れて話を合わせれる程度にしてたらいいと思う。
それが難しいようなら少しずつ一緒にいる時間を減らせばいいんじゃないかなあ。いきなりは厳しいと思うので。

たとえ興味がない話でもジャンルが変わってもそのグループの皆とずっと付き合いを続けていきたいなら現状維持した方がいいと思います。
ですが時間の無駄に感じるとのことなので少しずつ距離を置くようにした方がいいかもしれませんね。
毎日の通話を１日我慢してみるとか、慣れてきたらもう１日通話しない日を増やしてみるとか。
酷な話ですが、オタクの繋がりならハマりたては熱量があるのでその話ばかりしたいでしょうし、新ジャンルに興味ある人が4人もいればあと1人が通話から抜けてもあまり気にかけないと思うんです。
その間に現ジャンルの人で他に仲良くできそうな人を探せたらいいのですが。

ジャンルの切れ目が縁の切れ目とよく言いますが、ジャンルを越えて繋がりたいなら多少の社交辞令は必要かもしれません。
とはいえ苦痛を感じるほど無理する必要はないし、私なら少しずつ距離を置いて、通話は自分が楽しく交流できる頻度に切り替えます。
それでも仲良く居続けられる人ならこれからも縁があるだろうし、そこまででお別れの人ならそういう縁だったと割り切りますかね。
そこで一旦縁が切れても、また別のジャンルで出会うかもしれませんし。トラブルが起きたわけじゃないなら前向きな別れって感じで。

皆さんありがとうございます
新ジャンルは自分の倫理観的にもやはり好きになれそうにないので、少しずつ頻度を落としていこうと思います
そのぶん今のジャンルで良いものか描けるように頑張ります！
ありがとうございました。