お気持ちお察しします……
アンソロ辞退経験があるので、なにか参考になればと思ってコメントしますね。

少しフェイク入れてますが、わたしの場合は公募制のhnnmアンソロで、
①小説で参加希望をしたら「募集要項には書いてなかったけど、実は小説は募集してない。他の参加者のマンガをノベライズならOK」と言われ、いったん了承→後日、主催の推し字書きがオリジナル小説で参加することを告知サイトで知る
②hnnmアンソロにも関わらず、公式垢をフォローしているオープン垢で告知
この2点が原因で参加辞退しました。

ただ、主催には「②が原因で参加辞退したい」としか伝えてないです。
正直①にもめちゃくちゃ腹が立ったのですが（お前の小説はいらないけどあの人が書いてくれる小説は載せたい！ってことですし……）、②の方がより「あなたの行動が界隈のルールに違反してることを知ったので無理です」と強気に出られたので、①のことは伝えませんでした。

最初は「もう参加者の名前が入ったフライヤーも刷ってしまった」「ノベライズしてくれる人がいなくなってしまうから困る」とゴネられたのですが、界隈で当該アンソロの鍵パカが問題視されプチ炎上に向かいかけたこともあって、最終的には辞退を受け入れてもらえました。

小さな村だったので、もしかしたら主催とその周囲には有ること無いこと言われていたのかもしれないですが、hnnmの特性上鍵垢での繋がりしかなかったこと、辞退後すぐ、同じアンソロ参加者や主催と繋がりがある方を全員ブロ解したうえで、ぷらいべったーのフォロワー限定公開で「①②ふたつの理由でアンソロ辞退しました」という告知を出したことで、幸いわたしに誹謗中傷が来ることはなかったです。

アンソロの規模等がわからないのですが、参加者が多ければ、トピ主さんと同じ理由でもやもやしたものを抱えている方もいると思うので、味方を作れたらいいですよね……主催が村長だと厳しいかもしれないですが……

なにかひとつでも参考になれば嬉しいです。トピ主さんが傷つかずに逃げられる方法があれば良いのですが……！

oCUpcZx9さんみたいに主催側に明らかな落ち度があれば、その点をアンソロ辞退の理由として主張するのがいいと思います

トピ主のお気持ちベースで辞退を申し出ると、お相手方からはもう原稿提出済みなのに身勝手だと非難されかねないですし、ひどい場合は人の目に触れるところであることないこと喚いてトピ主を悪者にしかねません
主催の方は自身の失礼な言動と、それによってトピ主を不快にさせたことに全く気付いてないかもしれないので、自分を完全被害者と思い込んで事情をよく知らない人に同情を求める可能性があります
なので「自分が迷惑を被った」というよりは、「界隈のイメージを下げかねない振る舞いだ」という点を主張して攻めてった方がいいかと....
主催の側に、トピ主に対する無礼な態度以外に責められるような点がなければ、私なら泣く泣く今回は諦めて、今後一切主催の方と関わらないようにします.....

色々あるにせよ、提出してしまった以上はもう後戻り出来ないと思います。寧ろ提出までしたのにやっぱり辞退したいは主催側に立った場合今更ですか？って話になってきます。アンソロの輪の中から出ても、結局有る事無い事を主催や周りから言われて悪者扱いされる可能性があります。私が主催の立場なら、いきなり辞退したい原稿を返してくれ貴方の言動は最初から気に食わなかったからだと後から言われても困ります。人間対人間でやっている事なので、気に食わない事はあるとは思いますが、それに話し合いや折り合いを付けながら進めるのが企画というものだと思います。この時点での辞退は申し訳ないですが、トピ主さんが少し我儘だなと思ってしまいます。もう発行されて縁が切れるまでは、プライベートが忙しいので今後は色々と反応が出来ない事があると思います積極的にアンソロの応援が出来なくてすみません等と言って距離を取るしか方法は無いと思います。
しかし、明らかに界隈や界隈外でも不安視されるような事が実際に起こっているなら、主催側にそういった不安視する声がある為、今更だが辞退したいと申し出るのはアリなのかもしれません。何か界隈内外で本当に発行されるのか？みたいな噂話とか出ていませんか？そういう隙があればそこを突いて話を切り出すと良いと思います。
最終的な判断はトピ主さんの絶対あのアンソロに名前も原稿も載せたくない！という強い意志の有無だと思います。それがあるなら、辞退したい原稿は返して欲しいという旨を主催に伝えれば良いと思います。
大体アンソロ学級会はこういった話が火種なので、トピ主さんが気に病まない方向で折り合いがつくと良いですね…。

提出後ということは印刷発注まで間近か、もしくは印刷発注済みの可能性があるタイミングですよね。
締め切りからかなり早く提出しているなら問題ないと思いますが、もし発行まで1ヶ月切っているようであれば、このタイミングでの辞退は、ページ数が変化することや見積もりし直し（支払いし直しもあるかも）、他の参加者との掲載調整、名前の削除などかなり大きな変更になるので、主催側視点としてはちょっときついです…。

自分もモヤっとする人の企画には参加したくないので「嫌ならもう断っちゃえ！」と言いたいのですが、辞退したくなった理由の詳細が出ていないので同情できなくて恐縮です。
1コメさんみたいな明確な落ち度があるならそれを理由に断ってもいいかもしれませんが、モヤついたという個人の気持ちベースなら社会人としてはちょっと無責任かなと感じました。
今回だけは発行されるまで我慢して、無事発行したら理由を伝えて（伝えなくても）縁切りでいかがでしょうか…。

コメントありがとうございます！ トピ主です

勇気がなく主催に正直な理由を話すという選択肢がなかったのですが、皆さんのコメントを見てきっぱり言ってみようと思い始めました。ありがとうございます

そしてとにかく辞退したい気持ちが先立って詳細を書かずすみません
身バレ防止のため細かい部分はぼかしていますが以下の状況です

・現在は提出日よりもかなり前(これから仕事の繁忙期となるので早めに出した)
・それぞれは我慢できると思ったモヤモヤは、依頼時のDMの宛名が別人だった、原稿提出時のダウンロード期限オーバー複数回、ツイッターでの相手違いカプに関する過激発言など
・決定打となったのは、辞退者が数名出た際に参加者全員宛てのDMで送られた「読者は漫画を見たくて買うと思うのでこれ以上漫画の方が減ると困る。締め切りの延長も考えるので相談してほしい」という連絡でした
自分は漫画ですが数名いる小説の方にあまりに失礼だと思い、前述のモヤモヤも相まって辞退したくなった次第です