悩ましいですね。
私も公募制のアンソロは個人的に好きじゃないです。

恐らくその主催さんはある程度の人数自分が信頼する方に依頼をして、あとは公募制にしようという算段だったんでしょうね。
あるいは、依頼であまり人数が集まらなかったから公募制も並行しようとしたのか…。
なんにせよ、依頼制か公募制かは寄稿者の参加判断の基準には影響しないと思ったのでしょう…。
確かに依頼する時に、あとで公募も行おうと思ってるんですけど…とは言わないでも別にいいかなと思ったその主催さんの気持ちもわかる気がします。

公募もやるということを言われなかったこと以外で、その方に対して不信感を抱かれたことはありますか？
発言が過激とか、礼儀がなっていないな…など。
主催者さんの人格に不安要素があるなら私は辞退するかもしれません…。
でもそうでないなら、主催さんを信じて参加します。
たとえ炎上しても何も落ち度のない執筆者の人まで責められることは滅多とないでしょうから…。

私はアンソロを主催する際詳細まである程度詰めてから執筆依頼の声がけをしますが、友達同士でなんか作ろう〜というノリで緩く声をかけてくるタイプの方もいます。声をかけてある程度協力してくれる人数が見えてきてから公募にするかどうか考える人も。少なくとも主催者は公募にすることに問題があるとは考えていないようなので、アンソロに対しての考え方がトピ主さんとは合わない可能性があります。
公募アンソロのどんな所が苦手なのでしょうか？そのあたりも含め、主催者と相談した方がいいように思います。そのまま引き受けるにしても現時点で細かく打ち合わせをしておかないと、後から他にもトピ主さんがストレスを感じるような点が出てくるかもしれません。
その話し合いをする中でお互いの感覚の違いが明らかになれば、｢一度引き受けておいて申し訳ないが、アンソロに対するスタンスが合わない人間が混じると迷惑をかけてしまいそうなので｣と断る理由にもなるのではないかと思いました。

自分も少し前に公募制のアンソロ作りましたが、手前味噌ですが世界でここだけのめっっっっっちゃくちゃ最高の本ができました。公募制だから全部ダメってことはないと思いますよ。
もともと公募制を考えていたけどぜひ出てほしい人には先に打診をしておくのはまあ可能性としてなくはないかなと思いますし、依頼の段階で人数があまり集まらなかったので希望者も…という流れかもしれませんが、何か事情があるんでしょう。気になるなら聞いてみてもいいんじゃないでしょうか。

公募でも依頼でも大変な情熱と労力を持って企画することは変わりないですし、公募はむしろイレギュラー対応が多くなるので生半可な覚悟ではないと想像します。トピ主さんが何を魅力に感じて引き受けたかによるかとは思いますが…
嫌々引き受けるのもお互いにとって良くないと思いますので、後になって不満が出るくらいなら先に辞退するのも仕方ないのかなと思います。