まぁよく捉えれば「同じ過ちはしないだろう」と言えます。
トピ主さんが「過去にトラブルを起こした人と一緒にアンソロやってる人」と周囲から見られるのが嫌でないなら、まぁすぐに辞退しなくても良いんじゃないかな、と考えることもできます。

断るなら今すぐでなくともしばらく時間を開けてから、
「ちょうどアンソロ原稿の時期に仕事が忙しくなりそうな予定になってしまったので辞退します」とか
適当な理由を付ければ良いんじゃないでしょうか。