やったことないんでわからないんですが、
1枚5000円〜1万円くらいでどうでしょう？

トピ主さんのおっしゃる通り発行部数で変ってきそうですね。
メジャージャンルで売れることが分かり切ってるアンソロで謝礼があまりに少ないと執筆者さんから不満が出ることもあるかもしれませんが
逆に規模が小さなアンソロなら執筆者さん達も多少汲み取ってくれると思います。仕事じゃなくて同人ですし。
参考にならないかもしれませんが、私は以前カレンダーアンソロに依頼され一ページ寄稿して5000円のアマゾンギフトカードを頂きました。
ジャンルは小さめです。
規模が小～中で売り上げが見込めないということなら個人的には、一ページ寄稿→3500円のギフトカード＋菓子折＋感想の手紙。二ページ寄稿→5000円のギフトカード+菓子折＋感想の手紙でもいいんじゃないかと思います…

男性向けだと原稿料あるみたいですが
女性向けは原稿料なしで献本のみとかも多いです。

いずれにせよ、依頼する時に原稿料の有無を明記しておけばOKだと思います。
そこを記載せずに依頼して、後々になって「原稿料があると思ってたのになかった！」「思ってたより少なかった！」
とかになるから揉めるのです。

最初から原稿料なしということを明記しておけばそれを了承の上で依頼を受けてくれると思います。
原稿料がないなら受けたくないと言う人は断るでしょう。

現金にせよギフトカードにせよ、お金に相当するものをお渡しする場合は
その金額もあらかじめ記載しておいたほうがいいかと思います。
金額が低いと思う人は依頼を断ります。

金額も、主催さんの負担にならないような額で設定したらいいと思います。
利益が見込めるのであれば高い金額にすればいいし、カツカツなのであれば背伸びしない額でいいです。
あくまでも趣味の、同人活動なんですから。