弾かれてしまったというのがわからないのだけど、同じオンデマ印刷でもグレスケに合わせた印刷と網点二値化に合わせた印刷の設定があるんだと思う。
グレスケなら階調が豊かだから多少滲んだ印刷でも違和感なく見れるんだけど、網点二値だとパッキリ印刷しないとモアレちゃうんだよね。
だからグレスケと二値が混在してると「どっちにあわせた設定にしよう…」と印刷所側が困ってしまう。
どっちにも対応しようと印刷した結果、グレスケの階調がガタガタになったり、網点がモワモワした刷り上がりになっちゃって「この印刷所は汚い！」と言われるケースは結構見てる。
そういう時は該当するトーンを使わないか、トピ主の言うように自己責任ということで諦めるかになっちゃうね。
でも案外綺麗に刷ってくれることもあるから、あんまり悲観しないでね。

オンデマに限らず、オフセットでもグレスケと二値は混合しないでという印刷所は多い。
多くはレイヤーのカラーモードが混在なのをやめて（印刷所側でカラーモードを変えることになるから）という話で、それが上記に該当するからなんだけど、トピ主の場合は「全てグレスケに変換しても網点が部分が出ちゃう…」なので、純粋に刷り上がりの話になる。
なので、今後は原稿作成時に少し気をつけておくといいよ。
グレスケの時はグレスケのトーンのみ！二値は二値！で事故はだいぶ減るから。頑張ってね