イラッとするときもあるかもですが、「そうだねー！壁がいいなー！」という感じの返しで、冗談ぽくするのが1番ではないでしょうか。といってもその方とどのくらいの関係なのかがよくわからないので難しいですね。。すみません。

イラっとするならもう呼ばないかもですねえ。
どうしてもお願いしたいなら、そういう言い方はイラっとすること、壁サークルというのは決して簡単になれるものではないことを伝えてみるといいかもしれません。
真面目に聞いてくれるならいいし、そこで真面目に聞いてもらえないなら、やはり呼ばなくなるかもです。

「次は壁だ配置だと良いな！」くらいなら分かりますけど
「次は壁だ配置じゃないと来ないから」は確かにイラッと来て意味分からんし、
自分なら他に手伝ってくれる人を見つけるかな。