我们正在使用 Azure 服务总线队列(使用 Mass Transit)和多个监听队列的运行器来处理来自队列的消息。为了避免基础设施过度配置,我们限制了运行...
我们正在使用 Azure 服务总线队列(使用 Mass Transit)和多个监听队列的运行器来处理来自队列的消息。为了避免基础设施过度配置,我们将运行器限制为固定数量,大多数任务需要几分钟才能完成,单个运行器需要同时处理多个任务才能实现所需的性能。所以我们 PrefetchCount=6
根据一些负载测试进行了设置。
问题是,当队列中有 时 memory intensive heavy tasks
,我希望任务能够均匀分配给所有运行者。但是由于 Prefetch=6
,6 个繁重任务分配给了同一个运行者,尽管其他运行者处于空闲状态。导致 Out of memory
运行者出现错误。
有没有什么方法可以实现更少的预取(以便繁重的任务不会最终导致相同的运行)和更高的并发性?
我假设,将预取计数减少到 1 将有助于每次获取 1 条消息,而将 concurrencyMessageLimit 保持在更高的值将有助于实现并发,但这并没有奏效。当预取减少到 1 时,运行器在第一条消息处理完成之前不会处理第二条消息。根据公共交通(附件)的定义,这看起来是意料之中的。