Использование преимуществ агентного моделирования и суперкомпьютеров в борьбе с эпидемиями

Быстрая скорость распространения некоторых контагиозных заболеваний с высоким риском инфицирования населения и интенсивность международных контактов вызывают пандемические явления, которые представляют серьезную угрозу глобальной безопасности в области общественного здравоохранения и приводят к значительным экономическим и социальным потерям. В связи с чем, актуальными являются вопросы изучения пандемического потенциала и распространения эпидемий на детальном уровне, выявления различных факторов, влияющих на них, а также создания современных инструментов для тестирования стратегий снижения ущерба и разработки эффективных мер для борьбы с эпидемиями и предупреждения чрезвычайных ситуаций. Одним из наиболее результативных методов для достижения этих целей является применение агентного метода имитационного моделирования, который позволяет преодолеть ограничения классических математических моделей эпидемий, основанных на дифференциальных уравнениях.

В марте 2020 г. компания IBM Research объединилась с Управлением по научной и технологической политике Белого дома и Министерством энергетики США, чтобы создать консорциум в целях получения доступа к самым мощным суперкомпьютерам США для реализации высокопроизводительных вычислений в рамках исследовательских проектов по борьбе с COVID-19 [7]. Суперкомпьютерная система Summit уже помогает выявлять лекарственные соединения, которые могут нейтрализовать коронавирус. Помимо IBM, в консорциум вошли такие академические и научно-исследовательские лидеры США, как НАСА, Массачусетский технологический институт, Аргоннская национальная лаборатория, Ок-Риджская национальная лаборатория, Лос-Аламосская национальная лаборатория, Техасский Центр перспективных вычислительных методов и др.

Ученые из Оборонного научно-технического университета Народно-освободительной армии Китая разработали крупномасштабную модель распространения коронавируса в условиях мегаполиса, с помощью которой в режиме реального времени можно прогнозировать динамику эпидемии и риски возникновения новых вспышек в случае частичной или полной отмены карантина. Вычислительные эксперименты проводились на суперкомпьютере "Тяньхэ-1" [1]. "Тяньхэ-1", с использованием технологий искусственного интеллекта, способен идентифицировать сотни пациентов с COVID-19 путем анализа результатов сканирования грудной клетки примерно за десять секунд с точностью более 80% [3]. Доступ к системе диагностического инструмента предоставляется врачам бесплатно.

Коллектив российских ученых из Красноярска, Новосибирска и Москвы в кооперации с зарубежными коллегами из Финляндии, Китая, Японии и Канады использует модернизированный суперкомпьютер Межведомственного суперкомпьютерного центра Российской академии наук в разработке медицинских препаратов для диагностики и терапии коронавирусной инфекции [2].

Высокопроизводительное программное обеспечение для агентного моделирования крупномасштабных эпидемических процессов

Высокий уровень производительности суперкомпьютеров обеспечивается на основе использования принципа распараллеливания вычислительного процесса и распределения вычислительной нагрузки по множеству вычислительных узлов. Таким образом, для реализации крупномасштабных агент-ориентированных моделей эпидемий на суперкомпьютерах необходимо построение их суперкомпьютерных версий, в которых популяции агентов распределяются по множеству узлов суперкомпьютера и расчеты выполняются параллельно. Для технической реализации масштабных агент-ориентированных моделей эпидемий на высокопроизводительных кластерах и суперкомпьютерах можно изначально осуществлять их проектирование с помощью специализированных программных средств. Перечислим наиболее известные и актуальные на сегодняшний момент.

GSAM – высокопроизводительная распределенная платформа для эпидемического моделирования на основе агентов, с помощью которой возможно моделирование вспышки заболеваний в неоднородной популяции из нескольких миллиардов агентов [9]. В GSAM рабочая нагрузка распределяется по двум уровням: сначала по узлам суперкомпьютера, а затем каждый узел распределяет свою рабочую нагрузку среди своих рабочих потоков. Это двухступенчатое распределение рабочей нагрузки позволяет GSAM работать на разных аппаратных платформах и обеспечивает эффективный способ изучения переменных, влияющих на производительность модели. Другая причина высокой скорости работы платформы GSAM заключается в использовании подхода активных агентов, благодаря чему устраняется необходимость моделирования повседневной деятельности миллиардов агентов.

EpiSimS – среда для крупномасштабного агент-ориентированного моделирования распространения инфекционных заболеваний [13]. Проект EpiSimS начался с расширения разработанной в Лос-Аламосской национальной лаборатории Transims [12] – интегрированного набора инструментальных средств для моделирования крупномасштабных транспортных систем. С помощью EpiSimS была разработана модель распространения пандемического гриппа в Калифорнии, в которой имитируется ежедневная активность 18,8 миллионов агентов, а прогрессирование заболевания характеризуется 14 состояниями инфицированных агентов [8].

EpiSimdemics – масштабируемый параллельный код для агент-ориентированного моделирования распространения заболеваний в крупномасштабных, приближенных к реалистичным, сетях взаимодействия на суперкомпьютерах уровня Petascale [4]. Высокая производительность кода достигается благодаря совмещению распределенных вычислений и обмена данными, автоматической агрегации сообщений и использованию балансировки нагрузки. Для демонстрации возможностей EpiSimdemics, с помощью кода была построена агент-ориентированная модель эпидемии гриппа в США и проведена серия вычислительных экспериментов на трех суперкомпьютерах – Blue Waters в Национальном центре суперкомпьютерных приложений, Cori в Центре научных вычислений национальных энергетических исследований и Mira в Аргоннской национальной лаборатории. Имитирование распространение эпидемии в США в течение 180 дней заняло 11,5 сек на Cori, 10,4 сек на Blue Waters и 12,3 сек на Mira, а 80 симуляций различных сценариев вакцинации населения – 12 мин на Blue Waters. Таким образом, код способен обеспечивать поддержку моделирования в режиме реального времени. EpiSimdemics использовался федеральными властями для проведения вычислительных экспериментов во время пандемии гриппа H1N1 в 2009 г. и эпидемических вспышек, вызванных вирусом Эболы в 2015 и 2018 гг.

Конструктивные особенности крупномасштабных агент-ориентированных моделей эпидемий

Анализ архитектуры агент-ориентированных моделей эпидемий позволяет выделить их основные взаимосвязанные компоненты. Динамические процессы распространения эпидемий моделируются посредством имитирования ежедневной активности агентов (мобильности населения): для этого агенты наделяются индивидуальными графиками и маршрутами передвижения. Инфицирование на индивидуальном уровне моделируется посредством имитирования поведения агентов, участвующих в различных схемах и механизмах передачи контагиозных заболеваний в неоднородной популяции, в которой каждый агент наделен индивидуальными параметрами, отражающими его демографические, социально-экономические и медицинские атрибуты. Течение инфекционных процессов моделируется посредством воспроизведения стадий инфекционного заболевания (его лечения) и изменения параметров статуса здоровья агентов, при этом имитируются динамика и клинические проявления конкретных контагиозных заболеваний. Агентный подход позволяет моделировать эпидемические процессы в среде, воспроизводящей территориально-пространственные и климатические особенности, оказывающих свое влияние на динамику эпидемий. Как правило, агент-ориентированные модели эпидемий интегрируются с ГИС, таким образом, моделирование осуществляется с привязкой к географическим координатам.

Реализация крупномасштабных эпидемических сценариев на высокопроизводительных системах обеспечивается распределенным моделированием. Основные задачи, которые решаются при распределенном моделировании эпидемических процессов рассмотрим на примере распределенной агент-ориентированной модели распространения эпидемии [10], адаптируемой к архитектуре высокопроизводительных систем с распределенной памятью.

В рамках первой задачи разрабатывается схема распределения популяции агентов по вычислительным узлам, при этом, должны учитываться два ключевых момента. Во-первых, время, затрачиваемое на вычисления, зависит от количества инфицированных агентов. В исследовании [14], с помощью вычислительных экспериментов, продемонстрировано, что количество инфицированных агентов является доминирующим фактором в определении вычислительной нагрузки и времени моделирования. Во-вторых, контакты агентов, требующие для их обработки межузловых взаимодействий, значительно более ресурсоемкие, чем контакты, для обработки которых требуется только локальная информация. Обработка данных, связанных с передачей заболевания, может занимать до 98% расчетного времени. Следовательно, оптимизация кода в этой части, например, использование алгоритма сортировки агентов по статусу здоровья, может способствовать увеличению производительности модели. Таким образом, решение первой задачи заключается в поиске схемы оптимального, максимально равномерного распределения рабочей нагрузки по вычислительным узлам.

Алгоритмы и методы, применяемые для увеличения скорости расчетов

Реализация масштабных сценариев распространения контагиозных заболеваний на детальном уровне в больших неоднородных популяциях требуют значительных вычислительных ресурсов, а при моделировании пандемических процессов расчеты могут занимать слишком много времени. В таких условиях становится целесообразным применение алгоритмов оптимизации.

В крупномасштабной агент-ориентированной модели эпидемии N1H1 в Пекине имитировались 200 млн. ежедневных социальных контактов 19,6 млн. агентов, в пространстве столичного мегаполиса, состоящем из 8 млн. пространственных объектов [15]. В модели воспроизводится ежедневная деятельность и мобильность населения мегаполиса на индивидуальном уровне. Агенты модели различаются по типам социального статуса, каждый из которых наделен двадцатью видами активности. Каждому агенту присваивается индекс, указывающий на недельный паттерн активности. Маршрут дня представляет собой связанный список исполняемых действий. Организацией совместных социальных действий управляет репрезентативный агент, называемый «групповым». Для реализации случайных контактов агентов в модель города включена система общественного транспорта.

В крупномасштабной агент-ориентированной модели эпидемии гриппа в Большом Торонто (Канада), в соответствии с концепцией контактных сетей, каждому из 5 млн. агентов присваивается определенное количество времени контакта друг с другом на основе демографических и пространственных данных [5]. Популяция агентов структурирована по районам проживания и работы (учебы), а также состоянию здоровья. В модели осуществляется непрерывный мониторинг состояния каждого агента: рассчитывается индивидуализированная вероятность перехода от восприимчивого состояния в статус инфицированного в каждый момент времени, с учетом медицинских и др. индивидуальных характеристик агентов, типов и времени социальных контактов, а также изменения поведения агентов и доли инфицированных в границах агломерации. В модели тестировалась стратегия домашнего карантина инфицированных агентов по сценариям 70%, 80%, 90%, 100%. Результаты модели проецировались на географические карты прогнозируемых зон распространения эпидемии. Модель реализована на 32-узловом кластере Beowulf с 256 процессорами; расчеты по сценарию 60-дневной эпидемии занимают две минуты. Модель использовалась Агентством по охране и укреплению здоровья в качестве инструмента мониторинга эпидемической ситуации в провинции Онтарио в режиме реального времени.

Во время реализации параллельных вычислений вершины и ребра контактной сети агентов, участвующих в эпидемических процессах, распределяются по вычислительным узлам. Обмен данными между вычислительными узлами осуществляется в конце каждого временного шага контактов и (или) передачи заболевания. В крупномасштабной агент-ориентированной модели эпидемии [16] для минимизации задержек обмена данными каждый контактный граф на вычислительном узле дополняется слоями вершин и ребер из других вычислительных узлов. Чтобы компенсировать задержку обновления данных о контактах и риске инфицирования агентов, они загружаются во встроенную память видеокарты при инициализации статуса здоровья агентов, и в дальнейшем данные обновляются асинхронным способом. Для повышения эффективности обращений к памяти при запуске состояния агентов используется разделяемая память и алгоритм вычисления передачи заболевания с механизмом программного кэша. Алгоритмы были протестированы на вычислительном кластере, каждый узел которого имеет два шестиядерных процессора Intel XEON X5670 с тактовой частотой 2,93 ГГц и два процессора NVIDIA GeForce GTX 470 GPU. Результаты эксперимента показывают, что при моделировании 20 млн. агентов и 1,2 млрд. контактов на 80 вычислительных узлах, использование графических процессоров может ускорить производство расчетов в 11,7 раз.

Реализация преимуществ агент-ориентированного подхода для моделирования пандемических процессов требует большого потребления памяти. В [11] описан метод снижения потребления ресурсов памяти с помощью использования последовательности битов для описания атрибутов агентов вместо традиционных структур данных. Модель последовательности битов основана на манипулировании цепочкой битов или машинным словом. Метод позволяет группировать информацию агентов в оптимизированном формате и ускоряет процесс манипулирования данными. Используя метод последовательности битов, авторами исследования была построена параллельная версия агент-ориентированной модели эпидемии гриппа с помощью библиотеки параллельных алгоритмов Thrust, предназначенных для обеспечения доступа к вычислениям на графических процессорах. Применение метода последовательности битов позволяет снизить потребление ресурсов памяти на 41% и оптимизировать время копирования данных между центральным и графическим процессорами до 52%.

Например, расчетные эксперименты сценариев распространения COVID-19 в Швейцарии в течение трех месяцев, заняли на персональном компьютере, оснащенном графическим процессором GPU NVIDIA P100, несколько часов [6]. Крупномасштабная агент-ориентированная модель эпидемии COVID-19 в Швейцарии, построенная в виде распараллеленного алгоритма, оптимизированного для запуска на графических процессорах, состоит из трех модулей: искусственного общества с 8,24 млн. агентов; модуля дорожно-транспортной сети страны, состоящей из 1,1 млн. участков и 0,5 млн. узлов, 20 тысяч маршрутов общественного транспорта, 3,5 млн. личного автотранспорта, с агрегированием данных в пятнадцатиминутные временные интервалы; модуля погодных условий, которые оказывают влияние на эпидемический процесс и дорожно-транспортную систему.

Заключение

Одним из наиболее результативных методов для максимально точного прогнозирования динамики и последствий эпидемий является применение компьютерного имитационного моделирования. Агентный подход позволяет имитировать динамику распространения контагиозных заболеваний в неоднородной, максимально приближенной к реальному обществу синтетической популяции на детальном уровне. Для воспроизведения реалистичных эпидемических сценариев на национальном, региональном и глобальном уровнях, в синтетической популяции, количество агентов которой может доходить до нескольких миллиардов, требуется привлечение технологий высокопроизводительных вычислений и суперкомпьютерных ресурсов. Возможности современных суперкомпьютеров позволяют прогнозировать, предотвращать или снижать последствия эпидемических вспышек. Техническая реализация крупномасштабных агент-ориентированных моделей эпидемий на высокопроизводительных кластерах и суперкомпьютерах сопряжена с решением ряда задач:

• построением распараллеленной версии модели;
• разработкой схемы распределения популяции агентов по вычислительным узлам для оптимального распределения рабочей нагрузки;
• обеспечением синхронизации вычислительных узлов и эффективной связи между вычислительными узлами;
• разработкой алгоритмов оптимизации, способствующих увеличению производительности модели.