Марченко М.А.   Новиков А.В.  

Байесовские методы обработки больших данных с использованием суперкомпьютерного гетерогенного вычислительного комплекса высокой плотности PetaCube

Reporter: Марченко М.А.

Для усвоения и анализа больших данных применяются методы искусственного интеллекта, машинного обучения, активно используются нейронные сети. Основой для реализации упомянутых технологий служат методы байесовского вывода. Байесовский подход также эффективно применяется в различных областях исследований при решении обратных задач с усвоением больших данных.


Для численного статистического моделирования выборочных значений случайных векторов в соответствии с плотностью апостериорного распределения параметров модели необходимо применять вычислительно эффективные алгоритмы. Широко используемый метод Метрополиса-Хастингса обладает большой вычислительной трудоемкостью и его применение при обработке больших данных нецелесообразно. Поэтому предлагаются новые подходы, обладающие существенно меньшей трудоемкостью и основанные на моделировании траекторий специального случайного процесса с целью получения выборочных значений в соответствии с плотностью апостериорного распределения параметров.


Для реализации алгоритмов численного статистического моделирования при использовании байесовского подхода необходимо использовать массивно-параллельные вычисления на суперкомпьютерной технике. С этой целью предлагается использовать библиотеку PARMONC, разработанную ранее одним из авторов доклада.


Для хранения больших данных и реализации алгоритмов их обработки предлагается использовать универсальный суперкомпьютерный гетерогенный вычислительный комплекс высокой плотности PetaCube. Комплекс использует комплектующие от ведущих производителей: AMD, Intel, NVIDIA. Вычислительный комплекс PetaCube поддерживает масштабируемость и позволяет создать систему с суммарной производительностью и объемом накопителей вплоть до экзауровня, его использование позволяет эффективно решать разнообразные задачи обработки больших данных с помощью байесовского подхода и методов численного статистического моделирования, реализовывать методы искусственного интеллекта и машинного обучения.


To reports list