Моделирование систем с границами раздела фаз жидкость-пар методом решеточных уравнений Больцмана Куперштох А.Л., главный научный сотрудник, д.ф.-м.н. Медведев Д.А., старший научный сотрудник, к.ф.-м.н. Институт гидродинамики им. М.А. Лаврентьева СО РАН, Новосибирск Контактный e-mail: skn@hydro.nsc.ru http://ancient.hydro.nsc.ru/sk/index.html В настоящее время широко применяется компьютерное моделирование течений среды методом решеточных уравнений Больцмана (Lattice Boltzmann Equation, LBE), в котором используется метод сквозного счета границ раздела фаз [1-3] в соответствии с уравнением состояния (УС) вещества. В отличие от классических методов расчета течений жидкости путем решения уравнений Навье – Стокса метод LBE является мезоскопическим и рассматривает течение как движение ансамбля псевдочастиц, имеющих некоторую функцию распределения по дискретным скоростям c k , на пространственной решетке. Скорости c k выбираются таким образом, чтобы за шаг по времени t частицы перелетали в соседние узлы регулярной пространственной решетки. Обоснованием метода LBE можно считать тот факт, что во втором порядке разложения Чепмена – Энскога из уравнений LBE получаются макроскопические уравнения гидродинамики, то есть известные уравнения неразрывности и Навье – Стокса Уравнение эволюции для одночастичных функций распределения N k имеет вид N k ( x c k t , t t ) N k ( x , t ) k ( N ) N k , где k ( N keq ( , u) N k ( x, t )) / – оператор (BGK), N keq ( , u) – равновесные функции распределения, N k – изменение функций распределения под действием объемных сил (внутренних и внешних). Время релаксации определяет кинематическую вязкость жидкости ( 1 / 2)t , где (h / t ) 2 / 3 – кинетическая температура LBE псевдочастиц. Фактически, метод решеточных уравнений Больцмана моделирует решение уравнения Навье–Стокса. Гидродинамические переменные: плотность жидкости и скорость u в узле b ~ Nk и вычисляются в соответствие с формулами k 0 u b ~ c N k 1 k k . Для изотермических вариантов LBE-моделей используется разложение равновесных функций распределения Максвелла – Больцмана в ряд по скорости u до второго порядка c k u c k u 2 u 2 eq . N k ( , u) wk 1 2 2 2 Для трехмерной девятнадцатискоростной модели D3Q19 имеем w0 1 / 3 , w1 6 1 / 18 и w7 18 1 / 36 . столкновений, который обычно используется в виде Бхатнагара – Гросса – Крука 1 В работах [3-5] предложен новый способ учета действия объемных сил в методе LBE – метод точной разности (Exact Difference Method, EDM) имеющих 512 потоковых процессоров (ядер). Все ядра имеют доступ к относительно быстрой общей внутренней памяти объемом 3 Гб для GTX-580 и 6 Гб для Tesla M2090. Для тестирования трехмерных расчетов использовалась задача о спинодальной декомпозиции (распад первоначально однородного флюида, состояние которого находится под спинодалью, на двухфазную систему жидкость-пар). N k ( x, t ) N keq ( , u u) N keq ( , u) , где изменение скорости за шаг по времени определяется полной силой F , действующей на вещество в узле, u u u Ft / . В последние годы метод LBE был адаптирован (в частности, и усилиями авторов данной работы [1,2]) для двухфазных течений с границами раздела фаз, вновь возникающих, исчезающих и изменяющих топологию. В этом методе жидкая и газообразная фазы описываются единообразно. При этом на границах раздела фаз естественным образом обеспечивается поверхностное натяжение, а также испарение и конденсация вещества. Для описания уравнения состояния произвольного вида P ( , T ) использована модель псевдопотенциала, в которой сила, действующая на вещество в узле решетки, равна FN U , где псевдопотенциал U P( ,T ) выражается через уравнение состояния P( , T ) . Нами предложена изотропная конечноразностная аппроксимация градиента в виде Gk 2 Gk 1 (1 2 A)( x ) F( x ) ( x e k ) e k A (x e k ) e k , h G0 G0 k k Рис. 1. Расчет спинодальной декомпозиции на 12 GPU. Паровая ~ фаза показана прозрачной. T 0.7 , ~0 1.0 , t 2000 . Сетка 512×512×960 узлов (более 250 миллионов). Общее число ядер 6000. Общая производительность ~ 250 MNUPS (Million Node Updates Per Second). Время расчета ≈ 30 мин. где функция U . Алгоритм LBE включает в себя вычисления преимущественно в локальном узле, за исключением переноса частиц и вычисления градиента псевдопотенциала, что позволяет распараллелить вычисления на большое количество ядер современных графических процессоров. Описанный метод LBE реализован на новейших высокопроизводительных кластерах, что позволило значительно увеличить скорость и масштабы моделирования. Параллельные расчеты выполнялись на графических модулях фирмы NVIDIA с архитектурой “Fermi”, На рис. 1 показан пример расчета спинодальной декомпозиции в трехмерной области размерами 512×512×960. По всем трем координатам x , y и z использованы периодические граничные условия. В определенном диапазоне начальных плотностей флюида после некоторого промежутка времени происходит распад на жидкую и газовую фазы. Жидкая фаза 2 2. вычисления плотности и функции ( , T ) в узлах, 3. вычисление сил F( x ) , действующих на узлы, 4. вычисления скоростей, равновесных функций распределения образует «проницаемую» пористую среду. Сначала образуются мелкомасштабные структуры, которые со временем укрупняются [6]. Расчеты проводились на гибридных кластерах Новосибирского государственного исследовательского университета и ИВММГ (Tesla-M2090). Для параллельных вычислений на GPU использовалась технология программирования CUDA. На каждом GPU рассчитывалась область размером 512×512×80. Граничные условия по координате z , соответствующие граням размером 512×512, передавались между узлами кластера по протоколу MPI (Message Passing Interface). На рис. 2 показана производительность вычислений в единицах MNUPS. Кривые 1 и 2 – расчеты на гибридном кластере. Кривая 3 – расчеты на desktop компьютере с двумя видеокартами GTX 580. N keq , а также учет действия сил N k и оператора столкновений k . Рис. 3. Относительное время выполнения ядерных функций, усредненное за 400 шагов. Расчет на видеокарте GTX-580. Сетка 256×256×192 (полное число узлов 12.6 миллионов). Проведено трехмерное компьютерное моделирование поведения тонких пленок жидкости, покоящихся на твердой подложке, при наличии распределения температуры вдоль пленки (эффект Марангони). Для вещества пленки использовалось модельное уравнение состояния Ван-дер-Ваальса. Поверхностное натяжение уменьшается согласно уравнению состояния с увеличением температуры и стремится к нулю при приближении к критической точке. Использовались периодические граничные Рис. 2. Производительность вычислений для трехмерного варианта D3Q19 метода LBE с фазовыми переходами. Основное время вычислений занимали четыре ядерных функции MOVE_f, DENSITY, FORCE и COLLIS (рис. 3), которые выполняли, соответственно, 1. перенос функций распределения N k вдоль характеристик, 3 условия по x и по y . Взаимодействие с твердой плоской подложкой моделировалось специальными силами взаимодействия между узлами, принадлежащими твердым границам, и узлами, занятыми жидкостью или паром. Для осесимметричного распределения температуры вида T T0 T (1 cos( r / R )) , для r R , T T0 для r R в окрестности нагретого пятна из-за изменения поверхностного натяжения в пленке возникало расходящееся течение (термокапиллярный эффект, эффект Марангони), приводящее к разрыву пленки в ее центре там, где температура максимальна (рис. 4). Здесь r x 2 y 2 . Для несмачиваемой поверхности происходит полный разрыв пленки с образованием в этом месте отверстия (сухого пятна). В случае смачиваемой поверхности полного разрыва не наблюдается, так как на твердой поверхности остается тонкая плоская пленка жидкости (прекурсор) (рис.5). Рис. 5. Растяжение (псевдоразрыв) тонкой пленки на твердой смачиваемой подложке. На (a) и (b) – показана плотность в вертикальном сечении. На (c) – тонкая прекурсорная пленка постоянной толщины не показана. t 3000 (a); 5000 (b,c,d). Для осесимметричного распределения температуры с более плоской вершиной: T T0 T (1 cos( ( r / R ) 2 )) , для r R , T T0 для r R . разрыв пленки на несмачиваемой подложке происходит не в центре, а по некоторой окружности, где градиент температуры более существенен. В результате в центре образуется диск из жидкости (рис. 6a), который за счет поверхностного натяжения сначала трансформируется в тороидальное образование (рис. 6b), а затем после осцилляций в каплю (рис. 6c,d). Позже происходит постепенное испарение капли жидкости (рис. 6e,f). Рис. 4. Разрыв пленки на несмачиваемой поверхности. На (a) и (b) – показана плотность в вертикальном сечении. t 2000 (a,c); 3200 (b,d). 4 Рис. 7. Растяжение (псевдоразрыв) пленки на смачиваемой подложке. t 3200 (a); 4000 (b). 1. Куперштох А. Л. Моделирование течений с границами раздела фаз жидкость-пар методом решеточных уравнений Больцмана // Вестник НГУ: Серия “Математика, механика и информатика”. 2005. Т. 5, № 3. С. 29–42. 2. Kupershtokh A. L., Medvedev D. A., Karpov D. I. On equations of state in a lattice Boltzmann method // Computers and Mathematics with Applications. 2009. V. 58, N 5. P. 965–974. 3. Kupershtokh A. L. Criterion of numerical instability of liquid state in LBE simulations // Computers and Mathematics with Applications, 2010. V. 59, N 7. P. 2236–2245. 4. Kupershtokh A. L. New method of incorporating a body force term into the lattice Boltzmann equation // Proc. 5th International EHD Workshop, Poitiers, France, 2004, pp. 241–246. 5. Куперштох А. Л. Учет действия объемных сил в решеточных уравнениях Больцмана // Вестник НГУ: Серия “Математика, механика и информатика”. 2004. Т. 4, N 2. С. 75–96. 6. Куперштох А. Л. Трехмерное моделирование методом LBE на гибридных GPU-кластерах распада бинарной смеси жидкого диэлектрика с растворенным газом на систему парогазовых каналов // Вычислительные методы и программирование. 2012. Т. 13. С. 384–390. Рис. 6. Разрыв пленки на несмачиваемой поверхности. t 2400 (a); 2600 (b); 2800 (c); 3000 (d); 3200 (e); 3600 (f). На смачиваемой подложке сначала тоже образуется утоньшение по окружности на некотором расстоянии от оси, но образования центральной капли не происходит из-за наличия прекурсорной пленки (рис. 7). Работа выполнена при частичной поддержке РФФИ (гранты № 13-08-00763 и № 13-01-00526) и междисциплинарных интеграционных проектов СО РАН № 38 и № 79. 5