Архитектура тестовой фермы SharePoint Server и SQL

Отчет о тестировании масштабируемости
крупномасштабных хранилищ документов
Настоящий документ предоставляется на условиях «как есть». Информация и суждения, представленные в
документе, включая URL-адреса и другие упоминания интернет-сайтов, могут быть изменены без
предварительного уведомления. Все риски, связанные с использованием настоящего документа и информации в
нем, лежат на вас.
Некоторые из представленных в документе примеров служат только для иллюстрации и являются
вымышленными. Любые совпадения с реальными объектами следует рассматривать как случайные.
Настоящий документ не предоставляет вам юридических прав на интеллектуальную собственность в отношении
каких-либо продуктов Майкрософт. Копирование и использование настоящего документа разрешается для
внутренних справочных целей.
© Корпорация Майкрософт (Microsoft Corporation), 2011. Все права защищены.
1
Отчет о тестировании масштабируемости
крупномасштабных хранилищ документов
Пол Эндрю (Paul Andrew), Пол Лёнинг (Paul Learning), Барри Уэлдбаум (Barry Waldbaum), Франк Мараско (Frank
Marasco)
Корпорация Майкрософт
Октябрь 2011 г.
Область применения: Microsoft® SharePoint® Server 2010, Microsoft FAST Search Server 2010 for SharePoint.
Аннотация
Этот технический документ предоставляет сведения о тестовой лабораторной среде, использованной в
Майкрософт с целью демонстрации крупномасштабных баз данных контента SharePoint Server 2010. В нем
содержатся сведения о заполнении двух баз данных контента SharePoint Server документами общим числом в
120 миллионов, что составило более 30 терабайт (ТБ) баз данных SQL Server®, об индексировании этого контента
с помощью FAST Search Server 2010 for SharePoint и описание нагрузочного тестирования, выполненного на
созданных серверах SharePoint Server и FAST Search Server 2010 for SharePoint, а также результаты этого
тестирования с заключениями по ним.
2
Содержание
Введение ................................................................................................................................................................................ 5
Цели тестирования ............................................................................................................................................................ 5
Участвовавшие партнеры по оборудованию .................................................................................................................. 5
Определение тестированной рабочей нагрузки ................................................................................................................ 6
Описание архитектуры горизонтального масштабирования архива документов ...................................................... 7
Применявшиеся тестовые транзакции ............................................................................................................................ 7
Определения тестовых транзакций и базовых параметров ......................................................................................... 8
Базовый тестовый набор .................................................................................................................................................. 9
Тестовые серии ................................................................................................................................................................ 10
Тестовая нагрузка ............................................................................................................................................................ 11
Регистрация использования ресурсов во время тестов............................................................................................... 12
Сведения об архитектуре оборудования тестовой фермы ............................................................................................. 12
Виртуальные серверы ..................................................................................................................................................... 15
Дисковое хранилище ...................................................................................................................................................... 16
Архитектура тестовой фермы SharePoint Server и SQL Server ......................................................................................... 18
Веб-сайты IIS фермы SharePoint ..................................................................................................................................... 19
Базы данных SQL Server .................................................................................................................................................. 20
Индексы контента FAST Search Server 2010 for SharePoint .......................................................................................... 21
Метод, график проекта и процесс создания фермы ........................................................................................................ 22
График проекта ................................................................................................................................................................ 22
Порядок создания образцов документов ..................................................................................................................... 22
Характеристики производительности крупномасштабной отправки документов ................................................... 23
Число операций ввода-вывода в секунду (IOPS) .......................................................................................................... 25
Обход документов FAST Search Server 2010 for SharePoint ......................................................................................... 27
Результаты тестирования ................................................................................................................................................... 29
Серия тестов A: различное число пользователей ........................................................................................................ 29
Серия тестов B: различный объем оперативной памяти сервера SQL Server ............................................................ 32
Серия тестов С: изменение наборов транзакций ......................................................................................................... 34
Серия тестов D: различный объем оперативной памяти интерфейсных веб-серверов ........................................... 36
Серия тестов E: изменение числа интерфейсных веб-серверов ................................................................................. 38
Серия тестов F: различное число ЦП сервера SQL Server ............................................................................................ 41
Тестирование пакета обновления 1 (SP1) и накопительного пакета обновления (CU) за июнь .............................. 44
Резервное копирование базы данных контента SQL Server ........................................................................................ 45
3
Заключения .......................................................................................................................................................................... 45
Рекомендации ..................................................................................................................................................................... 45
Рекомендации, связанные с SQL Server 2008 R2 .......................................................................................................... 45
Рекомендации, связанные с SharePoint Server 2010 .................................................................................................... 46
Рекомендации, связанные с FAST Search Server for SharePoint 2010.......................................................................... 46
Ссылки .................................................................................................................................................................................. 47
4
Введение
Цели тестирования
В этом техническом документе описываются результаты крупномасштабного тестирования SharePoint Server,
проведенного Майкрософт в июне 2011 г. Цель тестирования заключалась в публикации требований к
масштабированию хранилищ архива документов, основанных на серверах SharePoint Server, при необходимости
значительно увеличить емкость хранения. Тестирование включало создание большого числа типичных
документов (средним размером в 256 КБ), загрузку их в ферму SharePoint, создание индекса FAST Search Server
2010 for SharePoint для этих документов, а затем выполнение тестов с помощью Microsoft Visual Studio® 2010
Ultimate для моделирования использования. С помощью данного тестирования мы собирались
продемонстрировать методы вертикального и горизонтального масштабирования. Вертикальное
масштабирование обозначает использование дополнительного оборудования для увеличения объема доступных
ресурсов и масштабирования одной среды, которой в данном случае является база данных контента SharePoint.
Под базой данных контента SharePoint подразумеваются все семейства веб-сайтов, все метаданные и большие
двоичные объекты (BLOB), связанные с этими семействами, к которым имеет доступ сервер SharePoint Server.
Горизонтальное масштабирование обозначает создание нескольких сред, что в данном примере будет
соответствовать нескольким базам данных контента SharePoint. Обратите внимание, что база данных контента —
это не просто база данных SQL Server, это и различные конфигурационные данные и любые большие двоичные
объекты документов вне зависимости от места хранения этих объектов.
Рабочая нагрузка, которую мы тестировали для данного отчета, касается в основном архива документов. Она
включает в себя большое количество типичных документов Microsoft Office, сохраненных для архивных целей.
Хранение в данном сценарии предполагается в основном долгосрочным с нечастым доступом.
Участвовавшие партнеры по оборудованию
Этот тест был осуществлен благодаря поддержке нескольких партнеров Майкрософт по оборудованию.
NEC Corporation of America
Корпорация NEC предоставила сервер NEC Express5800/A1080a (GX) с 8 ЦП и 1 ТБ ОЗУ. В каждом процессоре
имелось по 8 ядер, что в сумме составило 64 ядра на сервер. Как описано ниже, этот сервер использовался для
выполнения Microsoft Hyper-V с набором виртуальных машин, из которых были сформированы фермы серверов
SharePoint Server и FAST Search Server 2010 for SharePoint.
Рис. 1. NEC Express Server 5800
5
Источник:
www.necam.com/servers/enterprise
Спецификации сервера NEC Express 5800/A1080a




8 ЦП Westmere (E7-8870), каждый с 10 процессорными ядрами.
1 ТБ памяти. Каждый модуль «процессор-память» состоит из 1 ЦП (10 ядер) и 16 DIMM.
2 двухпортовых 8G FC HBA.
5 жестких дисков.
Intel
Корпорация Intel предоставила второй сервер NEC Express5800/A1080a, также содержащий 8 ЦП и 1 ТБ ОЗУ.
Intel еще более усовершенствовала этот компьютер, добавив ЦП Westmere EX, содержащие по 10 ядер, что в
сумме составило 80 ядер на сервер. Как описано ниже, этот сервер использовался для выполнения индексаторов
Microsoft SQL Server и FAST Search Server 2010 for SharePoint напрямую на компьютере без использования HyperV.
EMC
Компания EMC предоставила хранилище SAN, EMC VNX 5700, содержащее 300 ТБ высокопроизводительных
дисков.
EMC VNX5700 Unified Storage
Источник: http://www.emc.com/collateral/software/15-min-guide/h8527-vnx-virt-msapp-t10.pdf
Спецификации EMC VNX 5700:




Диски по 2 ТБ, 15 дисков на 3U DAE, 5 модулей, что в сумме составляет 75 дисков и 150 ТБ (номинальная
емкость).
Диски по 600 ГБ, 25 дисков на 2U DAE, 10 модулей, что в сумме составляет 250 дисков и 150 ТБ
(номинальная емкость).
2 процессора хранилища (SP).
2 модуля резервных батарей.
Определение тестированной рабочей нагрузки
6
Данный нагрузочный тест был разработан с целью демонстрации возможностей SharePoint Server 2010 в области
работы с большими архивами документов. Рабочая нагрузка архива документов характеризуется большим
количеством документов, которые медленно добавляются, нечасто используются и почти никогда не
обновляются.
Индекс FAST
Search
Документы
Библиотека
документов
Drop Box
Маршрутизация
контента
Базы данных
заархивированного
контента
Рис. 2. Работа с большими архивами документов
Описание архитектуры горизонтального масштабирования архива документов
В ферме SharePoint с несколькими базами данных контента рекомендуется обеспечивать маршрутизацию
контента, чтобы отправлять документы в подходящую базу данных контента из начальной входной библиотеки.
В тестах, описанных в этом отчете, маршрутизация контента не была настроена; мы сосредоточились на
масштабируемости и производительности установки.
Если для добавления документов в одну из нескольких баз данных контента SharePoint используется
маршрутизация контента, можно использовать FAST Search Server 2010 for SharePoint для обеспечения
оптимального поиска документов в одной или нескольких базах данных контента. FAST Search Server 2010 for
SharePoint создает индекс со всеми документами из всех баз данных контента, поэтому во время поиска можно
использовать метаданные, уточнения для выбора по дате, автору или другим свойствам, а также применять
полнотекстовый поиск.
Применявшиеся тестовые транзакции
Этот технический документ содержит результаты ряда тестов производительности, проведенных на SharePoint
Server 2010 и FAST Search Server 2010 for SharePoint в сценарии архива документов. В данном разделе
описывается методика тестирования, использовавшаяся при проведении рассматриваемых в документе тестов.
Отклонения от этой методики указываются при представлении данных.
Рабочая нагрузка
Важно! Необходимо отметить, что конкретные значения емкости и производительности, представленные в этой
статье, отличаются от значений в реальных средах. Эти данные можно использовать в качестве отправной точки
при проектировании среды соответствующего масштаба. По завершении начального этапа проектирования
7
системы протестируйте разработанную конфигурацию, чтобы убедиться, что система будет обеспечивать
необходимые показатели.
Тестовые рабочие нагрузки были разработаны в соответствии со сценарием большого хранилища архива
документов и предназначены для оценки влияния крупномасштабного хранилища документов на различные
конфигурации фермы.
Тестовая ферма, описанная в этом сценарии, была разработана с возможностью поддержки горизонтального и
вертикального масштабирования для добавления емкости по мере необходимости.
Возможность масштабирования одинаково важна как для небольших реализаций, так и крупномасштабных
архивов документов. Горизонтальное масштабирование позволяет добавлять в ферму (или фермы) больше
серверов (дополнительные интерфейсные веб-серверы, серверы приложений и т. д.). Вертикальное
масштабирование позволяет увеличивать емкость существующих серверов добавлением более быстрых ЦП и
(или) памяти, чтобы повысить пропускную способность и производительность. Маршрутизацию контента также
рекомендуется использовать в сценариях архивирования, чтобы пользователи могли просто «оставлять» файл,
который затем динамически маршрутизируется в соответствующую библиотеку документов и папку, если это
возможно, основываясь на метаданных файла.
Определения тестовых транзакций и базовых параметров
В этом разделе описываются тестовые транзакции и другие базовые параметры, и приводится обзор процесса
тестирования, использованного в каждом из сценариев. Подробные сведения, например результаты
тестирования и конкретные параметры, приведены в соответствующих разделах результатов тестирования ниже.
Базовый элемент
Описание базового элемента
Базовое значение (или
процент транзакций)
Отправка документа
Отправка документа в один из центров
документов. Одна уникальная папка и файл
создавались в каждом центре документов каждый
час, 24 часа в день.
1%
Загрузка документа
(открытие)
Загрузка или открытие документа.
30%
Просмотр
Доступ к случайной домашней странице центра
документов, странице просмотра списка
библиотеки документов или странице просмотра
списка папки.
40%
Поиск
Случайный поисковый запрос, отправленный в
центр поиска FAST Search.
30%
Время «на
обдумывание»
Время между транзакциями каждого пользователя.
Этот параметр представляет собой время, которое
пользователь тратит на чтение или размышление,
проходящее между обращениями к веб-страницам.
10 с
Одновременно
работающие
пользователи
Число пользователей, подключающихся к ферме
SharePoint из агентов тестирования через
интерфейсные веб-серверы SharePoint. Это число
не является полной базой пользователей, так как в
10 000
8
обычной среде лишь небольшая часть от всех
пользователей будет одновременно получать
доступ к системе.
Продолжительность
тестирования
Продолжительность выполнения теста.
1 час
Веб-кэширование
Включено ли веб-кэширование на интерфейсных
веб-серверах или нет.
Включено
Индексирование
контента FAST
Выполняется ли индексирование контента FAST во
время теста или нет.
Приостановлено
Число
интерфейсных вебсерверов
Число интерфейсных веб-серверов в ферме
SharePoint, использовавшихся во время
тестирования.
3 на каждую из баз
данных контента
Скорость
увеличения числа
пользователей
Каждый тест начинался с 1 000 пользователей,
число которых увеличивалось до целевой нагрузки
шагами по 100 пользователей. Использовался
период увеличения в 30 с и интервал в 10 с.
100 пользователей за
30 секунд
Агенты
тестирования
Visual Studio 2010 Ultimate использовалась для
моделирования нагрузки от транзакций
пользователей. Для создания этой нагрузки
использовалась одна виртуальная машина с
контроллером тестирования и 19 виртуальных
машин с агентами тестирования.
19
Таблица 1. Тестовые транзакции и базовые параметры
Базовый тестовый набор
В этом разделе описываются применявшиеся тестовые наборы и приводится обзор результатов тестирования для
каждого из сценариев тестового набора.
В различных тестах использовались разные тестовые наборы, зависимости от целей тестирования и
использованных нагрузок. Все тесты проводились с использованием Visual Studio 2010 Ultimate и записывались;
бескодовые скрипты создавались исключительно в Visual Studio. Для каждого теста заполнялись определенные
точки данных, а затем тестовый набор запускался в течение различных периодов времени и с использованием
разного числа одновременно работающих пользователей, чтобы определить емкости и ограничения фермы.
Примечания
Все тесты, проводившиеся в лабораторной среде, запускались с использованием времени «на обдумывание»
в 10 секунд. Время «на обдумывание» — это функция контроллера тестирования Microsoft Visual Studio 2010
Ultimate, которая позволяет моделировать время паузы между действиями пользователя на странице в реальной
среде.
Набор операций, использовавшийся при измерении производительности для целей этого технического
документа, был создан искусственно. Все результаты предназначены только для иллюстрации характеристик
производительности в контролируемой среде с определенным набором условий. Эти тестовые наборы включают
завышенное число запросов перечисления, которые потребляют большой объем ресурсов сервера SQL Server по
сравнению с другими операциями. Эти данные можно использовать в качестве отправной точки при
9
проектировании среды соответствующего масштаба. После завершения первоначального этапа разработки
системы протестируйте созданную конфигурацию, чтобы определить, отличаются ли у вас определенные
переменные среды и набор операций.
Тестовые серии
Было выполнено шесть тестовых серий, обозначенных буквами A—F. Каждая серия включала выполнение
базового теста с одинаковыми параметрами и средой, кроме одного менявшегося параметра. Отдельные тесты в
каждой серии были обозначены номером, следующим за обозначением серии. В этом разделе описаны
отдельные проведенные тестовые серии. В списке тестов имеются примечания, обозначающие использование
параметров, совпадающих с базовыми. Иными словами, в одном из тестов в каждой из серий определенный
параметр не менялся, поэтому этот тест был во всех отношениях равнозначен исходному базовому тесту.
Серия тестов A: различное число пользователей
В этой серии тестов менялось число пользователей, чтобы продемонстрировать, как увеличение такой нагрузки
влияет на системные ресурсы фермы SharePoint и FAST Search Server 2010 for SharePoint. Было проведено три
теста (4 000 пользователей, 10 000 пользователей и 15 000 пользователей). Тест с 15 000 пользователей
потребовал увеличения времени тестирования до 2 часов, чтобы дать возможность нарастить нагрузку при
помощи пошагового увеличения числа пользователей; также было увеличено число интерфейсных веб-серверов
до 6, чтобы обрабатывать возросшую нагрузку.
Тестирование
Число пользователей
A.1
A.2
4 000
10 000
Число интерфейсных
веб-серверов
3
3
A.3
15 000
6
Время
тестирования
1 час
1 час (базовое
значение)
2 часа
Серия тестов B: различный объем оперативной памяти сервера SQL Server
В этой серии тестов изменялся объем ОЗУ, доступный серверу Microsoft SQL Server. Так как компьютер SQL Server
имеет большой объем физической оперативной памяти, мы выполняли этот тестовый сценарий, чтобы
проверить, как будет работать сервер SQL Server с меньшим объемом ОЗУ по сравнению с базовой
конфигурацией. Было проведено шесть тестов со следующими максимальными значениями оперативной памяти
SQL Server: 16, 32, 64, 128, 256 и 600 ГБ.
Тестирование
B.1
B.2
B.3
B.4
B.5
B.6
ОЗУ SQL
16 ГБ
32 ГБ
64 ГБ
128 ГБ
256 ГБ
600 ГБ (базовое значение)
Серия тестов С: изменение поисковых наборов
В этой серии тестов изменялась пропорция поисковых запросов, выполняемых тестовыми пользователями,
в сравнении с просмотром и открытием документов. Тестовая рабочая нагрузка применялась к ферме в виде
набора различных пользовательских транзакций (базовая пропорция по умолчанию — 30 %, 40 % и 30 % для
10
операций открытия, просмотра и поиска соответственно). В тестах данной серии менялась пропорция поиска,
в результате чего менялась также пропорция открытия и просмотра.
Тестирование
C.1
C.2
C.3
C.4
C.5
C.6
Открытие
30%
30%
20%
20%
25%
5%
Просмотр
55%
40%
40%
30%
25%
20%
Поиск
15%
30 % (базовое значение)
40%
50%
50%
75%
Серия тестов D: различный объем оперативной памяти интерфейсных веб-серверов
В этой серии тестов менялся объем ОЗУ, выделенный для интерфейсных веб-серверов. В рамках теста
использовались четыре интерфейсных веб-сервера. Объем ОЗУ для каждого из четырех интерфейсных вебсерверов принимал значения в 4, 6, 8 и 16 ГБ.
Тестирование
D.1
D.2
D.3
D.4
Память интерфейсных веб-серверов
4 ГБ
6 ГБ
8 ГБ (базовое значение)
16 ГБ
Серия тестов E: различное число интерфейсных веб-серверов
В этой серии тестов менялось число используемых интерфейсных веб-серверов. Было протестировано 2, 3, 4, 5 и
6 серверов.
Тестирование
E.1
E.2
E.3
E.4
E.5
Число интерфейсных веб-серверов
2
3 (базовое значение)
4
5
6
Серия тестов F: ограничение числа ЦП сервера SQL Server
В этой серии тестов ограничивалось число ЦП, доступных серверу SQL Server. Было протестировано следующее
число ЦП, доступных серверу SQL Server: 2, 4, 8, 16 и 80.
Тестирование
F.1
F.2
F.3
F.4
F.5
Число ЦП, доступных серверу SQL Server
4
6
8
16
80 (базовое значение)
Тестовая нагрузка
Тесты предназначены для обеспечения работы ниже оптимального уровня нагрузки, или «зеленой зоны»
и состоят из различных операций. Чтобы измерить определенные изменения, тесты проводились при любом
изменении той или иной переменной. Тестовые серии предполагали превышение оптимального уровня
нагрузки, чтобы выявить узкие места в конфигурации фермы. При реализации ферм в рабочей среде
11
рекомендуется использовать результаты с оптимальным уровнем нагрузки, чтобы была избыточная мощность
ресурсов для обработки переходных и непредвиденных нагрузок. В данном проекте оптимальный уровень
нагрузки выражен следующими пороговыми значениями:






75-й процентиль задержки меньше одной секунды;
загрузка ЦП на интерфейсном веб-сервере меньше 85 %;
загрузка ЦП на сервере SQL Server меньше 50 %;
загрузка ЦП на сервере приложений меньше 50 %;
загрузка ЦП на FAST Search Server 2010 for SharePoint меньше 50 %;
процент сбоев меньше 0,01 %.
Регистрация использования ресурсов во время тестов
Во время выполнения всех тестов использование ресурсов регистрировалось с помощью компонента
«Системный монитор» (Perfmon.exe) и Visual Studio 2010 Ultimate, чтобы определить нагрузку в тестовой ферме.
Следующие сведения были зарегистрированы и представлены в разделе отчетов.




ЦП для каждого интерфейсного веб-сервера, сервера приложений SharePoint, индекса FAST Search Server
2010 for SharePoint, приложения-службы Fast Search (SSA), компьютера SQL Server.
Использование ОЗУ для каждого интерфейсного веб-сервера, сервера приложений SharePoint, индекса
FAST Search Server 2010 for SharePoint, приложения-службы Fast Search (SSA), компьютера SQL Server.
Время обновления страниц во всех тестовых элементах.
Дисковые очереди для каждого из дисков.
Сведения об архитектуре оборудования тестовой фермы
В ферме центра документов размещается центр администрирования SharePoint, центр документов 1, центр
документов 2, приложения-службы и интегрированный центр FAST Search. Ферма состоит из трех физических
серверов и 22 виртуальных серверов.
На
Рис. 3представлена схема физической архитектуры.
12
Рис. 3. Схема архитектуры оборудования
13
Document Center Farm
FC HBA (8GB) – VNX5700
PACNEC02
(Hyper-V-HOST)
Physical
64xLP
1TB RAM
Hosting Hyper-V,
FAST Admin
SPDC01
Physical
4xLP
4GB RAM
Domain Controller, DNS
Data/Storage
FC HBA (8GB) – EMC SAN 2
FC HBA (8GB) – VNX5700
PACNEC01
(SQL-HOST)
Physical
80xLP (Westmere)
1TB RAM
Hosting SQL Server,
FAST Document Processors
Рис. 4. Физические серверы
Технология Hyper-threading была отключена на физических серверах, так как нам не требовались
дополнительные ядра ЦП, а также было установлено ограничение в 4 логических ЦП для каждой из виртуальных
машин Hyper-V. Мы не хотели, чтобы производительность серверов пострадала из-за технологии Hyper-threading.
В лабораторной среде было три физических сервера. Все 3 физических сервера и 22 виртуальных были
подключены к виртуальной локальной сети, находящейся в пределах лабораторной среды, чтобы изолировать их
сетевой трафик от других несвязанных лабораторных компьютеров. Локальная сеть основывалась на
коммутаторе Ethernet 1 Гбит/с; каждый из серверов NEC был подключен к двум портам Ethernet 1 Гбит/с.


SPDC01. В лабораторной среде для виртуальной сети использовался контроллер домена Windows и
сервер DNS.
o 4 физических процессорных ядра, работающих на частоте 3,4 ГГц.
o 4 ГБ ОЗУ.
o 33 ГБ на локальном дисковом устройстве RAID SCSI.
PACNEC01. SQL Server 2008 R2 с главными и дополнительными файлами для баз данных контента,
журналов и временной базы данных. Напрямую на этом сервере также выполнялось 100 обработчиков
документов FAST.
o NEC ExpressServer 5800 1080a
o 8 ЦП Intel E7-8870, содержащих в сумме 80 физических процессорных ядер, работающих на
частоте 2,4 ГГц.
o 1 ТБ ОЗУ.
o Напрямую подключенный диск объемом 800 ГБ.
o 2 двухпортовых адаптера шины Fiber Channel со скоростью передачи данных до 8 Гбит/с.
o 2 сетевые карты Ethernet 1 Гбит/с.
14

PACNEC02. Компьютер Hyper-V, на котором были размещены виртуальные машины SharePoint, FAST
Search for SharePoint и тестовой платформы, входящие в ферму.
o NEC ExpressServer 5800 1080a
o 8 ЦП Intel X7560, содержащих в сумме 64 физических процессорных ядра, работающих на частоте
2,27 ГГц.
o 1 ТБ ОЗУ.
o Напрямую подключенный диск объемом 800 ГБ.
o 2 двухпортовых адаптера шины Fiber Channel со скоростью передачи данных до 8 Гбит/с.
o 2 сетевые карты Ethernet 1 Гбит/с.
Виртуальные серверы
Рис. 5. Виртуальные серверы
Все эти серверы выполнялись на экземпляре Hyper-V на компьютере PACNEC02. Все виртуальные серверы,
загружаемые из VHD-файлов, сохранялись локально на сервере PACNEC02 и имели доступ к лабораторной
виртуальной локальной сети. Некоторые из этих виртуальных серверов имели прямой дисковый доступ в
пределах гостевой ОС к LUN в хранилище SAN. Прямой дисковый доступ использовался для обеспечения лучшей
производительности (по сравнению с виртуальными жесткими дисками) и применялся для доступа к индексам
FAST Search. Ниже приводится список различных типов виртуальных серверов, выполнявшихся в лабораторной
среде, сведения об используемых ими ресурсах и предоставляемых ими службах.
Тип виртуального сервера
Тестовые платформы (от TestRig-1 до TestRig-20)
 TestRig-1 — это контроллер
тестирования Visual Studio 2010
Ultimate
 От TestRig-2 до TestRig19 — агенты
тестирования Visual Studio Agents 2010,
управляемые TestRig-1
SP: центр администрирования, приложения-службы
Secure Store, обходчик
 APP-1 — узел центра
администрирования SharePoint и
приложения-службы FAST Search.
 APP-2 - — приложения-службы
SharePoint и узел приложений-служб
FAST Search. Этот сервер приложений
выполнял следующие общие
Описание
Контроллер тестирования и агенты
тестирования Visual Studio 2010 Ultimate
для нагрузочного тестирования фермы.
Этим виртуальным серверам было
выделено 4 виртуальных процессора и
8 ГБ памяти. В качестве дисковой
подсистемы для этих серверов
использовался виртуальный жесткий диск.
В этих виртуальных машинах размещался
центр администрирования SharePoint и
приложения-службы, используемые в
ферме. Этим виртуальным серверам было
выделено 4 виртуальных процессора и
16 ГБ памяти. В качестве дисковой
подсистемы для этих серверов
использовался виртуальный жесткий диск.
15
приложения-службы SharePoint:
 Приложение-службу Secure
Store.
 Приложение-службу FAST
Search.
Служба FAST и администрирование
 FAST-SSA-1 и FAST-SSA-2 —
приложения-службы FAST Search 1 и 2
соответственно.
В этих виртуальных машинах размещается
служба FAST Search и компоненты
администрирования. Этим виртуальным
серверам было выделено 4 виртуальных
процессора и 16 ГБ памяти; в качестве
дисковой подсистемы для этих серверов
использовался виртуальный жесткий диск.
Поиск и индекс FAST
 FAST-IS-1, FAST-IS2, FAST-IS3 и FAST-IS4
— индекс FAST, поиск, узлы вебанализатора 1, 2, 3 и 4.
В этих виртуальных машинах размещался
индекс FAST и FAST Search, а также узлы
веб-анализатора, используемые в ферме.
Этим виртуальным серверам было
выделено 4 виртуальных процессора и
16 ГБ памяти; в качестве загрузочного
диска для этих серверов использовался
виртуальный жесткий диск. На уровне
дисков они также имели прямой доступ к
LUN общим объемом в 3 ТБ в хранилище
SAN для хранения индекса FAST.
Интерфейсный веб-сервер (SharePoint и FAST Search)
 WFE-1, WFE-2 и WFE-3 — интерфейсные
веб-серверы 1, 2 и 3, часть
конфигурации балансировки нагрузки
Windows с первым центром
документов. Этим виртуальным
серверам было выделено 4
виртуальных процессора и 8 ГБ памяти.
 WFE-4, WFE-5 и WFE-6 — интерфейсные
веб-серверы 4, 5 и 6, часть
конфигурации балансировки нагрузки
Windows с вторым центром
документов. Этим виртуальным
серверам было выделено 4
виртуальных процессора и 8 ГБ памяти.
В этих виртуальных машинах размещаются
все интерфейсные веб-серверы и
выделенный узел обходчика FAST в
пределах фермы. Каждая база данных
контента содержала один центр
документов, настроенный для работы с
тремя интерфейсными веб-серверами
SharePoint Server с балансировкой
нагрузки. Это было сделано для того,
чтобы упростить нагрузочное
тестирование в пределах двух баз данных
контента. В реальной ферме каждый
интерфейсный веб-сервер, вероятно,
будет обслуживать несколько баз данных
контента. В качестве дисковой подсистемы
для этих серверов использовался
виртуальный жесткий диск.
Дисковое хранилище
Хранилищем являлось EMC VNX5700 Unified Storage. Массив VNX5700 был подключен к каждому из физических
серверов, PACNEC01 и PACNEC02, с помощью канала Fiber Channel 8 Гбит/с. Каждый из этих физических серверов
содержал два адаптера шины Fiber Channel, чтобы он мог подключаться к обоим процессорам хранилищ в
16
основном хранилище SAN, что обеспечивает избыточность и позволяет SAN балансировать LUN в пределах
процессоров хранилища.
SAN — массив EMC VNX5700
Массив EMC VNX5700 (http://www.emc.com/products/series/vnx-series.htm#/1) (Возможно, на английском языке)
использовался для хранения баз данных SQL Server и индекса поиска FAST Search Server 2010 for SharePoint.
Конфигурация VNX5700 содержала 300 ТБ дискового пространства (номинальная емкость). Массив был заполнен
250 дисками SAS, емкостью в 600 ГБ и с частотой вращения в 10 000 об./мин, и 75 дисками Near-line SAS,
имеющими емкость в 2 ТБ и частоту вращения 7 200 об./мин (диски Near-line SAS имеют физические интерфейсы
SATA и разъемы SAS, тогда как обычные диски SAS имеют физические интерфейсы SCSI). Эти диски были
настроены в формате RAID-10 для зеркалирования и чередования. Настроенный том RAID в хранилище Storage
Area Network (SAN) был разделен на 3 пула, а номера LUN выделялись из определенного пула (Таблица 2).
Номер пула
Описание
Тип диска
0
1
2
FAST
База данных контента
Резервный — не
используется
SAS
SAS
NL SAS
Пользовательская
емкость (ГБ)
31 967
34 631
58 586
Выделено (ГБ)
24 735
34 081
5 261
Таблица 2. Выделение пулов SAN
Логические номера устройств (LUN) на VNX 5700 были определены как показано ниже (Таблица 3).
Номер Описание
LUN
0
База данных служб
SharePoint
1
PACNEC02 —
дополнительное
пространство
2
Индекс FAST 1
3
Индекс FAST 2
4
Индекс FAST 3
5
Индекс FAST 4
6
База данных контента
SharePoint 1
7
База данных контента
SharePoint 2
8
База данных контента
SharePoint 3
9
База данных контента
SharePoint 4
10
Журнал транзакций базы
данных контента SharePoint
11
Журнал транзакций базы
данных служб SharePoint
12
Временная база данных
13
Журнал временной базы
данных
Размер (ГБ)
Сервер
Номер диска
Буква диска
1 024
PACNEC01
0
F
5 120
PACNEC02
0
3 072
3 072
3 072
3 072
7 500
PACNEC02
PACNEC02
PACNEC02
PACNEC02
PACNEC01
0
0
0
0
1
F
G
H
I
H
6 850
PACNEC01
1
I
6 850
PACNEC01
1
J
6 850
PACNEC01
1
K
2 048
PACNEC01
1
G
512
PACNEC01
0
L
2 048
2 048
PACNEC01
PACNEC01
1
0
M
N
17
14
15
16
17
18
19
20
База данных
работоспособности
использования SharePoint
Базы данных обхода FAST и
администрирования
Резервный — не
используется
Массив контента
документов Office
Файлы подкачки
виртуальных машин
Резервная копия базы
данных 1
Резервная копия базы
данных 2
3 072
PACNEC01
0
O
1 024
PACNEC01
1
P
5 120
PACNEC01
2
3 072
PACNEC01
Дополнительно T
1 024
PACNEC02
Дополнительно K
16 384
PACNEC01
Дополнительно R
16 384
PACNEC01
Дополнительно S
Таблица 3. Логические номера устройств (LUN)
SAN — дополнительный дисковый массив
Дополнительный дисковый массив меньшей производительности использовался для целей резервного
копирования и для размещения контента документов Office, которые загружались в ферму SharePoint Server
2010. Этот массив не использовался во время выполнения тестов.
Архитектура тестовой фермы SharePoint Server и SQL Server
Логическая архитектура была определена для демонстрации рекомендуемых предельных значений SharePoint
Server 2010. Архитектура состояла из двух веб-приложений, каждое из которых содержало одно семейство
веб-сайтов в одной уникальной базе данных контента. Каждая база данных контента была заполнена 60 млн.
документов типа Microsoft Word (DOCX), Excel (XLSX), PowerPoint (PPTX) и HTML (HTML-страницы), которые
имели средний размер в 250 КБ. Размер каждой базы данных контента составлял примерно 15 ТБ, что в сумме
давало 30 ТБ. Логическая архитектура крупномасштабной лабораторной среды показана на рис. 6.
18
Document Center Farm and Data/Storage
IIS Web Site – “SP CA v4”
IIS Web Site – “SharePoint Services”
Application Pool
Application Pool
Web Application 1
Central Administration
Secure Store
Service Application
E
M
C
V
N
X
5
7
0
0
S
A
N
http://app-1:2010
SharePoint Central
Administration
SharePoint
Configuration
TempDB
SharePoint Content
FAST Crawl/Admin
Default group
Bulk
Bulk
VMs
VMs
FAST Index
Swap
Swap Swap
Swap Swap
Swap Swap
Swap Swap
Swap
IIS Web Site – “doccenter1.lab80”
IIS Web Site – “doccenter2.lab81”
IIS Web Site – “search.lab2011”
Application Pool
Application Pool
Application Pool
Web Application 2
Document Center Template
Web Application 3
Document Center Template
Web Application 4
FAST Search Center Template
http://doccenter1:80
http://doccenter2:81
http://search.lab:2011
Рис 6.
Архитектура программного обеспечения
Ферма центра документов SharePoint предназначена для использования в сценарии архивирования документов
и была разработана для поддержки большого числа документов, сохраненных в нескольких библиотеках
документов. Общее число документов в каждой из библиотек документов было ограничено примерно одним
миллионом документов, а иерархия папок ограничивала число документов на контейнер до примерно 2 000
элементов. Это было сделано только для того, чтобы обеспечить длительный процесс загрузки документов и
предотвратить уменьшение времени загрузки после превышения 1 миллиона элементов в библиотеке
документов.
Веб-сайты IIS фермы SharePoint
Два семейства веб-сайтов контента использовали шаблон центра документов. В семействе веб-сайтов центра
поиска использовался шаблон центра поиска FAST Search. Каждое из семейств находилось в уникальном
веб-приложении. Каждое веб-приложение использовало отдельный пул приложений.
Веб-сайт IIS — службы SharePoint
На веб-сайте IIS служб SharePoint были размещены общие службы, используемые в SharePoint Server 2010.
Для целей данной лабораторной среды использовалась служба Secure Store.
Веб-сайт IIS — центр администрирования SharePoint версии 4
На веб-сайте IIS центра администрирования SharePoint был размещен сайт центра администрирования и
пользовательский интерфейс для SharePoint Server 2010.
19
Веб-сайт IIS — центр документов 1
На веб-сайте IIS центра документов 1 был размещен первый архив центра документов.
Веб-сайт IIS — центр документов 2
На веб-сайте IIS центра документов 2 был размещен второй архив центра документов.
Веб-сайт IIS — центр FAST Search
На веб-сайте IIS центра Fast Search был размещен пользовательский интерфейс системы поиска фермы.
На уровне 70 миллионов и выше база данных обхода стала заметно медленнее, и потребовалась некоторая
настройка, чтобы увеличить объем со 100 миллионов до 120 миллионов.
Базы данных SQL Server
Следующие базы данных SQL Server размещались в хранилище SAN EMC VNX 5700.
Имя базы данных
Назначение
SharePointAdminContent_<GUID>
База данных центра администрирования
SharePoint
SharePoint_Config
База данных конфигурации SharePoint
Системные базы данных — tempdb
Временная база данных SQL Server
ReportServer
ReportServerTempDB
База данных Microsoft SQL Server,
в которой сохраняются все метаданные
отчетов, включая определения отчетов,
журнал отчетов и снимки, а также данные
о расписании.
База данных Microsoft SQL Server,
в которой сохраняют все временные
снимки во время выполнения отчетов.
Размер (МБ)
768
1 574
16 384
10
3
SPContent01 (база данных контента
центра документов 1)
Базы данных контента SharePoint
15 601 286
SPContent02 (база данных контента
центра документов 2)
Базы данных контента SharePoint
15 975 266
FAST_Query_CrawlStoreDB_<GUID>
Хранилище обходчика для приложенияслужбы поисковых запросов FAST Search.
База данных хранилища обходчика
использовалась только для профилей
пользователей (поиск людей).
15
FAST_Query_DB_<GUID>
База данных администрирования для
приложения-службы поисковых запросов
FAST Search.
125
20
FAST_Query_PropertyStoreDB_<GUID>
В этой БД сохраняются свойства
метаданных и дескрипторы безопасности
для элементов профилей пользователей в
индексе поиска людей. Она
использовалась в запросах поиска людей
на основе свойств и возвращала
стандартные атрибуты документов в
качестве результатов запросов поиска
людей.
FASTContent_CrawlStoreDB_<GUID>
Хранилище обходчика для приложенияслужбы поиска контента FAST Search.
Эта база данных хранилища обходчика
использовалась для всех обойденных
элементов, кроме профилей
пользователей.
FASTContent_DB_<GUID>
База данных администрирования для
приложения-службы поиска контента FAST
Search.
FASTSearchAdminDatabase
База данных администрирования для
фермы FAST Search Server 2010 for
SharePoint. Отвечает за сохранение групп
параметров поиска, ключевых слов,
синонимов, исключений проверки
правописания, обычных и визуальных
наиболее подходящих элементов, а также
метаданных схемы поиска и управление
ими, за повышение или понижение уровня
документов и сайтов, включение и
исключение средств извлечения свойств.
WSS_Content_FAST_Search
База данных контента центра поиска FAST
Search.
LoadTest2010
Хранилище результатов нагрузочного
тестирования
173
502 481
23
4
52
4 099
Таблица 4. Базы данных SQL Server
Индексы контента FAST Search Server 2010 for SharePoint
Каталоги данных FAST Search Server 2010 for SharePoint используют канал доступа к дискам из Hyper-V напрямую
в SAN.
На виртуальном сервере FAST-IS1 каталог данных использует 745 ГБ из 3 ТБ и не использует временное
пространство (все было очищено).
Таблица 5 показывает хранение данных в файловых папках индекса FAST Search Server 2010 for SharePoint,
сохраненных в SAN.
21
Имя
Назначение
data_fixml
Источник индекса, использовавшийся для
создания индекса
data_index
Фактический индекс поиска,
использовавшийся запросами
sprel
Данные релевантности SharePoint.
Используются для перемещения
популярных результатов поиска в
верхнюю часть списка.
webanalyzer
Повышение порядка в результатах поиска
для документов, на которые больше
ссылок.
Число файлов
Размер (ГБ)
6 миллионов
223
3 729
490
9
3
135
12
Таблица 5. Хранилище, используемое одним из четырех индексов FAST
Метод, график проекта и процесс создания фермы
График проекта
Это примерный график проекта.









Планирование архитектуры фермы
Установка оборудования серверов и SAN
Создание виртуальных машин для фермы
Создание образцов элементов контента
Загрузка элементов на сервер SharePoint
Разработка тестовых скриптов
Индексирование контента FAST Search
Нагрузочное тестирование
Написание отчетов
2 недели
1 неделя
1 неделя
2 недели
3 недели
1 неделя
2 недели
3 недели
2 недели
Порядок создания образцов документов
Для обеспечения реалистичности сценария архивирования документов уникальность документов играла
решающую роль. Использовались две отдельные служебные программы; первая для создания уникальных
документов, а вторая для чтения этих файлов с диска и загрузки напрямую в целевые веб-приложения SharePoint
и библиотеки документов.
Программа для создания большого числа документов
Документы создавались с помощью программы командной строки, Bulk Loader (пакетный загрузчик), написанной
с использованием Microsoft .NET 4.0 Framework. Эта программа использует файл дампа содержимого Википедии
(Wikipedia) в качестве входных данных, чтобы обеспечить создание до 10 миллионов уникальных документов на
диске. Для замены ссылок на изображения в дампах Википедии использовался набор готовых изображений.
Программа доступна в виде исходного кода по адресу http://code.msdn.microsoft.com/Bulk-Loader-Create-Uniqueeeb2d084.
22
Программа для отправки документов в SharePoint
Документы добавлялись на SharePoint Server с помощью программы командной строки LoadBulk2SP, написанной
с использованием C# и Microsoft .NET 3.5 Framework с целью совместимости с SharePoint Server. В качестве
входных данных эта программа считывает с диска выходные файлы Bulk Loader и повторяет ту же структуру
файлов и папок напрямую на сервере SharePoint Server с использованием целевых веб-приложений и библиотек
документов, указанных в конфигурации приложения. С помощью данной программы в SharePoint Server было
отправлено более 100 миллионов документов размером 250 КБ с пиковой производительностью в 233 документа
в секунду (и средней в 137 документов в секунду). Программа доступна в виде исходного кода по адресу
http://code.msdn.microsoft.com/Load-Bulk-Content-to-3f379974.
Характеристики производительности крупномасштабной отправки документов
Отправка документов выполнялась с помощью программы LoadBulk2SP, описанной выше. Указанная программа
использует метод SubFolderCollection.Add() для добавления новых папок в определенные библиотеки документов
и метод SPFileCollection.Add() для добавления файлов напрямую в созданные папки библиотеки документов
SharePoint. Структура папок и файлов, созданная в SharePoint Server, отражает выходную иерархию, созданную
программой Bulk Loader.
Размеры базы данных контента библиотеки документов
Ниже приводятся сведения о размере всех баз данных контента библиотек документов, включая файловые
группы SQL Server, основные и дополнительные файлы, используемые в ферме.
Файл контента SQL
Файловая
группа
Основная
SPCData01
SPCData01
SPCData01
SPCData01
SPCData01
Всего:
SPCData02
SPCData02
SPCData02
SPCData02
SPCData02
SPCData02
Всего:
LUN
SPCPrimary01.mdf
H:/
SPCData0102.mdf
I:/
SPCData0103.mdf
J:/
SPCData0104.mdf
K:/
SPCData0105.mdf
H:/
SPCData0106.mdf
O:/
Центр документов 1
SPCPrimary02.mdf
H:/
SPCData0202.mdf
I:/
SPCData0203.mdf
J:/
SPCData0204.mdf
K:/
SPCData0205.mdf
H:/
SPCData0206.mdf
O:/
Центр документов 2
Общая сумма:
Таблица 6. Размеры баз данных SQL Server
Размер (КБ)
53 248
3 942 098 048
4 719 712768
3 723 746 048
3 371 171 968
4 194 394
15 760 968 474
52 224
3 240 200 064
3 144 130 944
3 458 544 064
3 805 828 608
2 495 168 448
16 143 924 352
31 904 892 826
Размер (МБ)
52,000
3 849 697,312
4 609 094,500
3 636 470,750
3 292 160,125
4 096,087
15 391 570,775
51,00
3 164 257,875
3 070 440,375
3 377 484,437
3 716 629,500
2 436 687,937
15 765 551,125
31 157 121,900
Размер (ГБ)
0,050
3 759,470
4 501,068
3 551,240
3 215,000
4,000
15 030,820
0,049
3 090,095
2 998,476
3 298,324
3 629,521
2 379,578
15 396,046
30 426,876
Размер
(ТБ)
0,000
3,671
4,395
3,468
3,139
0,003
14,678
0,000
3,017
2,928
3,221
3,544
2,323
15,035
29,713
Иерархии, папки и файлы библиотек документов
Ниже приведены сведения об иерархиях библиотек документов, общем числе папок и документов, созданных
для каждого центра документов с помощью программы LoadBulk2SP. Суммарное число элементов в обоих
центрах документов составляет: 60 234 папки и 120 092 033 файлов.
Центр документов 1
Общее число папок и файлов, содержащихся в каждой из библиотек документов в базе данных контента,
показано ниже (Таблица 7). Как было сказано ранее, число документов было ограничено одним миллионом на
библиотеку документов исключительно для обеспечения длительного процесса загрузки контента. Результаты и
советы по архитектуре фермы SharePoint 2010, касающиеся хранения больших библиотек документов, см.
23
в предыдущем отчете о тестировании Оценка требований к производительности и емкости для
крупномасштабных хранилищ документов в SharePoint Server 2010 (Возможно, на английском языке)
(http://technet.microsoft.com/ru-ru/library/hh395916.aspx), которое посвящено масштабированию числа
элементов в библиотеке документов.
См. также предельные значения SharePoint Server 2010 для элементов в библиотеках документов и элементов в
базах данных контента, описанные в статье Управление мощностью SharePoint Server 2010: ограничения,
связанные с программным обеспечением (http://technet.microsoft.com/ru-ru/library/cc262787.aspx) на TechNet.
Центр документов 1
Библиотека документов
Число
Папки
ИТОГО ДЛЯ DC1:
30 447
Файлы
60 662 595
Таблица 7. Библиотеки документов в центре документов 1
Центр документов 2
Общее число папок и файлов, содержащихся в каждой из библиотек документов в базе данных контента,
показано ниже (Таблица 8).
Центр документов 2
Библиотека документов
Число
Папки
ИТОГО ДЛЯ DC2:
29 787
59 429 438
ИТОГО ДЛЯ DC1:
30 447
60 662 595
60 234
120 092 033
ОБЩАЯ СУММА:
Файлы
Таблица 8. Библиотеки документов в центре документов 2
Далее приведены примеры статистики из пяти лучших запусков программы LoadBulk2SP, в рамках которых
использовались четыре одновременных процесса, каждый с 16 потоками, работавших с разными центрами
документов, библиотеками документов, входными файлами и папками.
Запуск 26:
5 папок по 2 000
файлов
Время
Часы
0
0
Минуты
Секунды
45
46
Общее время:
2 700
46
2 746
Запуск 9:
30 папок по 2 000
файлов
Секунды
Время
Секунды
Часы
5
18 000
Минуты
Секунды
58
46
Общее время:
3 480
46
21 526
Папки
315
Файлы
Документов
в секунду
639,980
233
58264
Папки
1 920
Файлы
3 839 864
Документов
в секунду
178
24
Запуск 10:
30 папок по 2 000
файлов
Время
Часы
6
21 600
Минуты
Секунды
33
50
Общее время:
1 980
50
23 630
Запуск 8:
30 папок по 2 000
файлов
Время
Секунды
Часы
6
21 600
Минуты
Секунды
51
30
Общее время:
3 060
30
24 690
Запуск 7:
30 папок по 2 000
файлов
Секунды
Время
Секунды
Часы
6
21 600
Минуты
Секунды
55
0
Общее время:
3 300
0
24 900
Папки
1 920
Папки
1 920
Папки
1 920
Файлы
Документов
в секунду
3 839 881
162
Файлы
Документов
в секунду
3 839 857
155
Файлы
Документов
в секунду
3 839 868
154
Таблица 9. Подробные результаты производительности из программы LoadBulk2SP
Число операций ввода-вывода в секунду (IOPS)
SQLIO является средством, моделирующим нагрузку, которое используется для определения максимальной
скорости операций ввода-вывода в рамках той или иной конфигурации. Оно запускалось в системе после
завершения тестов производительности. Поэтому несколько дисков, привязанных к номерам LUN хранилища
SAN, не могли быть включены в этот тест, так как на них было слишком много данных. Тест SQLIO выполнялся для
каждой буквы диска отдельно, а затем для всех дисков одновременно. Значение числа операций ввода-вывода в
секунду на гигабайт представлено в правом столбце. Оно вычислено делением числа операций ввода-вывода в
секунду на емкость диска. Для указанных дисков при одновременном их тестировании мы получили 105 730
операций ввода-вывода в секунду.
Числа операций ввода-вывода в секунду, полученные с помощью средства SQLIO
Число
Число
Общее число
Число
операций
операций операций
операций
Размер
LUN Описание LUN
чтения в
записи в
ввода-вывода ввода(ГБ)
секунду
секунду
в секунду
вывода в
(макс.)
(макс.)
(макс.)
секунду на ГБ
F:
База данных служб
SharePoint
1024
2 736
23 778
26 514
25,89
25
G:
Журнал транзакций
баз данных
контента
2048
3 361
30 021
33 383
16,30
L:
Журнал транзакций
баз данных служб
512
2 495
28 863
31 358
61,25
M:
TempDB
2048
2 455
21 778
24 233
11,83
N:
Журнал TempDB
2048
2 751
29 522
32 273
15,76
O:
Базы данных
контента 5
3 072
2 745
28 767
31 511
10,26
P:
Базы данных
обхода и
администрирования
1024
2 603
22 808
25 411
24,81
Все вместе
11776
16 665
89 065
105 730
8,98
ВСЕГО:
11 776
19 145
185 536
310 412
1 682
2 735
26 505
38 801
СРЕДНЕЕ:
22
Таблица 10. Результаты тестирования числа операций ввода-вывода в секунду для SAN, полученные средством SQLIO
Число операций ввода-вывода в секунду, зарегистрированное во время нагрузочного тестирования
Задания системного монитора выполнялись постоянно вместе с одновременным индексированием FAST,
отправкой контента и выполнением нагрузочных тестов Visual Studio. В следующей таблице приведены
максимальные числа операций ввода-вывода в секунду, полученные конкретным LUN, и определены следующие
параметры: LUN, Описание, Полный размер, Максимальное число операций чтения, Максимально число
операций записи, Суммарное число операций ввода-вывода в секунду и Число операций ввода-вывода в
секунду на ГБ.
Так как эти результаты получены во время тестирования, они отражают число операций ввода-вывода, которые
тестовая среда могла осуществить при взаимодействии с SAN. Так как диски H:, I:, J: и K: могли быть добавлены,
общее число операций ввода-вывода в секунду было существенно больше, чем при тестировании с помощью
SQLIO.
LUN
Описание LUN
G:
Журнал
транзакций баз
данных контента
Базы данных
контента 1
Базы данных
H:
I:
Размер
(ГБ)
Число
операций
чтения в
секунду
(макс.)
2048
5 437
Число
операций
записи в
секунду
(макс.)
11 923
Общее число
операций
ввода-вывода
в секунду
(макс.)
17 360
Число
операций
вводавывода в
секунду на ГБ
8,48
6 850
5 203
18 546
23 749
3,47
6 850
5 284
11 791
17 075
2,49
26
J:
K:
L:
M:
N:
O:
P:
контента 2
Базы данных
контента 3
Базы данных
контента 4
Журнал
транзакций баз
данных служб
TempDB
Журнал TempDB
Базы данных
контента 5
Базы данных
обхода и
администрирова
ния
ВСЕГО:
СРЕДНЕЕ:
7 500
5 636
11 544
17 180
2,29
6 850
5 407
11 146
16 553
2,42
512
5 285
10 801
16 086
31,42
2048
2048
3072
5 282
5 640
5 400
11 089
11 790
11 818
16 371
17 429
17 218
7,99
8,51
5,60
1024
5 249
11 217
16 467
16,08
31 365
3 136
53 824
5 382
121 667
12 167
175 491
17 549
5,60
Таблица 11. Число операций ввода-вывода в секунду, полученное из журналов Perfmon
Обход документов FAST Search Server 2010 for SharePoint
Обход сайтов SharePoint для поиска выполнялся с помощью обходчика SharePoint, настроенного для
подключения к распределителям контента FAST. Приложение-служба поиска контента (SSA) было настроено для
работы на двух серверах, APP-1 и APP-2, а приложение-служба поисковых запросов выполнялось на серверах
FAST-1 и FAST-2.
На компьютере SQL Server выполнялось 100 индексирующих обработчиков документов FAST. Следующий снимок
экрана мы получили из диспетчера задач компьютера; он показывает активность во время работы обоих
обработчиков документов и выполнения нагрузочного теста с 10 000 пользователей. При этом SQL Server также
размещался на том же компьютере.
27
Рис. 7. Диспетчер задач на компьютере PACNEC01 во время индексирования FAST и нагрузочного тестирования
28
Результаты тестирования
Чтобы создать значительную нагрузку во время тестирования, использовалось следующее ПО: Visual Studio 2010
Ultimate, Visual Studio 2010 Load Control и Microsoft Visual Studio Agents 20101. Тестовая платформа требуется для
моделирования множества пользователей и для создания значительной нагрузки. Тестовая платформа состояла
из компьютера контроллера тестирования и одного или нескольких компьютеров агентов тестирования.
Контроллер тестирования управляет компьютерами агентов, а агенты используются для создания нагрузки на
серверы SharePoint Server. Контроллер тестирования также отвечает за сбор данных мониторинга
производительности с тестируемых компьютеров и с агентских компьютеров.
В этом разделе описываются результаты работы тестов производительности.
Серия тестов A: различное число пользователей
В этой серии тестов мы меняли число пользователей, подключенных к тестовой ферме. Рис. 8 показывает число
запросов в секунду, которые контроллер тестирования Visual Studio 2010 Ultimate смог обработать через ферму
SharePoint во время тестов для каждого уровня пользовательской нагрузки. Можно видеть, что по мере
добавления пользовательской нагрузки число запросов возрастало из-за большего числа пользователей, но
после достижения 15 000 нагрузка на ферму стала велика, и число запросов перестало расти с увеличением
нагрузки.
Так как тест с 15 000 пользователей требует дополнительного времени для постепенного увеличения числа
пользователей, этот тест выполнялся два часа вместо одного часа, предусмотренного в базовой конфигурации.
Мы также обнаружили, что для обработки увеличенной нагрузки трех интерфейсных веб-серверов недостаточно.
Мы выполняли данный тест с шестью интерфейсными веб-серверами.
250
200
150
Среднее число запросов в секунду
100
50
0
A.1 4000
A.2 10 000
A.3 15 000
Рис. 8. Среднее число запросов в секунду для серии A
1
Visual Studio Agents 2010 (Возможно, на английском языке)
29
Ниже (Рис. 9) можно видеть, что время ответа в тестовой транзакции и время обновления страницы возрастает
для большого теста с 15 000 пользователей. Это показывает, что в системе имеется узкое место, проявляющееся
при такой большой пользовательской нагрузке. Во время данного теста мы получили большую нагрузку
операций ввода-вывода в секунду на диске H:, содержащем основной файл базы данных контента. Было
проведено дополнительное исследование, чтобы устранить данное узкое место.
25
20
Число интерфейсных вебсерверов
15
Среднее время страницы
10
Среднее время отклика
5
0
A.1 4000
A.2 10 000
A.3 15 000
Рис. 9. Время выполнения и число интерфейсных веб-серверов в серии A
Ниже (Рис. 10) можно видеть увеличение использования ЦП после перехода с 4 000 на 10 000 пользователей,
а затем — сокращение использования ЦП на интерфейсных веб-серверах (WFE), так как мы увеличили их число с
3 до 6. В нижней части видно, что использование ЦП сервера APP-1 меняется не очень сильно, а большой
компьютер PACNEC01 SQL Server не достигает и 3 % общего использования ЦП.
70.00%
Средняя загрузка ЦП для
PACNEC01
60.00%
Средняя загрузка ЦП для APP-1
50.00%
40.00%
Средняя загрузка ЦП для WFE-1
30.00%
Средняя загрузка ЦП для WFE-2
20.00%
Средняя загрузка ЦП для WFE-3
10.00%
Средняя загрузка ЦП для WFE-4
0.00%
A.1 4000
A.2 10 000
A.3 15 000
Рис. 10. Среднее использование ЦП в серии A
30
Таблица 12 показывает сводку по данным, зарегистрированным во время трех тестов в тестовой серии A.
Позиции с обозначением «Н/Д» не регистрировались.
Тестирование
Пользователи
Интерфейсные веб-серверы
Длительность
Среднее число запросов в
секунду
Среднее время страницы
Среднее время отклика
Средняя загрузка ЦП для
WFE-1
Доступный объем ОЗУ для
WFE-1
Средняя загрузка ЦП для
WFE-2
Доступный объем ОЗУ для
WFE-2
Средняя загрузка ЦП для
WFE-3
Доступный объем ОЗУ для
WFE-3
Средняя загрузка ЦП для
PACNEC01
Доступный объем ОЗУ для
PACNEC01
Средняя загрузка ЦП для
APP-1
Доступный объем ОЗУ для
APP-1
Средняя загрузка ЦП для
APP-2
Доступный объем ОЗУ для
APP-2
Средняя загрузка ЦП для
WFE-4
Доступный объем ОЗУ для
WFE-4
Средняя загрузка ЦП для
WFE-5
Доступный объем ОЗУ для
WFE-5
Средняя загрузка ЦП для
WFE-6
Доступный объем ОЗУ для
WFE-6
Средняя длина очереди на
A.1
4 000
3
1 час
96,3
A.2
10 000
3
1 час
203
A.3
15 000
6
2 часа
220
0,31 с
0,26 с
22,3%
0,71 с
0,58 с
57,3%
19,2 с
13,2 с
29,7%
5 828
5 786
13 311
36,7%
59,6%
36,7%
5 651
5 552
13 323
22,8%
57,7%
34%
5 961
5 769
13 337
1,29%
2,37%
2,86%
401 301
400 059
876 154
6,96%
14,5%
13,4%
13 745
13 804
13 311
0,73%
1,09%
0,27%
14 815
14 992
13 919
Н/Д
Н/Д
29,7%
Н/Д
Н/Д
13 397
Н/Д
Н/Д
30,4%
Н/Д
Н/Д
13 567
Н/Д
Н/Д
34,9%
Н/Д
Н/Д
13 446
0,0 (с пиковым
0,0 (с пиковым
0,3 (с пиковым
31
запись диска PACNEC01 H:
SPContent DB1
значением 0,01)
значением 0,02)
значением 24,1)
Таблица 12. Подробные результаты тестирования серии A
Серия тестов B: различный объем оперативной памяти сервера SQL Server
В этой серии тестов мы меняли объем ОЗУ, доступный серверу SQL Server. Ниже (Рис. 11) можно видеть,
что объем ОЗУ, выделенный для SQL Server, не влиял на число запросов в секунду.
250
200
150
Среднее число
запросов в секунду
100
50
0
B.1
16ГБ
B.2
32ГБ
B.3
64ГБ
B.4
B.5
B.6
128ГБ 256ГБ 600ГБ
Рис. 11. Среднее число запросов в секунду для серии B
Ниже (Рис. 12) можно видеть, что все тесты имели времена отображения страницы и ответа на транзакцию
меньше одной секунды.
1
0.9
0.8
0.7
0.6
Среднее время
страницы
0.5
0.4
Среднее время
отклика
0.3
0.2
0.1
0
B.1 16ГБ B.2 32ГБ B.3 64ГБ
B.4
128ГБ
B.5
256ГБ
B.6
600ГБ
Рис. 12. Время отображения страниц и ответа на транзакции в серии B
Рис. 13 показывает использование ЦП интерфейсными веб-серверами (WFE), сервером приложений и сервером
баз данных SQL. Можно видеть, что 3 интерфейсных веб-сервера были постоянно заняты во всех тестах, сервер
приложений почти бездействовал, а сервер баз данных не превышал нагрузку ЦП в 3 %.
32
70.00%
60.00%
Средняя загрузка ЦП для WFE-1
50.00%
Средняя загрузка ЦП для WFE-2
40.00%
Средняя загрузка ЦП для WFE-3
30.00%
20.00%
Средняя загрузка ЦП для
PACNEC01
10.00%
Средняя загрузка ЦП для APP-1
0.00%
B.1 16ГБ
B.2 32ГБ
B.3 64ГБ
B.4 128ГБ
B.5 256ГБ
B.6 600ГБ
Рис. 13. Среднее использование ЦП в серии B
1,000,000
Доступный объем ОЗУ для WFE-1
900,000
800,000
Доступный объем ОЗУ для WFE-2
700,000
600,000
Доступный объем ОЗУ для WFE-3
500,000
Доступный объем ОЗУ для
PACNEC01
400,000
300,000
Доступный объем ОЗУ для APP-1
200,000
100,000
Доступный объем ОЗУ для APP-2
0
B.1 16ГБ
B.2 32ГБ
B.3 64ГБ B.4 128ГБ B.5 256ГБ B.6 600ГБ
Рис. 14. Доступный объем ОЗУ в серии B
Таблица 13 приведена сводка по данным, зарегистрированным во время трех тестов в серии B.
Тестирование
ОЗУ SQL
Среднее число запросов в секунду
Среднее время страницы
Среднее время отклика
Средняя загрузка ЦП для WFE-1
Доступный объем ОЗУ для WFE-1
Средняя загрузка ЦП для WFE-2
Доступный объем ОЗУ для WFE-2
Средняя загрузка ЦП для WFE-3
Доступный объем ОЗУ для WFE-3
B.1
16 ГБ
203
0,66
0,56
57,1%
6 239
55,6%
6 184
59,4%
6 144
B.2
32 ГБ
203
0,40
0,33
58,4%
6 063
60,1%
6 079
56%
6 128
B.3
64 ГБ
203
0,38
0,31
58,8%
6 094
57,1%
6 141
56,9%
6 159
B.4
128 ГБ
204
0,42
0,37
60,6%
5 908
59,6%
6 119
58,4%
6 048
B.5
256 ГБ
203
0,58
0,46
60%
5 978
60,3%
5 956
61,4%
5 926
B.6
600 ГБ
202
0,89
0,72
59%
5 848
58,1%
5 828
59,8%
5 841
33
Средняя загрузка ЦП для PACNEC01
Доступный объем ОЗУ для PACNEC01
Средняя загрузка ЦП для APP-1
Доступный объем ОЗУ для APP-1
Средняя загрузка ЦП для APP-2
Доступный объем ОЗУ для APP-2
2,84%
928 946
14,3%
14 163
1,29%
15 013
2,11%
923 332
12,6%
14 099
1,14%
14 884
2,36%
918 526
13,3%
14 106
1,2%
14 907
2,25%
904 074
12,5%
14 125
1,2%
14 888
2,38%
861 217
13,4%
14 221
1,03%
14 913
2,29%
881 729
13,8%
14 268
0,96%
14 900
Таблица 13. Подробные результаты тестирования в серии B
Серия тестов С: изменение наборов транзакций
В этой серии тестов мы меняли пропорцию поисковых транзакций, выполняемых в наборе рабочей нагрузки.
250
200
150
Среднее число
запросов в секунду
100
50
0
C.1 15%C.2 30%C.3 40%C.4 50%C.5 50%C.6 75%
Рис. 15. Среднее число запросов в секунду для серии C
Ниже (Рис. 16) можно видеть, что тест C.5 имел значительно большие времена ответа страницы, что указывает на
перегрузку фермы SharePoint Server 2010 и FAST Search Server 2010 for SharePoint во время этого теста.
30
25
20
15
Среднее время
страницы
10
Среднее время
отклика
5
0
C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75%
Рис. 16. Время отображения страниц и ответа на транзакции в серии C
34
90%
Открытие
80%
70%
Просмотр
60%
Поиск
50%
40%
Средняя загрузка ЦП для WFE-1
30%
Средняя загрузка ЦП для WFE-2
20%
10%
Средняя загрузка ЦП для WFE-3
0%
C.1 15%
C.2 30%
C.3 40%
C.4 50%
C.5 50%
C.6 75%
Рис. 17. Среднее время ЦП для серии C
16,000
Доступный объем ОЗУ для WFE1
14,000
12,000
Доступный объем ОЗУ для WFE2
10,000
Доступный объем ОЗУ для WFE3
8,000
Доступный объем ОЗУ для APP-1
6,000
4,000
Доступный объем ОЗУ для FAST1
2,000
Доступный объем ОЗУ для FAST2
0
C.1 15%
C.2 30%
C.3 40%
C.4 50%
C.5 50%
C.6 75%
Рис. 18. Средний объем ОЗУ для серии C
Таблица 14 приведена сводка по данным, зарегистрированным во время трех тестов в серии C.
Тестирование
C.4
Открытие
Просмотр
Поиск
Среднее число запросов в секунду
Среднее время страницы (сек)
Среднее время отклика (сек)
Средняя загрузка ЦП для WFE-1
Доступный объем ОЗУ для WFE-1
30%
55%
15%
235
1,19
0,87
62,2%
14 091
C.2
(базовые
значения)
30%
40%
30%
203
0,71
0,58
57,30%
5 786
C.1
C.2
C.3
C.5
20%
40%
40%
190
0,26
0,20
44,2%
6 281
20%
30%
50%
175
0,43
0,33
40,4%
6 162
25%
25%
50%
168
0,29
0,22
36,1%
6 069
5%
20%
75%
141
25,4
16,1
53,1%
13 766
35
Средняя загрузка ЦП для WFE-2
Доступный объем ОЗУ для WFE-2
Средняя загрузка ЦП для WFE-3
Доступный объем ОЗУ для WFE-3
Средняя загрузка ЦП для PACNEC01
Доступный объем ОЗУ для PACNEC01
Средняя загрузка ЦП для APP-1
Доступный объем ОЗУ для APP-1
Средняя загрузка ЦП для APP-2
Доступный объем ОЗУ для APP-2
Средняя загрузка ЦП для FAST-1
Доступный объем ОЗУ для FAST-1
Средняя загрузка ЦП для FAST-2
Доступный объем ОЗУ для FAST-2
Средняя загрузка ЦП для FAST-IS1
Доступный объем ОЗУ для FAST-IS1
Средняя загрузка ЦП для FAST-IS2
Доступный объем ОЗУ для FAST-IS2
Средняя загрузка ЦП для FAST-IS3
Доступный объем ОЗУ для FAST-IS3
Средняя загрузка ЦП для FAST-IS4
Доступный объем ОЗУ для FAST IS-4
65,2%
13 944
65,3%
13 693
2,4%
899 613
8,27%
13 687
0,28%
13 916
8,39%
13 998
8,67%
14 135
37,8%
2, 309
30,2%
5 162
30,6%
5 072
25,6%
5 243
59,60%
5 552
57,70%
5 769
2,37%
400 059
14,50%
13 804
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
45,2%
6 271
49,4%
6 285
2,6%
814 485
17,8%
14 002
0,88%
14 839
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
40,1%
6 123
44,2%
6 170
2,51%
812 027
20,7%
13 991
0,8%
14 837
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
37,6%
6 044
39,6%
6 076
2,32%
808 842
18,4%
13 984
0,79%
14 833
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
58,8%
13 726
56,8%
13 716
3,03%
875 890
16,2%
13 413
0,14%
13 910
16,6%
13 686
16,7%
13 837
83,4%
2 298
66,1%
5 157
69,9%
5 066
58,2%
5 234
Таблица 14. Подробные результаты тестирования в серии C
Серия тестов D: различный объем оперативной памяти интерфейсных веб-серверов
В этой серии тестов мы меняли объем ОЗУ на виртуальной машине каждого интерфейсного веб-сервера.
200
180
160
140
120
100
Среднее число
запросов в секунду
80
60
40
20
0
D.1 4ГБ
D.2 6ГБ
D.3 8ГБ
D.4 16ГБ
Рис. 19. Среднее число запросов в секунду
36
0.25
0.2
0.15
Среднее время страницы
Среднее время отклика
0.1
0.05
0
D.1 4ГБ
D.2 6ГБ
D.3 8ГБ
D.4 16ГБ
Рис. 20. Время отображения страниц и ответа на транзакции
50.00%
Средняя загрузка ЦП для WFE-1
45.00%
40.00%
Средняя загрузка ЦП для WFE-2
35.00%
30.00%
Средняя загрузка ЦП для WFE-3
25.00%
Средняя загрузка ЦП для
PACNEC01
20.00%
15.00%
Средняя загрузка ЦП для APP-1
10.00%
5.00%
Средняя загрузка ЦП для WFE-4
0.00%
D.1 4ГБ
D.2 6ГБ
D.3 8ГБ
D.4 16ГБ
Рис. 21. Среднее время использования ЦП
Ниже (Рис. 22) можно видеть, что доступный объем ОЗУ на каждом интерфейсном веб-сервере во всех случаях
равен объему ОЗУ, выделенному виртуальной машине, минус примерно 2 ГБ. Это значит, что для нагрузки в
10 000 пользователей и данного набора тестовых транзакций интерфейсным веб-серверам требуется как
минимум 2 ГБ ОЗУ плюс некоторый резерв.
37
16,000
14,000
Доступный объем ОЗУ для WFE1
12,000
Доступный объем ОЗУ для WFE2
10,000
8,000
Доступный объем ОЗУ для WFE3
6,000
Доступный объем ОЗУ для WFE4
4,000
Доступный объем ОЗУ для APP-1
2,000
0
D.1 4ГБ
D.2 6ГБ
D.3 8ГБ
D.4 16ГБ
Рис. 22. Доступный объем ОЗУ в серии D
Таблица 15 приведена сводка по данным, зарегистрированным во время трех тестов в серии D.
Тестирование
ОЗУ интерфейсного веб-сервера
Среднее число запросов в секунду
Среднее время страницы (сек)
Среднее время отклика (сек)
Средняя загрузка ЦП для WFE-1
Доступный объем ОЗУ для WFE-1
Средняя загрузка ЦП для WFE-2
Доступный объем ОЗУ для WFE-2
Средняя загрузка ЦП для WFE-3
Доступный объем ОЗУ для WFE-3
Средняя загрузка ЦП для PACNEC01
Доступный объем ОЗУ для PACNEC01
Средняя загрузка ЦП для APP-1
Доступный объем ОЗУ для APP-1
Средняя загрузка ЦП для APP-2
Доступный объем ОЗУ для APP-2
Средняя загрузка ЦП для WFE-4
Доступный объем ОЗУ для WFE-4
D.1
4 ГБ
189
0,22
0,17
40,5%
2 414
42,3%
2 469
42,6%
2 466
2,04%
706 403
11,8%
13 862
0,84%
14 646
42,3%
2 425
D.2
6 ГБ
188
0,21
0,16
37,9%
4 366
40%
4 356
42,4%
4 392
1,93%
708 725
13,1%
13 866
0,87%
14 650
43,6%
4 342
D.3
8 ГБ
188
0,21
0,16
39,6%
6 363
40,3%
6 415
42,2%
6 350
2,03%
711 751
12,9%
13 878
0,81%
14 655
41,9%
6 382
D.4
16 ГБ
188
0,21
0,16
37,3%
14 133
39,5%
14 158
43,3%
14 176
2,14%
706 281
12,3%
13 841
0,87%
14 636
45%
14 192
Таблица 15. Подробные результаты тестирования в серии D
Серия тестов E: изменение числа интерфейсных веб-серверов
В этой серии тестов мы меняли число интерфейсных веб-серверов в ферме. Обратите внимание, что на Рис. 23
среднее число запросов в секунду немного меньше в случае двух и трех интерфейсных веб-серверов, так как
система не совсем справляется с пользовательской нагрузкой. Но заметьте, что для 4, 5 или 6 интерфейсных вебсерверов число запросов в секунду одинаково, так как система обрабатывает всю нагрузку от агентов
тестирования.
38
250
200
150
100
50
0
Среднее число запросов в
секунду
Рис. 23. Среднее число запросов в секунду для серии E
Сходная картина видна и на Рис. 24, где время ответа велико для двух и трех интерфейсных веб-серверов и очень
низко для большего числа интерфейсных веб-серверов.
9
8
7
6
5
4
Среднее время страницы
3
Среднее время отклика
2
1
0
E.1 2
E.2 3
E.3 4
E.4 5
E.5 6
Интерфейсные Интерфейсные Интерфейсные Интерфейсные Интерфейсные
веб-серверы веб-серверы веб-серверы веб-серверы веб-серверы
Рис. 24. Время отображения страниц и ответа на транзакции в серии E
На Рис. 25 можно видеть, что время использования ЦП меньше, когда доступно большее число интерфейсных
веб-серверов. Использование 6 интерфейсных веб-серверов заметно уменьшает среднее использование ЦП на
интерфейсных веб-серверах, но только 4 интерфейсных веб-сервера необходимы для нагрузки в 10 000
пользователей. Обратите внимание, что на основе данной диаграммы невозможно заключить, какая
конфигурация справляется с нагрузкой, а какая нет. Можно видеть, что для трех интерфейсных веб-серверов,
которые мы определили как не полностью справляющиеся с нагрузкой, использование ЦП интерфейсным
веб-сервером составляет всего около 50 %.
39
90.00%
80.00%
70.00%
60.00%
50.00%
40.00%
30.00%
20.00%
10.00%
0.00%
Средняя загрузка ЦП для WFE-1
Средняя загрузка ЦП для WFE-2
Средняя загрузка ЦП для WFE-3
Средняя загрузка ЦП для WFE-4
Средняя загрузка ЦП для WFE-5
Средняя загрузка ЦП для WFE-6
Средняя загрузка ЦП для APP-1
Рис. 25. Среднее использование ЦП в серии E
16,000
14,000
Доступный объем ОЗУ для WFE1
12,000
10,000
Доступный объем ОЗУ для WFE2
8,000
6,000
Доступный объем ОЗУ для WFE3
4,000
2,000
Доступный объем ОЗУ для WFE4
0
Доступный объем ОЗУ для WFE5
Доступный объем ОЗУ для WFE6
Доступный объем ОЗУ для APP-1
Рис. 26. Доступный объем ОЗУ в серии E
Таблица 16 приведена сводка по данным, зарегистрированным во время трех тестов в серии E.
Тестирование
Интерфейсные веб-серверы
Среднее число запросов в секунду
Среднее время страницы (сек)
Среднее время отклика (сек)
Средняя загрузка ЦП для WFE-1
Доступный объем ОЗУ для WFE-1
E.1
2
181
8,02
6,34
77,4
5 659
E.2
3
186
0,73
0,56
53,8
6 063
E.3
4
204
0,23
0,19
45,7
6 280
E.4
5
204
0,20
0,17
39,2
6 177
E.5
6
205
0,22
0,18
32,2
6 376
40
Средняя загрузка ЦП для WFE-2
Доступный объем ОЗУ для WFE-2
Средняя загрузка ЦП для WFE-3
Доступный объем ОЗУ для WFE-3
Средняя загрузка ЦП для WFE-4
Доступный объем ОЗУ для WFE-4
Средняя загрузка ЦП для WFE-5
Доступный объем ОЗУ для WFE-5
Средняя загрузка ЦП для WFE-6
Доступный объем ОЗУ для WFE-6
Средняя загрузка ЦП для PACNEC01
Доступный объем ОЗУ для PACNEC01
Средняя загрузка ЦП для APP-1
Доступный объем ОЗУ для APP-1
Средняя загрузка ЦП для APP-2
Доступный объем ОЗУ для APP-2
76,2%
5 623
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
2,13%
899 970
9,77%
14 412
1,06%
14 928
53,8%
6 132
52,5%
6 124
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
1,93%
815 502
11,7%
13 990
0,92%
14 841
45,9%
6 105
43,9%
6 008
44,5%
6 068
Н/Д
Н/Д
Н/Д
Н/Д
2,54%
397 803
15%
14 230
1%
14 874
38,2%
6 089
37,7%
5 940
34,8%
6 083
35,1%
6 090
Н/Д
Н/Д
2,48%
397 960
14,7%
14 227
1%
14 879
28,8%
5 869
31,2%
6 227
34,7%
6 359
32%
6 245
33,9%
5 893
2,5%
397 557
13,6%
14 191
1,04%
14 869
Таблица 16. Подробные результаты тестирования в серии E
Серия тестов F: различное число ЦП сервера SQL Server
В этой серии тестов мы меняли число ЦП, доступных серверу SQL Server.
250
200
150
Среднее число
запросов в секунду
100
50
0
F.1
4CPUs
F.2
6CPUs
F.3
8CPUs
F.4
F.5
16CPUs 80CPUs
Рис. 27. Среднее число запросов в секунду для серии F
На Рис. 28 можно видеть, что несмотря на минимальное использование ЦП на компьютере SQL Server время
обработки страниц и ответа на транзакции возрастает, когда SQL Server имеет меньше доступных ЦП.
41
4.5
4
3.5
3
2.5
Среднее время страницы
2
Среднее время отклика
1.5
1
0.5
0
F.1 4CPUs
F.2 6CPUs
F.3 8CPUs
F.4 16CPUs
F.5 80CPUs
Рис. 28. Время отображения страниц и ответа на транзакции в серии F
На Рис. 29 среднее использование ЦП сервером SQL Server для всего компьютера не превышает 3 %.
Три интерфейсных веб-сервера показывают около 55 % в этих тестах.
70.00%
Средняя загрузка ЦП для WFE-1
60.00%
Средняя загрузка ЦП для WFE-2
50.00%
40.00%
Средняя загрузка ЦП для WFE-3
30.00%
Средняя загрузка ЦП для APP-1
20.00%
Средняя загрузка ЦП для FAST-1
10.00%
Средняя загрузка ЦП для FAST-2
0.00%
F.1 4CPUs
F.2 6CPUs
F.3 8CPUs F.4 16CPUs F.5 80CPUs
Рис. 29. Среднее использование ЦП в серии F
42
16,000
Доступный объем ОЗУ для WFE-1
14,000
12,000
Доступный объем ОЗУ для WFE-2
10,000
Доступный объем ОЗУ для WFE-3
8,000
Доступный объем ОЗУ для APP-1
6,000
4,000
Доступный объем ОЗУ для FAST1
2,000
Доступный объем ОЗУ для FAST2
0
F.1 4CPUs
F.2 6CPUs
F.3 8CPUs F.4 16CPUs F.5 80CPUs
Рис. 30. Доступный объем ОЗУ в серии F
Таблица 17 приведена сводка по данным, зарегистрированным во время трех тестов в серии F.
Тестирование
ЦП SQL
Среднее число запросов в секунду
Среднее время страницы (сек)
Среднее время отклика (сек)
Средняя загрузка ЦП для WFE-1
Доступный объем ОЗУ для WFE-1
Средняя загрузка ЦП для WFE-2
Доступный объем ОЗУ для WFE-2
Средняя загрузка ЦП для WFE-3
Доступный объем ОЗУ для WFE-3
Средняя загрузка ЦП для PACNEC01
Доступный объем ОЗУ для PACNEC01
Средняя загрузка ЦП для APP-1
Доступный объем ОЗУ для APP-1
Средняя загрузка ЦП для APP-2
Доступный объем ОЗУ для APP-2
Средняя загрузка ЦП для FAST-1
Доступный объем ОЗУ для FAST-1
Средняя загрузка ЦП для FAST-2
Доступный объем ОЗУ для FAST-2
F.1
4
194
4,27
2,91
57,4%
13 901
60,3%
13 920
56,8%
13 859
1,56%
865 892
12,5%
13 856
0,22%
14 290
12,8%
13 913
12,9%
14 017
F.2
6
200
2,33
1,6
57,4%
13 939
58,9%
14 017
62%
13 942
2,57%
884 642
12,8%
13 713
0,25%
14 041
13%
14 051
13,4%
14 170
F.3
8
201
1,67
1,16
56,9%
13 979
62,6%
13 758
61%
13 950
2,69%
901 247
12,8%
13 725
0,26%
14 013
13%
14 067
13,3%
14 183
F.4
16
203
1,2
0,83
55,5%
14 045
61,9%
14 004
62,1%
13 971
2,6%
889 479
12,8%
13 745
0,25%
13 984
13%
14 085
13,5%
14 184
F.5
80
203
0,71
0,58
57,30%
5 786
59,60%
5 552
57,70%
5 769
2,37%
400 059
14,50%
13 804
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Н/Д
Таблица 17. Подробные результаты тестирования в серии F
43
Тестирование пакета обновления 1 (SP1) и накопительного пакета обновления (CU)
за июнь
После полного заполнения фермы SharePoint Server 2010 120 миллионами элементов мы применили пакеты
обновления 1 (SP1) для SharePoint Server 2010 и FAST Search Server 2010 for SharePoint, чтобы посмотреть,
сколько времени займет этот процесс на большой заполненной ферме.
SharePoint Server 2010
Пакет обновления 1 (SP1) для SharePoint Server 2010 и накопительный пакет обновления за июнь применялись в
лабораторной среде, чтобы определить базовое время обновления крупномасштабной фермы центра
документов. В следующей таблице показаны серверы фермы, требовавшие применения пакета обновления 1
(SP1) и накопительного пакета обновления за июнь, время начала и окончания каждой установки, общее время
выполнения установки, начало и окончание команды обновления PSCONFIG, общее время выполнения команды
обновления PSCONFIG, общее время обновления по имени сервера и полное время обновления.
Имя
сервера
Запуск
SP1
Окончание SP1 Разность
(ч:мм:сс)
APP-1
12.07.2011
4:00:00
12.07.2011
4:15:51
0:15:51
29.07.2011 10:45:00 29.07.2011 11:00:05
0:15:05
29.07.2011
13:25:50
29.07.2011
13:30:15
0:04:25
APP-2
12.07.2011
4:26:07
12.07.2011
4:39:31
0:13:24
29.07.2011 11:02:30 29.07.2011 11:17:23
0:14:53
29.07.2011
13:33:15
29.07.2011
13:35:11
0:01:56
WFE-1
12.07.2011
4:41:05
12.07.2011
4:49:16
0:08:11
29.07.2011 11:23:00 29.07.2011 11:31:07
0:08:07
29.07.2011
13:36:35
29.07.2011
13:38:11
0:01:36
WFE-2
12.07.2011
4:50:24
12.07.2011
4:57:47
0:07:23
29.07.2011 11:32:45 29.07.2011 11:40:46
0:08:01
29.07.2011
13:39:20
29.07.2011
13:40:54
0:01:34
WFE-3
12.07.2011
4:59:00
12.07.2011
5:06:39
0:07:39
29.07.2011 11:42:00 29.07.2011 11:49:47
0:07:47
29.07.2011
13:42:40
29.07.2011
13:44:14
0:01:34
WFE-4
12.07.2011
5:10:060
12.07.2011
5:17:30
0:07:24
29.07.2011 11:51:00 29.07.2011 11:58:49
0:07:49
29.07.2011
13:46:05
29.07.2011
13:47:41
0:01:36
WFE-5
12.07.2011
5:18:49
12.07.2011
5:27:07
0:08:18
29.07.2011 11:59:45 29.07.2011 12:08:19
0:08:34
29.07.2011
13:49:00
29.07.2011
13:50:36
0:01:36
WFE-6
12.07.2011
5:28:25
12.07.2011
5:35:40
0:07:15
29.07.2011 12:09:30 29.07.2011 12:17:10
0:07:40
29.07.2011
13:52:00
29.07.2011
13:53:35
0:01:35
WFECRAWL1
12.07.2011
5:37:20
12.07.2011
5:44:35
0:07:15
29.07.2011 12:18:10 29.07.2011 12:25:51
0:07:41
29.07.2011
13:54:35
29.07.2011
13:56:19
0:01:44
FAST-SSA- 12.07.2011
1
5:49:00
12.07.2011
5:57:45
0:08:45
29.07.2011 12:39:40 29.07.2011 12:48:24
0:08:44
29.07.2011
13:57:30
29.07.2011
13:59:07
0:01:37
FAST-SSA- 12.07.2011
2
5:59:08
12.07.2011
6:08:29
0:09:21
29.07.2011 12:51:30 29.07.2011 13:00:11
0:08:41
29.07.2011
14:00:00
29.07.2011
14:01:58
0:01:58
Общее
время:
Полная
сумма:
1:40:46
Запуск
накопительного
пакета обновления
за июнь
Окончание
Разность Запуск
накопительного
(ч:мм:сс) PSConfig
пакета обновления
за июнь
1:43:02
Окончание Разность
PSConfig
(ч:мм:сс)
0:21:11
3:44:59
Таблица 18. Время применения пакета обновления 1 (SP1) и накопительного пакета обновления за июнь
FAST Search Server for SharePoint 2010
На применение накопительного пакета обновления 1 (SP1) для FAST Search Server for SharePoint 2010 ушло
примерно по 15 минут на узел.
44
Резервное копирование базы данных контента SQL Server
Центр документов 1
Резервное копирование баз данных SQL Server применялось к базе данных контента для центра документов 1
(SPContent01). Резервное копирование (РК) выполнялось на конфигурации до установки пакета обновления 1
(SP1), накопительного пакета обновления за июнь, и после его установки. Время резервного копирования и
сведения о размерах следующие.
Имя базы
данных
SPContent01
SPContent01
Начало РК
Завершение РК
10.07.2011 23:37:00
Разность
(ч:мм:сс)
13:41:00
Размер
(ТБ)
14,40
10.07.2011
9:56:00
29.07.2011
14:22:10
30.07.2011 4:28:00
14:05:50
14,40
Примечания
До пакета обновления 1
(SP1)
После пакета обновления
1 (SP1) и
накопительного пакета
обновления за июнь
Таблица 19. Время выполнения резервного копирования
Заключения
Ферма SharePoint Server 2010 успешно протестирована с числом одновременно работающих пользователей в
15 000 при использовании двух баз данных контента SharePoint с общим числом документов в 120 миллионов.
Нам не удалось обработать нагрузку в 15 000 одновременно работающих пользователей с помощью трех
интерфейсных веб-серверов, как это было задано в базовой среде, и для такой нагрузки потребовалось шесть
интерфейсных веб-серверов.
Рекомендации
Итоговый список рекомендаций следующий. По всем этим рекомендациям, касающимся крупномасштабной
библиотеки документов, планируется более подробный документ. Примечания об оборудовании, приведенные
в каждом разделе, не являются исчерпывающим списком. Скорее, они указывают на минимальное
оборудование, которое было определено как необходимое для выполнения нагрузочного теста с числом
одновременно работающих пользователей в 15 000 в ферме SharePoint Server 2010, содержащей 120 миллионов
документов.
Рекомендации, связанные с SQL Server 2008 R2




Замечания об оборудовании для нагрузки:
o 64 ГБ ОЗУ на сервер SQL Server.
o 16 ядер ЦП на сервер SQL Server.
Рекомендуется иметь два канала, поддерживающих достаточное количество операций ввода-вывода в
секунду на гигабайт данных, хранящихся в базе данных контента SharePoint.
Рекомендуется присваивать на сервере SQL Server 2008 R2 свойству Maximum Degree of Parallelism
(MAXDOP) значение 1; значение по умолчанию равно 0.
Рекомендуется использовать несколько номеров LUN (букв диска) в SAN с файлом данных SQL Server и
одним выделенным виртуальным ЦП в каждом. Мы использовали 5 файлов данных на разных LUN.
45
Рекомендации, связанные с SharePoint Server 2010




Замечания об оборудовании для нагрузки:
o 8 ГБ ОЗУ на каждый интерфейсный веб-сервер.
o 6 интерфейсных веб-серверов.
Добавьте раздел реестра Disable Loopback Check в
\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa\DisableLoopbackCheck=1.
Уменьшите проблемы фрагментации индекса таблицы вручную во время пакетного импорта документов,
запустив команду ALTER INDEX на соответствующих индексах таблицы.
Для пакетного импорта документов используйте команду SPFileCollection.ADD вместо создания
дубликатов документов командой SPFolder.CopyTo.
Рекомендации, связанные с FAST Search Server for SharePoint 2010


Замечания об оборудовании для нагрузки:
o 4 корзины серверов индекса FAST Search Server 2010 for SharePoint.
Обновления реестра для обходчика документов SharePoint Server 2010.
На узлах, выполняющих обходчик FAST Content SSA (APP-1 и APP-2), следующие значения реестра были
изменены с целью улучшения производительности обходчика в кусте:
HKLM\SOFTWARE\Microsoft\Office Server\14.0\Search\Global\Gathering Manager
1. FilterProcessMemoryQuota
Значение по умолчанию, равное 100 мегабайт (МБ), было изменено на 200 МБ.
2. DedicatedFilterProcessMemoryQuota
Значение по умолчанию, равное 100 мегабайт (МБ), было изменено на 200 МБ.
3. FolderHighPriority
Значение по умолчанию 50 было изменено на 500

Мониторинг обхода индекса FAST Search Server 2010 for SharePoint
Необходимо выполнять мониторинг обходчика минимум три раза в день. Обход 100 миллионов
элементов у нас занял примерно 2 недели. Каждый раз во время мониторинга обхода выполнялись
следующие четыре проверки:
1. rc –r | select-string "# doc"
Проверка степени загруженности обработчиков документов.
2. Мониторинг размера очереди обхода.
Используйте средства отчетов или SQL Server Management Studio, чтобы просмотреть MSCrawlURL.
3. Indexerinfo –a doccount
46
Убедитесь, что все индексаторы выдают отчеты, чтобы узнать количество индексируемых
документов за 1 000 миллисекунд. В тестах мы получали от 40 до 120 в зависимости от типа
одновременно индексируемых документов.
4. Indexerinfo –a status
Выполняйте мониторинг работоспособности индексаторов и разметки разделов.
Ссылки











Управление мощностью SharePoint Server 2010: ограничения, связанные с программным обеспечением
(http://technet.microsoft.com/ru-ru/library/cc262787.aspx)
Оценка требований к производительности и емкости для крупномасштабных хранилищ документов в
SharePoint Server 2010 (Возможно, на английском языке) (http://technet.microsoft.com/ruru/library/hh395916.aspx)
Планирование и настройка рабочих характеристик хранилища и SQL Server (SharePoint Server 2010)
(http://technet.microsoft.com/ru-ru/library/cc298801.aspx)
Центр ресурсов по планированию производительности и емкости SharePoint на портале TechNet
(http://technet.microsoft.com/ru-ru/office/sharepointserver/bb736741)
Рекомендации по виртуализации (SharePoint Server 2010) (http://technet.microsoft.com/ruru/library/hh295699.aspx)
Рекомендации по использованию SQL Server 2008 на ферме SharePoint Server 2010
(http://technet.microsoft.com/ru-ru/library/hh292622.aspx)
Рекомендации по управлению емкостью для SharePoint Server 2010 (Возможно, на английском языке)
(http://technet.microsoft.com/ru-ru/library/hh403882.aspx)
Рекомендации по производительности и емкости для FAST Search Server 2010 (Возможно, на английском
языке) for SharePoint (http://technet.microsoft.com/ru-ru/library/gg702613.aspx)
Программа Bulk Loader (http://code.msdn.microsoft.com/Bulk-Loader-Create-Unique-eeb2d084)
Программа LoadBulk2SP (http://code.msdn.microsoft.com/Load-Bulk-Content-to-3f379974)
Скрипты для тестирования производительности SharePoint (http://code.msdn.microsoft.com/SharePointTesting-c621ae38)
47