NetFlower (NFcollect, NFfilter, NFgroup) Руководство системного администратора Автор: Орлов О.О. (netflower-developer@aware.ru) 11 июля 2010 г. Оглавление 1 Введение 3 2 Статус документа 4 3 Термины 5 4 Назначение и характеристики пакета NetFlower 4.1 Назначение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Характеристики . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Ограничения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4 Дистрибутив . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.1 Нумерация версий . . . . . . . . . . . . . . . . . . . . . . . 4.4.2 Именование и состав пакетов . . . . . . . . . . . . . . . . 6 6 6 7 8 8 8 5 Архитектура и общие принципы функционирования 5.1 Технология ”Замещения ресурсов” . . . . . . . . . . . . . . . . . . 5.2 Обеспечение отказоустойчивости . . . . . . . . . . . . . . . . . . 5.3 Распределение потоков NetFlow . . . . . . . . . . . . . . . . . . . 5.3.1 Распределение нагрузки . . . . . . . . . . . . . . . . . . . 5.3.2 Масштабирование . . . . . . . . . . . . . . . . . . . . . . . 9 9 9 10 11 11 6 Установка пакета NetFlower в ОС Windows 13 7 NetFlow директор 20 7.1 Реализация на базе ПО ”Samplicator” . . . . . . . . . . . . . . . . 20 8 NFcollect 21 8.1 Назначение NFcollect . . . . . . . . . . . . . . . . . . . . . . . . . 21 8.2 Файлы конфигурации NFcollect . . . . . . . . . . . . . . . . . . . 21 8.2.1 Главный файл конфигурации(NFcollect.conf) . . . . . . . . 21 8.3 Опции командной строки NFcollect . . . . . . . . . . . . . . . . . 23 8.4 Особенности MS Windows версии NFcollect . . . . . . . . . . . . 23 8.5 Управление службой NFcollect . . . . . . . . . . . . . . . . . . . . 23 8.6 Формат и имена выходных файлов NFcollect . . . . . . . . . . . . 23 8.7 Запуск NFcollect (секция не окончена) . . . . . . . . . . . . . . . 25 8.7.1 О системном UDP буфере приема в различных операционных системах (секция не окончена) . . . . . . . . . . . . 25 8.8 Различия между полной и бесплатной версиями NFcollect . . . . 25 1 Оглавление 2 9 NFgroup 26 9.1 Назначение NFgroup . . . . . . . . . . . . . . . . . . . . . . . . . 26 9.2 Схемы агрегации . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 9.3 Опции командной строки . . . . . . . . . . . . . . . . . . . . . . . 28 9.4 Возвращаемые значения . . . . . . . . . . . . . . . . . . . . . . . 28 9.5 Файлы конфигурации NFgroup . . . . . . . . . . . . . . . . . . . . 29 9.5.1 Главный файл конфигурации (NFgroup.conf) . . . . . . . . 29 9.5.2 Файл описания схем агрегации (schemes.conf) . . . . . . . 29 9.5.3 Файл конфигурации записи в базу данных (db.conf) . . . . 32 9.5.4 Файл конфигурации статистики (stat.conf) . . . . . . . . . 33 9.6 Различия между полной и бесплатной версиями NFgroup . . . . . 33 9.7 Потребляемые ресурсы (секция не окончена) . . . . . . . . . . . . 33 9.8 Статистика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 10 NFfilter 34 10.1 Назначение NFfilter . . . . . . . . . . . . . . . . . . . . . . . . . . 34 10.2 Опциии командной строки NFfilter . . . . . . . . . . . . . . . . . . 34 10.3 Формат конфигурационного файла NFfilter . . . . . . . . . . . . . 34 10.3.1 Общее описание . . . . . . . . . . . . . . . . . . . . . . . . 34 10.3.2 Базовые типы (для условных функций) . . . . . . . . . . . 35 10.3.3 Логические функции . . . . . . . . . . . . . . . . . . . . . 36 10.3.4 Перечень и типы полей в записях NetFlow после NFcollect 36 10.3.5 Пример конфигурационного файла . . . . . . . . . . . . . 37 10.3.6 Алгоритм "действия"конфигурационного файла . . . . . . 37 11 Некоторые проблемы, причины и способы решения (Глава не окончена) 38 Глава 1 Введение Данное руководство посвящено описанию программного продукта NetFlower, состоящего из 3 приложений, функционально дополняющих друг друга : NFcollect, NFgroup, NFfilter. Данный продукт классифицируется как пакет для учета сетевого трафика по протоколу NetFlow. В настоящее время крупные Internet провайдеры ввиду лавинообразного роста абонентской базы и снижения стоимости трафика переходят на использование "безлимитных"тарифных планов - с фиксированной платой за канал в Internet, ограниченный по пропускной способности. Однако для небольших и средних провайдеров, потребителей трафика (клиентов) а также для анализа структуры проходящего трафика актуальность задачи учета трафика по протоколам класса NetFlow (LFAP, SFlow) сохраняется. 3 Глава 2 Статус документа Необходимо отметить, что данный документ находится в состоянии, аналогичное которому в мире программного обеспечения принято называть beta версия. Форматирование, грамматика документа далеки от задуманных. Некоторые секции только начаты. Кроме того, данное руководство на сегодняшний день по мнению автора является достаточно сжатым : некоторые моменты лишь упомянуты, но, учитывая интерес к пакету, руководство будет наполняться от версии к версии как новыми разделами так и подробностями. Однако, несмотря на все перечисленное и ввиду наличия спроса на продукт как у пользователей бесплатной версии так и у пользователей, заинтересованных в получении коммерческой поддержки, было принято решение о публикации документа в его текущем состоянии. Автор надеется потратить все увеличивающееся время, затрачиваемое на ответы пользователям на разработку пакета. В связи с этим с благодарностью принимаются на электронный адрес все корректировки, пожелания как к документации так и к пакету NetFlower. 4 Глава 3 Термины • ”ПО” - Программное обеспечение • ”ОС” - Операционная система • ”СУБД” - Система управления базами данных • ”Протокол NetFlow” - Фирменный протокол компании Cisco systems, предназначенный для снятия информации о сетевых (Ip) сессиях, проходящих через Cisco маршрутизаторы/коммуатторы. Некоторые другие производители (Например Juniper jflow) также используют данный протокол. • ”Версии протокола NetFlow” существуют различные версии NetFlow, отличающиеся информативностью содержащихся в них данных. С ростом номера версии информативность возрастает. Последняя версия - v9 • ”NetFlow директор” - программно-аппаратный комплекс, перенаправляющий, дублирующий NetFlow потоки • ”NetFlow коллектор - программно-аппаратный комплекс, принимающий, сохраняющий и обрабатывающий потоки NetFlow” • ”Агрегация” - процесс объединения записей NetFlow, ключевые поля которых совпадают. К полям значений при этом применяются ”агрегирующие функции” • ”Период (интервал) агрегации” - временной интервал, в течении которого записи NetFlow с совпадающими ключевыми полями объединяются в одну запись • ”AS (Автономная система)” - ?? группа ip сетей, объединенная единым номером (номером AS от 0 до 65535), для оптимизации глобальных таблиц маршрутизации. 5 Глава 4 Назначение и характеристики пакета NetFlower 4.1 Назначение ПО NetFlower предназначено для сбора информации, содержащейся в потоках NetFlow и ее предварительной подготовки для загрузки в системы предбилинга/билинга. Под подготовкой понимается условная фильтрация записей NetFlow, полей внутри каждой записи, агрегирование (уплотнение) данных по настраиваемым схемам (схемам агрегации). В последнее время ведется дополнительная разработка по созданию "драйверов"загрузки в различные популярные СУБД: MySQL, Firebird, MSSQL, Postgresql. Драйвер для СУБД Oracle не рассматривается в качестве актуального, поскольку, Oracle используется как правило в случаях необходимости обработки экстремальных объемов NetFlow, при которых технология client-server (используемая всеми драйверами СУБД) видится неэффективной. В данном случае рекомендуется использовать более производительный способ загрузки информации в СУБД - утилитой loader (или его аналоги для других СУБД) в случае необходимости добиться максимальной производительности в том числе для других СУБД. С другой стороны, NetFlower создавался в качестве замены Cisco NetFlow collector, который изначально существовал лишь для платформы Sparc 64, и лишь позже был портирован на платформу Linux. При большем количестве целевых платформ предполагалось достижение лучшей чем у Cisco NFC производительности для каждой платформы. 4.2 Характеристики При создании пакета NetFlower преследовались 4 основные цели : • Кроссплатформенность • Экстремальная производительность 6 Глава 4. Назначение и характеристики пакета NETFLOWER 7 • Повышенная надежность сбора информации о трафике • Простота конфигурирования Пакет написан на языке C++, поэтому кроссплатформенность обеспечивается на уровне исходных текстов, то есть имеются отдельные функционально эквивалентные сборки для нескольких платформ. Под экстремальной производительностью понимается прежде всего способность пакета обрабатывать внушительные по объемам потоки NetFlow. Надежность достигается прежде всего схемами резервирования приема потоков NetFlow, описанными ниже. 4.3 Ограничения • 32 разрядная адресация встроенной hash библиотеки. Ограничение обусловлено отсутствием потребности в 64 разрядной адресации. С другой стороны, 64 битная адресация порождает потребление большего объема оперативной памяти. 64 битные сборки пакета также имеют 32 битную адресацию hash. • Алгоритм распараллеливания обработки данных NFgroup упрощен с точки зрения реализации и не оптимален по расходу ресурсов : отдельные потоки (threads) обрабатывают отдельные файлы, вследствие чего для каждого потока создается отдельная hash таблица с резервированием отдельного участка памяти. В будущем предполагается изменить алгоритм в пользу нового : отдельные потоки будут обрабатывать разные строки одного файла, что при примерно равном приросте производительности не будет вызывать роста потребления оперативной памяти. • NFcollect может прослушивать только один UDP порт одновременно. Автор не видит объективных причин изменять ситуацию, все источники NetFlow могут направлять потоки на один порт без риска смешивания благодаря именованию файлов по адресу источника. • Размер системного "приемного"UDP буфера в NFcollect необходимо устанавливать явно соответствующей переменной конфигурационного файла. Значение подбирается опытным путем, зависит от производительности сервера, потока NetFlow. Автоподстройку размера буфера производить не возможно, поскольку нет системного вызова, определяющего утилизацию (степень загрузки) системного буфера. Тем не менее, в будущих версиях предполагается ввести статистику плотности потока NetFlow, которая будет помогать точно оценить потребность приложения в размере UDP буфера. • Массив агрегированных строк в NFgroup не является динамическим. Как следствие - NFgroup на хранение массива резервирует максимальное количество строк. • "Функции обработки задаваемые в конфигурационном файле schemes.conf не могут использовать в качестве аргумента дополнительные поля в записи. Глава 4. Назначение и характеристики пакета NETFLOWER 4.4 Дистрибутив 4.4.1 Нумерация версий 8 Версии NetFlower представляют собой номер текущей ревизии, в формате : ГГГГММДДNN, где ГГГГ - год; ММ - месяц; ДД - день выпуска ревизии; NN - номер ревизии за текущие сутки С одной стороны, пакет уже давно преодолел рубеж, когда был реализован весь функционал, запланированный к выпуску v.1. Однако, в момент, подходящий для выпуска 1 стабильной версии появились более приоритетные задачи по реализации нового функционала (такого как драйверы загрузки в популярные базы данных, новое приложение пакета NFfilter и т.п.), которые не добавляют ревизиям общей стабильности. С другой стороны, новые возможности достаточно независимы от базового функционала, надежность работы которого проверена годами интенсивных нагрузок. Т.е. при отсутствии потребности в экспериментальном функционале общая стабильность приложения остается равной стабильности прежних ревизий. Кроме того, коммерческие сборки как правило содержат заказной набор функций (например совсем не содержат поддержки СУБД). Таким образом, автором было принято решение о временном продолжении изначально принятой системе выпуска версий. Кроме того, автор наметил основные цели ( в том числе подготовка исчерпывающей версии документации и переход на более традиционную систему нумерации версий ) для достижения при создании следующего проекта - NetFlower2. 4.4.2 Именование и состав пакетов В настоящий момент версии NetFlower для UNIX-подобных операционных систем поставляются в виде архивов tar сжатых архиватором gzip, именуемых по шаблону: NFC_операционная_система_аппаратная_платформа_версия.tar.gz, например NFC_linux_x86_версия.tar.gz Установка пакета выполняется распаковкой архива командой: tar vxzf архив.tar.gz и дальнейшим конфигурированием путем изменения вручную конфигурационных файлов. Для любой платформы в состав дистрибутива входит 3 приложения - NFcollect, NFgroup и NFfilter, для платформы Windows - дополнительное приложение - NFservice, которое является консольным вариантом управления сервисом NFcollect (установка, удаление, запуск,остановка) Приложение NFcollect настраивается системным администратором как службадемон, запускаемый при старте системы, NFgroup прописывается в подсистеме cron с тем, что-бы вызываться регулярно напрямую или из промежуточного скрипта. Версии для Windows платформы поставляются в виде инсталлятора, помогающего получить сразу после установки работоспособную конфигурацию NetFlower (включая установку соответствующего сервиса) за счет автоматической генерации параметров конфигурационных файлов во время инсталляции. Глава 5 Архитектура и общие принципы функционирования 5.1 Технология ”Замещения ресурсов” Одной из положительных сторон реализации NetFlower в виде нескольких специализированных приложений является повышение общей производительности за счет использования технологии ”Замещения ресурсов”. Поскольку главной составляющей задачи сбора NetFlow является именно функция сбора, относительно нетребовательное к процессорному времени приложение (NFcollect) резидентно присутствует в памяти, интенсивно загружая и заполняя дисковую подсистему. Оставшееся процессорное время занимает периодически запускаемый процесс NFgroup, который "доделывает"работу, требующую значительных вычислительных ресурсов, освобождая временно занятое NFcollect дисковое пространство. Такой подход позволяет максимально эффективно компенсировать суточные колебания в поступающих на коллектор объемах NetFlow. Увеличение дискового пространства приближает общую производительность системы к производительности только NFcollect за счет ”замещения” нехватки процессорного времени в пиковые часы дисковым буфером, который позволяет NetFlower без потерь работать до часов спада поступающего объема NetFlow. 5.2 Обеспечение отказоустойчивости Отказоустойчивость системы в целом обеспечивается рядом технических решений. Одним из таких решений является разделения функций сбора и обработки данных приложениями NFcollect и NFgroup. Предельное упрощение резидентной части (NFcollect) минимизирует количество потенциальных ошибок в коде программы, в т.ч. снижает риск возникновения ”утечек памяти”. Вторым решением является дублирование потоков NetFlow на разные коллекторы. Подробнее организация дублирования потоков NetFlow будет описана ниже. 9 Глава 5. Архитектура и общие принципы функционирования 5.3 10 Распределение потоков NetFlow Распределение потоков NetFlow является ключевым моментом в архитектуре систем, построенных на базе NetFlower и позволяет решить несколько задач : • Резервное дублирование собираемых данных • Распределение нагрузки на несколько коллекторов • Масштабтрование системы в целом - изменеие количества копий потоков NetFlow, распределение нагрузки на разное количество серверов Некоторые версии Cisco IOS поддерживают направление потока NetFlow сразу на 2 коллектора и одним из оправданных подходов может стать такой : Дублировать потоки NetFlow внутренними средствами маршрутизаторов везде, где это возможно и только в остальных случаях прибегать к использованию дополнительных решений. В случаях, когда IOS (или другое встроенное ПО) части или всех источников NetFlow, с которых предполагается собирать данные, не поддерживает более одного NetFlow коллектотра а также, если требуется организовать 3 и более копии потоков NetFlow или для достижения общей гибкости системы ( за счет некоторого снижения общего уровня надежности системы ) необходимо использовать промежуточное звено - ”NetFlow директор”. Возможной реализацией ”NetFlow директор’а” может являться выделенный сервер повышенной надежности, достигаемой следующими к нему требованиями • бездисковый (например, с загрузкой с flash носителя) • оснащенный дублированным электропитанием • оснащенный быстрым ethernet адаптером (или несколькими для обеспечения дополнительного дублирования за счет увеличения общей пропускной способности при использовании нескольких локальных сетевых сегментов) • с повышенным уровнем контроля функционирования ПО Поскольку на этапе ”разделения потоков” содержимое пакетов NetFlow не играет никакой роли, ”NetFlow директор” работает с обычными UDP потоками, что упрощает его реализацию и снижает нагрузку на сервер, на котоором он функционирует. В настоящий момент пакет NetFlower не содержит собственный ”NetFlow директор”, но его функции с успехом может выполнять бесплатно распространяемое ПО - samplicator, функционирующее на UNIX-подобных системах: http://code.google.com/p/samplicator/ задачей которого является прием UDP дэйтаграмм на определенный порт и отправка принятых дейтаграмм в одном или нескольких направлениях. Важной Глава 5. Архитектура и общие принципы функционирования 11 особенностью samplicator’а является возможность spoofing’а - сохранения адреса отправителя пакетов UDP. Данная возможность позволяет принимать пакеты NetFlow коллектором так, как будто они были отправленны непосредственно маршрутизатором без каких-либо промежуточных звеньев. В будущем планируется поставлять в составе пакета NetFlower собственный директор, который будет мультиплатформенным как и весь пакет. Настройке samplicator в качестве ”NetFlow директора” посвящена отдельная глава. В Таблице 3.1 показана схема формирования распределенных потоков NetFlow с одновременным их дублированием. Основной идеей схемы является разделение потоков с маршрутизаторов по группам, направление потоков NetFlow каждой группы на отдельный порт ”NetFlow директора”. Каждый порт (группу) обслуживает выделенный экземпляр samplicator’а, который генерирует необходимое число копий NetFlow потоков 5.3.1 Распределение нагрузки В случаях, когда мощности одного сервера с NetFlower не хватает, существует возможность разделения нагрузки по сбору и обработке NetFlow между несколькими серверами. Для решения этой проблемы администратор оценивает весовые доли, вносимые в общий поток NetFlow всеми обслуживаемыми маршрутизаторами. Далее, руководствуясь особенностями топологии сети, предполагаемым количеством серверов с NetFlower (N), администратор разбивает маршрутизаторы на (M) групп (например приблизительно равных по совокупному объему NetFlow, если предполагается использовать равные по производительности сервера). Потоки NetFlow разных групп направляются на разные обслуживающие сервера ”NetFlow директором”. 5.3.2 Масштабирование Масштабирование системы сбора можно производить в двух направлениях : • изменение количества резервных копий • распределение нагрузки на различное количество коллекторов Будем называть систему из N копий потоков, направленных на M серверов, системой, построенной по схеме NxM, например в схеме 2x3 используется 3 сервера-коллектора, собирающих 2 копии NetFlow потоков. Масштабирование Глава 5. Архитектура и общие принципы функционирования Маршрутизаторы Входной порт NetFlow директора netflower1_g1 netflower1_g2 netflower2_g1 netflower2_g2 netflower3_g1 netflower3_g2 ... ... ... ... ... netflowerN2_g2 12 NetFlow директор Входной порт NetFlow коллектора NetFlow коллектор netflower1_g3 netflower2_g3 netflower3_g3 ... 9995 netflowerN3_g3 9995 служба samplicate 1 9996 служба samplicate 2 9997 служба samplicate 3 9995 9995 9995 9995 netflowerN1_g1 9995 Таблица 5.1: Организация распределения нагрузки и дублирования потоков 1 1 1 2 2 2 1 1 3 2 2 1 1 3 1 1 3 1 3 2 2 4 2 4 1 1 3 5 2 4 2 2 4 1 3 5 3 3 4 3 4 5 Таблица 5.2: Принцип масштабирования системы по схемам 2x2, 2x3, 2x4, 2x5 Глава 6 Установка пакета NetFlower в ОС Windows Для пользователей ОС Windows пакет NetFlower оформлен в традиционном для данной платформы виде : программы-инсталятора. В процессе инсталляции администратор задает основные параметры работы пакета. После инсталляции фактически пакет готов к приему NetFlow трафика. "Тонкие"настройки администратор должен производить самостоятельно, редактируя конфигурационные файлы согласно описаниям их формата. Процесс инсталляции также настраивает системную службу, отвечающую за запуск/остановку NFcollect. Запуск/Остановка/Перезапуск службы производится системным администратором. ! В текущей версии NetFlower для Windows поддерживается только английский язык интерфейса инсталлятора. После установки и, возможно корректировки конфигурационных файлов, для начала сбора пакетов NetFlow, направленных на коллектор, системный администратор должен запустить службу "NetFlow v.1,5,6,7,9 collector". 13 Глава 6. Установка пакета NETFLOWER в ОС WINDOWS 14 Первая форма процесса установки определяет тип инсталляции : для первичной установки необходимо выбрать полную установку, для обновления - обновление бинарных файлов (вся конфигурация при этом будет сохранена). Второй вариант предполагает, что корректировка конфигурационных файлов (например при использовании новой опции) лежит полностью в зоне ответственности системного администратора. Рис. 6.1: Форма выбора типа установки. Глава 6. Установка пакета NETFLOWER в ОС WINDOWS 15 Следующая форма позволяет задать местоположение исполняемых файлов пакета а также входных, выходных каталогов, лог-файлов. Рис. 6.2: Форма выбора места установки. Глава 6. Установка пакета NETFLOWER в ОС WINDOWS 16 Форма определяет параметры конфигурации NFcollect, которые будут записаны в соответствующий файл конфигурации. Рис. 6.3: Форма конфигурации NFcollect. Глава 6. Установка пакета NETFLOWER в ОС WINDOWS 17 Форма определяет параметры конфигурации NFgroup, которые будут записаны в соответствующий файл конфигурации. Рис. 6.4: Форма конфигурации NFgroup. Глава 6. Установка пакета NETFLOWER в ОС WINDOWS 18 В зависимости от выбранного в предыдущей форме типа СУБД, в данной форме будет предложено задать параметры доступа к СУБД выбранного ранее типа. Также автоматически для заданной СУБД и выбранной ранее схемы агрегации будут сгенерированы SQL-строки создания базы и записи NetFlow строк в СУБД Рис. 6.5: Форма конфигурации параметров параметров записи в СУБД. Глава 6. Установка пакета NETFLOWER в ОС WINDOWS 19 Назначение формы очевидно Рис. 6.6: Форма запуска процедуры установки с заданными ранее параметрами. Глава 7 NetFlow директор 7.1 Реализация на базе ПО ”Samplicator” Ниже показаны на примере приемы, с помощью которых реализуются описанные ранее схемы масштабирования с использованием дополнительного звена в архитектуре сбора потоков NetFlow на базе ПО ”Samplicator” Подробное описание функций пакета выходит за рамки данной документации и может быть получено по адресу программы : http://code.google.com/p/samplicator/ Адрес не является постоянным адресом страницы на сайте разработчика, скорее всего по причине проявления "коллективного творчества"характерного для freeware, вследствии длительного отсутствия поддержки со стороны автора программы. Рассмотрим возможность использования Samplicator на примере. Предположим, у нас есть 2 рабочих NetFlow коллектора по адресам 10.0.0.2 и 10.0.0.3, прослушивающих UDP порты 9995. NetFlow директор (Samplicator) мы решили установить на сервере, с ip адресом 10.0.0.11 для получения UDP (NetFlow) пакетов. Cisco маршрутизаторы сконфигурированы так, что отправляют NetFlow пакеты на порт 9996 NetFlow директора. Следующая строка обеспечит дублирование потока UDP (NetFlow), spoof режимом (флаг -S) обеспечив "прозрачность"потоков : на коллекторах ситуация будет идентична той при которой оба потока направлялись непосредственно с Cisco (с сохранением адресов источников - Cisco в заголовках пакетов) : /opt/smpl/samplicate -s 10.0.0.11 -S -f -b 67108864 -p 9996 \ 10.0.0.2/9995 \ 10.0.0.3/9995 \ описание остальных флагов: -f - переводит программу в режим демона (fork) -b размер - размер приемного буфера в байтах (подробно можно прочитать в главе NFcollect) 20 Глава 8 NFcollect 8.1 Назначение NFcollect Как уже упоминалось, NFcollect - резидентное (постоянно находящееся в памяти в виде службы (Windows) или демона (UNIX)) приложение, единственной задачей которого является собрать всю возможную информацию из NetFlow потоков в файлы согласно опциям, заданным в конфигурационном файле. NFcollect поддерживает автоматическое распознавание версии протокола NetFlow, имеет простейшие средства фильтрации пакетов в зависимости от источника. NFcollect намеренно освобожден от каких-либо других задач для упрощения реализации, минимизации нагрузки и вероятности возникновение нежелательных эффектов (утечки памяти и т.д.) 8.2 Файлы конфигурации NFcollect 8.2.1 Главный файл конфигурации(NFcollect.conf) Опция listen_port listen_address Тип значения целое число диапазона 1..65535 строка receive_buffer_size целое число 21 Описание Прослушиваемый UDP порт Прослушиваемый адрес локального сетевого интерфейса Размер буфера (байт) для приема пакетов NetFlow Глава 8. NFCOLLECT 22 Опция split_interval Тип значения целочисленное выражение adjust_splitting булево output_dir строка log_dir log_file_name source_checking строка строка булево valid_sources список строк Описание длительность (в секундах) интервала создания новых выходных файлов. Периодически, по окончании очередного такого интервала, NFcollect создает для каждого источника NetFlow новый файл а старые переименовывает в имена с указанием timestamp начала и конца интервала, в течении которого производилась запись в эти файлы. С точки зрения входных данных приложения NFgroup и пакета NetFlower в целом, данный интервал именуется "интервалом агрегации" Выравнивать первое событие записи в новые файлы по границе, кратной целому количеству временных интервалов, прошедших с начала суток, заданных опцией split_interval. Например, при интервале 60 секунд, adjust_splitting = yes приведет к тому, что запущенный не в начале минуты NFcollect переключится на запись в новые файлы в начале новой минуты Каталог сбора файлов с информацией, прочитанной из Использовать проверку адреса - источника NetFlow Если включена проверка адреса источника NetFlow, будут приниматься пакеты только от перечисленных в данной переменной источников Допустимые типы значений : • целое число - например 9997 • целочисленное выражение - арифметическое выражение, значением которого является целое положительное число, например 60*(20+40) - задает часовой интервал агрегации • булево - yes|no • строка - заключенная в двойные кавычки последовательность любых символов за исключением двойной кавычки и запятой, например "/var/log/NFcollect.log" Глава 8. NFCOLLECT 23 • список строк - последовательность строк, разделенных запятыми, например ”192.168.10.1” , ”192.168.10.2”, ”192.168.10.3” 8.3 Опции командной строки NFcollect • -c имя_файла мы. задает имя главного конфигурационного файла програм- • -l имя_файла задает имя лог-файла программы. Имеет приоритет перед соответствующей опцией конфигурационного файла, удобна для выявления ошибок на ранней стадии. • -V печатает информацию о программе. Не выполняет никаких других действий. 8.4 Особенности MS Windows версии NFcollect Новые Windows версия NetFlower выпускаются в виде дистрибутива, инсталлирующего и предварительно конфигурирующего пакет. Не смортя на это NFcollect комплектуется вспомогательным приложением - NFservice, которое помогает управлять запуском и остановкой NFcollect в режиме системной службы. NFservice поддерживает следующие режимы запуска: 8.5 Управление службой NFcollect • -i (–install) путь_к_исполняемому_файлу_NFcollect путь_к_конфигурационному_файлу инсталлирует службу NFcollect • -d (–delete) удаляет службу NFcollect • -s (–start) запускает службу NFcollect • -p (–stop) 8.6 останавливает службу NFcollect Формат и имена выходных файлов NFcollect Выходные файлы NFcollect представляют собой текстовые файлы, каждая строка которых является информационными записями, соответствующими одной сетевой сессии. В следующей таблице приведены описания полей записи выходного файла NFcollect. Значения в колонке таблицы "Формат" не рассматривается подробно ввиду детального описания в главе NFgroup. Поле Формат Описание Глава 8. NFCOLLECT Поле sequence_number Формат целое беззнаковое begin_time Расширенный timestamp end_time source_addr source_port Расширенный timestamp ip адрес целое беззнаковое dest_addr dest_port ip адрес целое беззнаковое prot целое беззнаковое octets целое беззнаковое packets целое беззнаковое source_device input_interface ip адрес целое беззнаковое output_interface целое беззнаковое nexthop tos src_as ip адрес целое беззнаковое целое беззнаковое dst_as целое беззнаковое src_mask dst_mask целое беззнаковое целое беззнаковое 24 Описание Номер последовательности - индекс, приписываемый записи источником NetFlow, постоянный в пределах UDP??? пакета, в следующем UDP пакете увеличивается на количество NetFlow пакетов в предыдущем UDP пакете UNIX_timestamp.кол-во милисекунд . Время начала flow с точностью до миллисекунды Тоже, что и begin_time, только время окончания flow Адрес источника сетевой сессии TCP порт источника сетевой сессии Адрес назначения сетевой сессии TCP порт назначения сетевой сессии номер TCP протокола ??(UNIX /etc/protocols) количество зарегистрированных байт в записи количество зарегистрированных пакетов в записи адрес источника NetFlow потока Номер входного интерфейса на источнике NetFlow для зарегистрированной сессии Номер выходного интерфейса на источнике NetFlow для зарегистрированной сессии ??? Тип сервиса Номер автономной системы адреса-источника сетевой сессии Номер автономной системы адреса-назначения сетевой сессии ??? ??? Пример фрагмента из нескольких записей выходного файла NFcollect : 211046 1229943249.990 1229943249.990 172.31.31.2 3854 172.31.31.1 161 17 103 1 172.31.31.1 3 0 172.31.31.1 0 0 0 0 0 211046 1229943250.000 1229943250.000 172.31.31.1 161 172.31.31.2 3854 17 127 1 172.31.31.1 0 3 172.31.31.2 0 0 0 0 0 211052 1229943251.990 1229943251.990 172.31.31.2 3857 172.31.31.1 161 17 71 1 172.31.31.1 3 0 172.31.31.1 0 0 0 0 0 211052 1229943252.000 1229943252.000 172.31.31.1 161 172.31.31.2 3857 17 83 1 172.31.31.1 0 3 172.31.31.2 0 0 0 0 0 211052 1229943252.010 1229943252.010 172.31.31.2 3858 172.31.31.1 161 17 74 1 172.31.31.1 3 0 172.31.31.1 0 0 0 0 0 211052 1229943252.010 1229943252.010 172.31.31.1 161 172.31.31.2 3858 17 83 1 172.31.31.1 0 3 172.31.31.2 0 0 0 0 0 Глава 8. NFCOLLECT 25 8.7 Запуск NFcollect (секция не окончена) 8.7.1 О системном UDP буфере приема в различных операционных системах (секция не окончена) Приложение NFcollect, используемое в промышленных масштабах, принимает большое количество пакетов NetFlow, которые передаются от источников по протоколу UDP. При высоких нагрузках, системных установок по-умолчанию не достаточно. Пакеты UDP (и соответственно NetFlow) начинают либо "выпадать"либо совсем не доходят до приложения (размер выходных файлов NFcollect не увеличивается адекватно либо совсем не увеличивается). В таких ситуациях требуется настройка системы для обработки большого потока UDP пакетов увеличение системного буфера приема UDP. В UN*X системах размер системного принимающего буфера UDP ограничен специальными переменными среды окружения. Cистемный вызов (setsockopt), реально изменяющий размер буфера для конкретного приложения ограничен сверху этим значением. Подбор оптимального значения для таких переменных зависит от потока UDP, ресурсов сервера и лежит в зоне ответственности администратора системы-NetFlow коллектора. Приложения, не устанавливающие явно размер буфера, получают буфер размера по-умолчанию для данной операционной системы. Ниже приведены команды для разных ОС, задающие значение соответствующих системных переменных, для успешной установки системным вызовом setsockopt размер приемного UDP буфера в 128 Мб (134217728 байт). Linux : sysctl net.core.rmem_max=268435456 (необходимо задавать удвоенный объем буфера ) FreeBSD : sysctl -w kern.ipc.maxsockbuf=268435456 (необходимо задавать удвоенный объем буфера ) Solaris : /usr/sbin/ndd -set /dev/udp udp_max_buf 134217728 Windows : Ограничения на уровне системных переменных автору не известны. Данные команды должны быть выполнены непосредственно перез запуском NFcollect (традиционно в SHELL скриптах, запускающих NFcollect) 8.8 Различия между полной и бесплатной версиями NFcollect • Бесплатная версия не позволяет собирать NetFlow более чем с 2-х источников одновременно Глава 9 NFgroup 9.1 Назначение NFgroup NFgroup является специализированной (работающей в паре с NetFlower NFcollect) программой преобразования текстовых файлов из входного формата в выходной. Преобразование гибко управляется конфигурационными файлами. NFgroup запускается периодически (по мере готовности файлов с данными в исходном формате) системой cron или аналогичной. NFgroup предназначен для • Обработки • Сжатия (если необходимо) "на лету"выходных файлов алгоритмами – gzip (с опцией коэффициента сжатия 0-9) – bzip2 (с опцией коэффициента сжатия 0-9) • Генерации статистической информации 9.2 Схемы агрегации Введение понятия "Схем агрегации"направлено на рационализацию процесса сбора информации : • Уменьшение количества входных полей за счет отбрасывания незначимых • Уменьшение количества входящих строк за счет объединения строк, с совпадающими "ключевыми полями"за "Период агрегации" Компания Cisco Systems в руководстве по настройке своего продукта Cisco NetFlow Collector v 3.0 http://www.yars.free.net/CiscoCD/cc/td/doc/product/rtrmgmt/nfc/nfc_ 3_0/nfc_ug/nfctune.htm определяет 23 стандартных именованных схем агрегации: RawFlows, SourceNode, DestNode, HostMatrix, SourcePort, DestPort, Protocol, DetailDestNode, DetailHostMatrix, DetailInterface, CallRecord, ASMatrix1, NetMatrix1, 26 Глава 9. NFGROUP 27 DetailSourceNode, DetailASMatrix1, RouterAS2, RouterProtoPort2, RouterSrcPrefix2, RouterDstPrefix2, RouterPrefix2, AsHostMatrix1, HostMatrixInterface, DetailCallRecord. Все эти, а также произвольные другие, могут быть сконфигурированы в "файле описания схем агрегации"с некоторыми, оговариваемыми ниже, ограничениями. Схема RawFlows SourceNode Ключевые поля Поля значений srcadr DestNode dstadr HostMatrix srcadr dstadr SourcePort srcport DestPort dstport Protocol protocol DetailDestNode dstaddr, srcport, dstport, protocol DetailHostMatrix srcaddr, dstaddr, srcport, dstport, protocol DetailInterface srcaddr, dstaddr, input interface, output interface, nexthop srcaddr, dstaddr, srcport, dstport, protocol byte (prot), TOS packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count, firstTimeStamp, lastTimeStamp packet count, byte count, flow count packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime packet count, byte count, flow count packet count, byte count, flow count, firstTimeStamp, lastTimeStamp, totalActiveTime CallRecord ASMatrix src_as, dst_as NetMatrix input interface, output interface, masked srcaddr, masked dstaddr, src_mask, dst_ mask srcaddr, srcport, dstport, protocol DetailSourceNode DetailASMatrix RouterAS srcaddr, dstaddr, srcport, dstport, protocol, input interface, output interface, src_as, dst_as input interface, output interface, scr_as, dst_as RouterProtoPort srcport, dstport, protocol RouterSrcPrefix input interface, src_as, masked srcaddr, src_mask RouterDstPrefix output interface, dst_as, masked dstaddr, dst_mask RouterPrefix input interface, output interface, src_as, dst_as, masked srcaddr, masked dst_addr, src_mask, dst_mask srcaddr, dstaddr, src_as, dst_as AsHostMatrix HostMatrixInterface DetailCallRecord srcaddr, dstaddr, protocol, input interface, output interface srcaddr, dstaddr, srcport, dstport, protocol, ToS, input interface, output interface Глава 9. NFGROUP 9.3 28 Опции командной строки –config (-c) задает путь к главному конфигурационному файлу –version (-V) 9.4 Возвращаемые значения Поскольку NFgroup • выполняет необратимые преобразования данных (конечной целью этих преобразований является замещение на диске исходных данных результирующими) • используется в пакетном режиме (то есть вызывается другим приложением) Глава 9. NFGROUP 29 9.5 Файлы конфигурации NFgroup 9.5.1 Главный файл конфигурации (NFgroup.conf) Опция scheme_config_fullpath Тип значения строка stat_config_fullpath строка input_dir_name строка threads_number целое число max_araws_number целое число compression_type compression_level вариант [bzip2|gzip|none] (по-умолчанию none) целое число aggregation_scheme строка use_statistics вариант [yes|no] умолчанию no) 9.5.2 Описание путь к файлу описания схем агрегирования путь к файлу конфигурации статистики путь к каталогу файлов, создаваемых NFcollect Количество легковесных процессов, используемых для агрегирования. Архитектура NFgroup предполагает параллельную обработку разных файлов отдельными легковесными процессами. Максимальная производительность достигается при использовании N нитей (легковесных процессов) на системе с N процессорными ядрами Предполагаемое количество строк после агрегации. Подбирается опытным путем. Слишком маленькое значение повышает риск нехватки памяти при неожиданных всплесках трафика. Слишком большое значение вызывает неоправданный расход памяти. значимо при наличии опции в методе сжатия : (0-9) для bzip2 имя одной из схем агрегации, описанной в конфигурационном файле схем (schemes.conf) (по- Файл описания схем агрегации (schemes.conf) Файл описания схем агрегации состоит из блоков, которые в свою очередь состоят из именованных секций, например : HostMatrix{ header{} options{} input{...} output{} Глава 9. NFGROUP 30 } SourceNode{ header{} options{} input{...} output{} } ... В данном примере в первом блоке определяется схема агрегации с именем HostMatrix. В текущей версии NFgroup секции, кроме input не используются (зарезервированы) но должны обязательно присутствовать и быть пустыми. Строка, начинающаяся с // ñ÷èòàåòñÿ êîììåíòàðèåì è èãíîðèðóåòñÿ ïàðñåðîì Формат секции input{} Секция input - таблица, состоящая обычно (для стандартных схем агрегации) из n+1 строк (n первых строк соответствуют полям выходных файлов NFcollect), например : input{ sequence_number begin_time end_time source_addr source_port dest_addr dest_port prot octets packets source_device input_interface output_interface nexthop tos src_as dst_as src_mask dst_mask flows dat dat dat key dat dat dat dat val val dat dat dat dat dat dat dat dat dat clc uint32 extended_timestamp extended_timestamp ipv4_addr port_uint16 ipv4_addr port_uint16 uint8 uint64 uint32 ipv4_addr uint16 uint16 ipv4_addr uint8 uint16 uint16 uint16 uint16 flows_uint32 = = = = = = = = self_add_int64 self_add_int32 = = = = = = = = = self_inc = = = unpack_ipv4 = = = = unpack_uint64 unpack_uint32 = = = unpack_ipv4 = = = = = unpack_uint32 последняя строка - для генерируемого поля (clc) на выходе NFgroup (т.е. соответствующего поля в выходных строках NFcollect нет), назначение таких полей описано ниже. Назначение полей : Поле 1: метка Имя поля фиксировано и является меткой соответствующего поля (по номеру строки в секции) строки выходного файла NFcollect. Поле 2: класс поля • key - ключевое поле, при совпадении всех ключевых полей записи объединяются в одну общую запись 99; 99; 99; 0; 99; 99; 99; 99; 2; 1; 99; 99; 99; 99; 99; 99; 99; 99; 99; 3; Глава 9. NFGROUP 31 • val - поле - значение, значение в агрегированной записи вычисляется путем применения "функции обработки"к значению полей агрегируемых строк, результат записывается в итоговую запись • dat - незначимые данные, поле игнорируется, в выводе не участвует • clc - вычислимое поле, вычисляется функцией обработки, применяемой к "старому"значению поля Поле 3 : Функция ввода (тип поля) Функции ввода обеспечивают преобразование входного текстового вида полей в их внутреннее представление. Фактически они определяют тип поля. • uint8 - целое без знака 1 байт • uint16 - целое без знака 2 байта • uint32 - целое без знака 4 байта • uint64 - целое без знака 8 байт • extended_timestamp - строка типа кол-во_секунд_с_1_января_1970_года.колво_миллисекунд_с_начала_прошедшей_секунды • ipv4_addr - текстовое представление ip адреса протокола ip v4 • port_uint16 до номера порта до 1024 включительно внутреннее представление совпадает, от 1025 до 65536 - представление по схеме 1025-9999 -> 1025, 10000-19999 -> 10000, ... , 60000-65535 -> 60000 • flows_uint_32 ?? (чем это отличается от uint32) Поле 4 : Функция обработки Функции обработки выполняют модификацию внутреннего представления полей, благодаря чему, в частности, происходит "агрегация данных". ! Текущим ограничением Функций обработки является невозможность использовать при вычислении нового значения значений других полей. • self_inc присваивает аргументу новое значение, равное увеличенному на 1 старому значению • self_add_int32 присваивает аргументу (размером 4 байта) новое значение, равное сумме старого и обрабатываемого поля • self_add_int64 присваивает аргументу (размером 8 байт) новое значение, равное сумме старого и обрабатываемого поля • self_min_int64 присваивает аргументу (размером 8 байт) новое значение, равное минимальному из старого и обрабатываемого поля • self_max_int64 присваивает аргументу (размером 8 байт) новое значение, равное максимальному из старого и обрабатываемого поля Глава 9. NFGROUP 32 Функции вывода Функции вывода обеспечивают преобразование внутреннего представления поля в его текстовый вид в выходном файле. • unpack_ipv4 - на выходе строка - ip адрес 4 версии ip протокола • unpack_uint8 - на выходе строка - символьное представление целого без знака числа размерностью 1 байт • unpack_uint16 - то же размерностью 2 байта • unpack_uint32 - то же размерностью 4 байта • unpack_uint64 - то же размерностью 8 байт • unpack_port_uint16 - до 1024 включительно - символьное представление числа, 1025 и более : – 1K_9K_Port (от 1025 до 9999 включительно) – 10K_19K_Port (от 10000 до 19999 включительно) – 20K_29K_Port (от 20000 до 29999 включительно) – 30K_39K_Port (от 30000 до 39999 включительно) – 40K_49K_Port (от 40000 до 49999 включительно) – 50K_59K_Port (от 50000 до 59999 включительно) – 60K_65K_Port (от 60000 до 65535 включительно) 9.5.3 Файл конфигурации записи в базу данных (db.conf) Сттроки файла представляют собой пары опция = значение Опция db_host db_name db_path db_user db_password db_sql_create db_sql_insert Тип значения Описание Опции, специфичные для СУБД MySQL строка Адрес сервера базы данных строка Имя базы данных Опции, специфичные для СУБД Firebird строка Путь к базе данных (firebird) строка Имя пользователя базы данных строка Пароль пользователя базы данных строка SQL выражение для создания базы данных строка SQL выражения для вставки строк в базу данных Допустимые типы значений : • строка - заключенная в двойные кавычки последовательность любых символов за исключением двойной кавычки и Глава 9. NFGROUP 9.5.4 33 Файл конфигурации статистики (stat.conf) В текущей версии есть поддержка некоторого вида статистики, в планах реализация реализации гибко настраиваемой статистики 9.6 Различия между полной и бесплатной версиями NFgroup • бесплатная версия не позволяет использовать многопоточную обработку данных (???) • бесплатная версия не позволяет изменять набор схем агрегирования (используются только преднастроенные схемы) 9.7 Потребляемые ресурсы (секция не окончена) Ключ, значение, Хэш на 32 разрядных платформах 4 байта указатель на ключ 4 байта длина ключа 4 байта указатель на данные 4 байта указатель на следующую структуру итого 16 байт на вспомогательную структуру для каждого ключа на 64 разрядных платформах 8 байт указатель на ключ 8 байт длина ключа 8 байт указатель на данные 8 байт указатель на следующую структуру итого 32 байта на вспомогательную структуру для каждого ключа 9.8 Статистика Текущая версия NFgroup поддерживает некоторые возможности генерации статистики. Однако, автор считает текущее состояние данной функции неприемлемым из-за недостаточной гибкости ее настройки. Развитие функционала генерации статистики одна из целей поставленных для достижения в рамках проекта NetFlower2. Те, кому все-таки интересна данная функция, могут обсудить ее с автором, написав электронное письмо. Глава 10 NFfilter 10.1 Назначение NFfilter NFfilter - приложение, работающее на стыке NFcollect и NFgroup. Задача NFfilter ограничить количество выходных строк, формируемых NFcollect, поступающих на вход NFgroup согласно критериям, определяемым в конфигурационном файле. NFfilter обрабатывает строки, поступающие со стандартного ввода. Строки, прошедшие согласно заданным критериям выводит на стандартный вывод. 10.2 Опциии командной строки NFfilter • -V : печать информации о NFfilter, выход без выполнения каких-либо других действий • -d : режим отладки, отладочная информация выводится в стандартный поток ошибок • -с путь_к_конфигурационному_файлу : чтение конфигурации из заданного файла • -f имя_фильтра : активация фильтра с заданным именем, определенного в конфигурационном файле 10.3 Формат конфигурационного файла NFfilter 10.3.1 Общее описание Файл конфигурации состоит из последовательности блоков, описывающих отдельные именованные фильтры. 34 Глава 10. NFFILTER 35 filter("Èìÿ\_ôèëüòðà\_1"){ ... } ... filter("Èìÿ\_ôèëüòðà\_N"){ ... } Блоки описания фильтров в свою очередь состоят из последовательности "разрешающих"/"запрещающих"блоков. Формат разрешающего блока : accept{ ... } Формат запрещающего блока : skip{ ... } "разрешающие"/"запрещающие"блоки имеют одинаковый синтаксис. Содержимое блока Фактически суперпозиция функций, описанных ниже. То есть, результаты некоторых функций подставляются в качестве аргументов в другую. Функции разбиты на 2 группы : • Условные функции в качестве аргументов принимают имя поля соответствующего типа в записях NetFlow, и константы соответствующего типа. Возвращают логическое значение в зависимости от выполнения условия, составляющего смысловую нагрузку функции. • Логические функции в качестве аргументов принимают логические значения (результаты выполнения условных и логических функций). Возвращают логические значения. 10.3.2 Базовые типы (для условных функций) Тип полей uint8 uint16 uint32 uint64 ipv4_addr extended_timestamp Функции, применимые к типу eq, lt, gt eq, lt, gt eq, lt, gt eq, lt, gt eq, in, in_net eq, lt, gt • eq - равно (2 аргумента) • lt - меньше чем (2 аргумента) Описание Целое беззнаковое длиной 1 байт Целое беззнаковое длиной 2 байта Целое беззнаковое длиной 4 байта Целое беззнаковое длиной 8 байт Ip адрес версии 4 UNIX таймстемп с миллисекундами Глава 10. NFFILTER 36 • gt - больше чем (2 аргумента) • in - в диапазоне (3 аргумента) • in_net - в рамках сети (3 аргумента) 10.3.3 Логические функции Логических функций 3: • and - (2 аргумент) возвращает "истину если значение "истина"имеют оба аргумента. В противном случае возвращает "ложь" • or - (2 аргумент) возвращает "истину если значение "истина"имеет хотябы один аргумент. В противном случае возвращает "ложь" • not - (1 аргумент) возвращает "истину если значение "истина"имеет хотябы один аргумент. В противном случае возвращает "ложь" 10.3.4 No 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Перечень и типы полей в записях NetFlow после NFcollect поле sequence_number begin_time end_time source_addr source_port dest_addr dest_port prot octets packets source input_interface output_interface nexthop tos src_as dst_as src_mask dst_mask тип uint32 extended_timestamp extended_timestamp ipv4_addr uint16 ipv4_addr uint16 uint8 uint64 uint32 ipv4_addr uint16 uint16 ipv4_addr uint8 uint16 uint16 uint16 uint16 внутреннее представление uint32_t uint64_t uint64_t uint32_t uint16_t uint32_t uint16_t uint8_t uint64_t uint32_t uint32_t uint16_t uint16_t uint32_t uint8_t uint16_t uint16_t uint16_t uint16_t пример 106581494 1196919883.922 1196919887.286 192.168.1.1 63042 192.168.1.2 80 6 97 1 192.168.1.254 9 1 192.168.1.10 0 0 0 0 0 Глава 10. NFFILTER 10.3.5 37 Пример конфигурационного файла filter("local_traffic"){ skip{ in(source_addr,"192.168.1.40","192.168.1.50") } accept{ or( ), } ) and( and( in(source_addr,"192.168.1.0","192.168.1.10"), eq(dest_port,80) in(source_addr,"192.168.1.20","192.168.1.30"), eq(dest_port,80) skip } filter("accept_all_traffic"){ accept } 10.3.6 Алгоритм "действия"конфигурационного файла NFfilter работает только с одним из сконфигурированных фильтров, называемым "активным". Активный фильтр требуется указать в командной строке запуска NFfilter в качестве аргумента ключа -f. Активный фильтр "применяется"к каждой строке входящего потока NFfilter. Блоки accept/skip применяются в порядке следования. Если результатом выполнения суперпозиции функций блока accept является "истина строка выводится в выходной поток. В противном случае строка пропускается. Для блока skip эти 2 правила действуют с точностью до наоборот. Если при проходе "сработал"некоторый условный блок, проход для данной строки прерывается. Блок accapt/skip без тела определяет для строк правило по-умолчанию. accept безусловно принимает все строки, skip пропускает.Каждый фильтр обязан содержать блок по-умолчанию (accept или skip). Этим достигается гарантированная определенность действия для любого смоделированного фильтра. Глава 11 Некоторые проблемы, причины и способы решения (Глава не окончена) Описание проблемы После инсталляции, коллектор не собирает потоки NetFlow 38 Платформа Windows Возможные причины не запущена служба "NetF