Перейти к содержанию

Apache NiFi

Эта статья находится на начальном уровне проработки, в одной из её версий выборочно используется текст из источника, распространяемого под свободной лицензией
Материал из энциклопедии Руниверсалис
(перенаправлено с «NiFi»)
Apache NiFi

Apache NiFi — это открытое программное обеспечение проекта Apache Software Foundation, предназначенное для автоматизации операций по обработке данных.

Описание

Инструмент для извлечения, преобразования, загрузки (ETL), основан на программном обеспечении «NiagaraFiles», ранее разработанном Агентством национальной безопасности США (АНБ), которое также является источником части его нынешнего названия — NiFi . Он был открыт в рамках программы передачи технологий АНБ в 2014 году. [1] [2] [3] [4] [5]

Программный продукт разработан на модели программирования на основе потоков и предлагает функции, которые включают в себя возможность работы в кластерах, безопасность с использованием шифрования TLS, расширяемость (пользователи могут писать свои собственные приложения для расширения его возможностей) и пользовательский интерфейс для визуального просмотра и изменения сценариев обработки данных. [6]

Разработка программного обеспечения и коммерческая поддержка в настоящее время предлагаются компанией Hortonworks (теперь в составе Cloudera ), [7] которая приобрела создателя NiFi, Onyara Inc. [8]

В феврале 2017 года программное обеспечение HPE SecureData для Hadoop и IoT стало первым в отрасли коммерческим продуктом, интегрировавшим NiFi [9] .

Компоненты

NiFi — Компоненты

NiFi — это программа Java, которая запускается на виртуальной машине Java, работающей на сервере. [10] Основными компонентами Nifi являются:

  • Веб-сервер — компонент на основе HTTP, используемый для визуального анализа и отслеживания событий
  • Контроллер потока — служит мозгом поведения NiFi. Контролирует работу расширений Nifi и планирует выделение ресурсов для этого.
  • Расширения — различные плагины, позволяющие Nifi взаимодействовать с разного рода системами.
  • Репозиторий FlowFile — используется NiFi для поддержания и отслеживания состояния текущего активного FlowFile или информации, которую NiFi помогает перемещать между системами.
  • Репозиторий контента - здесь хранятся передаваемые данные
  • Репозиторий происхождения - здесь хранятся данные, относящиеся к происхождению данных, проходящих через систему.

Примечания

  1. ↑ NSA Releases First in Series of Software Products to Open Source Community (англ.). www.nsa.gov. Дата обращения: 7 декабря 2017.
  2. ↑ Bridgwater. NSA 'NiFi' Big Data Automation Project Out In The Open. Forbes (21 июля 2015). Дата обращения: 21 сентября 2016.
  3. ↑ Vaughan-Nichols. NSA partners with Apache to release open-source data traffic program | ZDNet. ZDNet. Дата обращения: 21 сентября 2016.
  4. ↑ NSA Source Code Leak: Information slurp tools to appear online. The Register. Дата обращения: 21 сентября 2016.
  5. ↑ Wolpe. Hortonworks CTO on Apache NiFi: What is it and why does it matter to IoT? | ZDNet. ZDNet. Дата обращения: 21 сентября 2016.
  6. ↑ Apache NiFi Documentation (англ.). nifi.apache.org. Дата обращения: 7 декабря 2017.
  7. ↑ Welcome to a brand-new Cloudera (англ.) ?. Hortonworks (3 января 2019). Дата обращения: 20 мая 2019.
  8. ↑ Hortonworks buys Onyara, the company behind Apache NiFi, which was developed at NSA. VentureBeat (25 August 2015). Дата обращения: 21 сентября 2016.
  9. ↑ RSA Conference: HPE looks to boost enterprise IoT security with Apache NiFi (англ.), TechRepublic. Дата обращения 31 января 2018.
  10. ↑ Apache NiFi Developer Guide (англ.). nifi.apache.org. Дата обращения: 31 января 2018.
Источник — https://xn--h1ajim.xn--p1ai/index.php?title=Apache_NiFi&oldid=10378929