Пресс-релизы //

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки.

Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных.

OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности.

OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.

Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.

Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта.

К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps.

В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.

«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

Контактное лицо: Татьяна Алексеева
Компания: IT_One
Добавлен: 22:30, 06.12.2023 Количество просмотров: 192
Страна: Россия

«1С-Рарус» расширил возможности коммуникаций и обновил интерфейсы в 1С:CRM, 1С-Рарус, 20:22, 28.03.2026, Россия142

«1С-Рарус» совместно с фирмой «1С» развивает линейку решений 1С:CRM. Новые инструменты помогают компаниям быстрее работать с клиентами, видеть узкие места в продажах и повышать качество коммуникаций. В числе новшеств — улучшенный интерфейс, ИИ-ассистент, обновленная воронка продаж, расширенные возможности АРМ «Монитор руководителя» и «Диалоги».

Space и TERA предложат рынку готовые комплексные решения для импортозамещения критически важных систем, ДАКОМ М, 20:22, 28.03.2026, Россия139

Компания TERA, IT-дистрибьютор, и российский разработчик «ДАКОМ М» (бренд Space) объявляют о заключении партнерского соглашения. В рамках сотрудничества TERA будет продвигать всю линейку продуктов экосистемы виртуализации Space.

Ютрейс Промо: новая инфраструктура промоакций для маркированных товаров на базе ГИС МТ «Честный Знак», Utrace, 20:22, 28.03.2026, Россия141

Ютрейс (Utrace), разработчик ИТ-решений для управления цифровой маркировкой, запускает платформу Ютрейс Промо. Это полноценная инфраструктура для промокампаний в категориях маркированных товаров, использующая данные ГИС МТ «Честный Знак».

Без барьера биометрии: «Выберу.ру» составил рейтинг лучших онлайн-займов в марте 2026 года, Финансовый маркетплейс "Выберу.ру", 20:21, 28.03.2026, Россия140

С 1 марта 2026 года онлайн-займы в микрофинансовых компаниях (МФК) клиентам разрешены только по биометрии. Однако МКК кредитуют без этого ограничения. А «Выберу.ру» изучил параметры онлайн-займов и подготовил рейтинг наиболее выгодных продуктов с максимальным шансом на одобрение. Топ-подборка позволит одолжить с минимальной околонулевой переплатой.

Руководители подразделений Северо-Кавказского филиала ФГУП «УВО Минтранса России» приобщились к историческому наследию донского казачества, Северо-Кавказский филиал ФГУП "УВО Минтранса России", 20:19, 28.03.2026, Россия137

В Ростове-на-Дону в рамках учебно-методических сборов начальники подразделений Северо-Кавказского филиала ведомственной охраны Минтранса России посетили единственный в России центр «Донская Казачья Гвардия». При поддержке профсоюза для них провели экскурсию по уникальной экспозиции, посвященной гвардейским казачьим полкам, которые на протяжении полутора веков охраняли российских императоров.

Рацпредложение сократило время сервисного обслуживания локомотивов, ООО ЛокоТех-Сервис, 20:18, 28.03.2026, Россия159
Рацпредложение сократило время сервисного обслуживания локомотивов

3Logic Group и «Софтлайн» реализовали поставку серверного решения для «Инсека», 3Logic Group, 20:18, 28.03.2026, Россия144

3Logic Group, российский дистрибьютор ИТ-оборудования, совместно с «Софтлайн», поставщиком ИТ-решений и услуг, поставили серверное оборудование для компании «Инсека», специализирующейся на обучении и практической подготовке специалистов по кибербезопасности.

Служба каталога ALD Pro 3.0 сертифицирована по 2 уровню доверия ФСТЭК России, "Группа Астра", 20:12, 28.03.2026, Россия145

«Группа Астра» сообщает о завершении процедуры сертификации очередного обновления 3.0.0с программного комплекса «ALD Pro» (сертификат ФСТЭК России № 4830 от 26 июля 2024 г., переоформлен 9 декабря 2024 г.).

«Энергосбыт Волга» назвала управляющие компании с самыми большими долгами за электричество, ООО "Энергосбыт Волга", 20:07, 28.03.2026, Россия141

Гарантирующий поставщик электроэнергии во Владимирской области «Энергосбыт Волга» опубликовал список крупных должников среди управляющих компаний.

Компания «Новые платформы» подвела итоги 2025 года, Новые платформы, 20:06, 28.03.2026, Россия140

Российский разработчик и производитель радиоэлектронной продукции «Новые платформы» подвел итоги 2025 года. За истекший период компания увеличила штат на 10%. Важно, что в финансовой структуре «Новых платформ» отсутствуют кредиты – компания развивается за счет собственных средств.

Наружная реклама нового тарифа МТС на всесезонном курорте «Волчиха»., Рекламное Агентство IQ, 20:04, 28.03.2026, Россия163
Зимой 2025-2026 года агентство IQ разместило наружную рекламу нового тарифа МТС на всесезонном курорте Волчиха в Свердловской области.

VolgaBlob выходит на рынок Узбекистана, VolgaBlob, 20:04, 28.03.2026, Россия144
Российский разработчик и интегратор VolgaBlob с более чем 20-летним опытом на рынке кибербезопасности объявляет о запуске своей флагманской платформы Smart Monitor на рынке Узбекистана.

Hybrid Metaverse запустил крупнейшую в России рекламную сеть в Minecraft, Hybrid, 20:04, 28.03.2026, Россия147
После блокировки Roblox в России в декабре 2025 года компания Hybrid Metaverse, входящая в AdTech-экосистему Hybrid, перестроила рекламную инфраструктуру и объявила о запуске крупнейшей рекламной сети в Minecraft.

Minervasoft обновила совместный редактор в системе управления знаниями Minerva Knowledge, Minervasoft, 20:03, 28.03.2026, Россия53

Компания Minervasoft расширила функциональность совместного редактирования в базе знаний с ИИ-ассистентом Minerva Knowledge. Новая версия редактора обеспечивает одновременную работу множества пользователей в режиме реального времени, что минимизирует риск возникновения конфликта версий и повышает прозрачность изменений.

Компания ГЕРОФАРМ автоматизирует HR-процессы с помощью Neon HRM, Nexign, 20:02, 28.03.2026, Россия60

Система поможет автоматизировать работу с целеполаганием, обучением, развитием, карьерой и вовлеченностью сотрудников, создать единое инфополе с помощью корпоративного портала, а также позволит HR получать аналитику по основным процессам управления персоналом.