Пресс-релизы // » Добавить пресс-релиз

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки.

Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных.

OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности.

OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.

Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.

Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта.

К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps.

В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.

«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

Контактное лицо: Татьяна Алексеева
Компания: IT_One
Добавлен: 22:30, 06.12.2023 Количество просмотров: 279
Страна: Россия


НКК «Машиностроение» и «Нева Технолоджи» укрепляют партнерство для развития сквозных технологий проектирования и производства композитных изделий, Национальная компьютерная корпорация, 02:56, 14.11.2026, Россия344
НКК «Машиностроение», разработчик платформы САРУС+, и «Нева Технолоджи», системный интегратор и разработчик высокотехнологичного оборудования для производства изделий из композитов, объявляют о расширении стратегического сотрудничества. Стороны подписали соглашение, направленное на совместную разработку комплексного решения, его продвижение и внедрение на промышленных предприятиях на базе ПО САРУС+ и оборудования, поставляемого «Нева Технолоджи».


АО «Волтари» вступило в ассоциацию НАУФОР, Web3 Tech, 02:56, 14.11.2026, Россия341
АО «Волтари» (Vaultary), компания из группы Web3 Tech – разработчика корпоративных блокчейн-решений и провайдера web3-сервисов, включена в состав членов Национальной ассоциации участников фондового рынка (НАУФОР).


Фирма «1С» подтверждает корректную и стабильную работу программного продукта «1С:Страховая компания КОРП», ООО "АКСИОМА-СОФТ", 02:55, 14.11.2026, Россия336
Фирма «1С» подтвердила совместимость программного продукта «1С:Страховая компания КОРП» с платформой «1С:Предприятие 8.3». Сертификация подтверждает соответствие стандартам разработки и стабильную работу решения для автоматизации страховых компаний.


VolgaBlob снизила порог входа в Smart Monitor благодаря помощнику «Сёме», VolgaBlob, 02:55, 14.11.2026, Россия342
В версии 6.2 появился полноценный ИИ-модуль с умным помощником «Сёмой». Пользователь может задать ему вопрос о данных обычным языком, даже не зная технических деталей платформы и языка запросов.


МИС Dental4Windows поддержала интеграцию с сервисом N3.Health СЭП, ЭлНетМед, 02:55, 14.11.2026, Россия331
Медицинская информационная система Dental4Windows поддержала интеграцию с сервисом электронного подписания документов N3.Health СЭП от компании «ЭлНетМед».


Росгвардейцы приняли участие в работе VI Форума православной общественности Республики Татарстан «Единство духа в союзе мира», Управление Росгвардии по Татарстану, 02:54, 14.11.2026, Россия349
В Казани представители Росгвардии приняли участие в работе VI Форума православной общественности Республики Татарстан «Единство духа в союзе мира». На мероприятии обсудили вопросы взаимодействия Церкви, государства и общества, сохранению историко-культурного наследия и духовно-нравственного воспитания молодёжи.


В Калининграде прошёл семинар о полезных сервисах 1С, Первый Бит, 02:54, 14.11.2026, Россия341
Законодательные требования к ЭПД, сценарии работы с электронной транспортной накладной, возможности сервиса «1С-ЭПД» и мобильного приложения для подписания документов.


«Проф ИТ» и ServerICT объединяются для промышленных внедрений разговорного ИИ, Проф ИТ, 02:51, 14.11.2026, Россия343
«Проф ИТ» и ServerICT объединяются для промышленных внедрений разговорного ИИ


«ГИГАНТ — Компьютерные системы»: устаревшее иностранное ПО повышает риски кибератак на российскую инфраструктуру, ГИГАНТ, 02:51, 14.11.2026, Россия351
Российский производитель оборудования «ГИГАНТ — Компьютерные системы» предупреждает о высоких рисках кибератак на российские предприятия, которые продолжают использовать устаревшее иностранное программное обеспечение без актуальных обновлений безопасности.


«1С-Рарус» подвел итоги 10-летней цифровой трансформации АО «Русская медная компания», 1С-Рарус, 02:50, 14.11.2026, Россия183
«1С-Рарус» реализовал портфель проектов по внедрению комплекса решений «1С:Корпорация» в Русской медной компании. Выстроена единая цифровая среда с централизованной нормативно-справочной информацией, сквозной интеграцией систем и едиными подходами к управлению бизнес-процессами. Автоматизировано 3 тысячи рабочих мест.


MONT и АБП2Б начали сотрудничество в области кибербезопасности и управления ИТ-инфраструктурой, MONT, 02:49, 14.11.2026, Россия64
Группа компаний MONT заключила партнерское соглашение с российским разработчиком АБП2Б, в рамках которого продукты вендора войдут в дистрибьюторский портфель MONT и станут доступны системным интеграторам и реселлерам.


Axenix помогла ППТ автоматизировать документооборот, Axenix, 02:48, 14.11.2026, Россия66
Компания Axenix завершила проект по внедрению электронного документооборота на основе «1С:Документооборот 8 КОРП» для ООО «Подъемно-погрузочная техника» – крупнейшего игрока в сегменте складской техники на российском рынке.


БФТ-Холдинг и ГУАП будут совместно готовить специалистов по искусственному интеллекту и работе с данными, БФТ-Холдинг, 02:48, 14.11.2026, Россия121
БФТ-Холдинг стал индустриальным партнером Санкт-Петербургского государственного университета аэрокосмического приборостроения (ГУАП) в рамках федерального проекта «ТОП-ИТ».


Hisense представила новые саундбары на российском рынке, Hisense, 23:54, 13.11.2026, Россия197
Компания Hisense, один из ведущих мировых производителей телевизионной и бытовой техники, представила в России три новые модели саундбаров – Hisense HS5100S, Hisense HS3100S и Hisense HS2100S. Мощные и многофункциональные устройства уже поступили в продажу.


Искусственный интеллект, доказательные методы и помощь семье: итоги XVIII Всероссийского съезда онкопсихологов, Служба "Ясное утро", 23:54, 13.11.2026, Россия246
493 участника из 46 городов, 57 докладов и 14 мастер-классов: в Москве обсудили современные исследования, новые методы работы с онкологическими пациентами и их близкими, региональный опыт и применение искусственного интеллекта.


  © 2003-2026 inthepress.ru