Пресс-релизы //

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки.

Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных.

OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности.

OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.

Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.

Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта.

К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps.

В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.

«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

Контактное лицо: Татьяна Алексеева
Компания: IT_One
Добавлен: 22:30, 06.12.2023 Количество просмотров: 157
Страна: Россия

VolgaBlob и Уфимский университет науки и технологий стали партнерами, VolgaBlob, 22:02, 12.11.2025, Россия219
Уфимский университет науки и технологий (УУНиТ) и разработчик VolgaBlob подписали договор о сотрудничестве, предполагающий интеграцию в образовательный процесс вуза передовых технологий мониторинга данных.

DатаРу: только 15% производителей и ИТ-интеграторов в РФ развивают технологии для ИИ и HPC, ДатаРу, 21:49, 12.11.2025, Россия214
Доля российских производителей серверного оборудования и ИТ-интеграторов, занимающихся технологиями для HPC и искусственного интеллекта, не превышает 15%.

Co-lab No Stress на «Woman Who Matters», Co-lab No Stress, 21:46, 12.11.2025, Россия56

Co-lab No Stress выступает в качестве партнера на ежегодном бизнес-форуме «Woman Who Matters». 11-12 ноября в Москве проходит международный форум «Woman Who Matters», объединяющий женщин - лидеров отрасли, инфлюенсеров и представителей крупного бизнеса.

Успешные кейсы внедрения энергоэффективных решений представят на конференции «Коммерческий учет энергоносителей», АО НПФ ЛОГИКА, 21:59, 12.11.2025, Россия240
Участие для слушателей является бесплатным. Необходима предварительная регистрация

MONT и разработчик облачной ИТ-инфраструктуры ITKey заключили соглашение о развитии партнерской сети, MONT, 21:44, 12.11.2025, Россия53
Группа компаний MONT начала сотрудничество с российским разработчиком ITKey, лидером в области решений для облачной ИТ-инфраструктуры и виртуализации на базе открытого исходного кода (Open Source).

Группа «Борлас» (ГК Softline) открыла практику цифровизации процессов капитального строительства, Группа "Борлас", 21:44, 12.11.2025, Россия61

Группа «Борлас» (ГК Softline), один из лидеров в области цифровизации промышленности, объявляет о создании новой технологической практики, специализирующейся на комплексной оптимизации процессов проектирования и сооружения (Engineering & Construction) капиталоемких объектов в энергетической, добывающей и машиностроительной отраслях.

Цифровые решения «БурСервис» меняют ИТ-ландшафт инструментов для проектирования разработки месторождений, ООО "БурСервис, 21:43, 12.11.2025, Россия64

Подразделение цифровых решений компании ООО «БурСервис» завершило разработку нового программного продукта DS Field Mantic (Mantic (англ.) – оракул, предсказатель) – роботизированной системы для прогнозирования добычи нефти и газа на основе нечёткой логики.

Вопросно-ответный поиск на базе Directum RX разгружает техподдержку в Systeme Electric, Directum, 21:31, 12.11.2025, Россия65

В компании Systeme Electric используют технологию вопросно-ответного поиска (ВОП). Новая функциональность Directum RX снижает нагрузку на сотрудников техподдержки, а пользователи получают точные ответы за несколько секунд.

«НИЦЭМ им. Н.Ф. Гамалеи» Минздрава России и N3.Health завершили пилотные испытания сервиса подписания согласий на участие в клиническом исследовании в приложении MILA, Нетрика, 14:22, 12.11.2025, Россия104
Сервис полностью соответствует требованиям законодательства, вступающим в силу с 1 января 2026 года.

Студенты МГИМО изучают большие данные в госуправлении вместе с БФТ-Холдингом, БФТ-Холдинг, 12:58, 12.11.2025, Россия129
БФТ-Холдинг проводит цикл лекций для студентов факультета управления и политики Московского государственного института международных отношений Министерства иностранных дел Российской Федерации (МГИМО).

Hexway ASOC становится умнее: платформа оценивает критичность уязвимостей и предлагает варианты исправления, Hexway, 12:58, 12.11.2025, Россия114
Новая версия использует LLM (включая российский GigaChat), чтобы сократить рутину AppSec-команд на 40%.

«Роскошный ломбард»: снижение издержек на 25% благодаря «1С:Ломбард КОРП», ООО "АКСИОМА-СОФТ", 15:35, 11.11.2025, Россия229

ООО «Роскошный ломбард» автоматизировал работу 65 филиалов на базе «1С:Ломбард КОРП». Результаты: сокращение расходов на 25%, ускорение отчетности на 40% и полное соответствие законодательству.

ПАК «Боцман» включён в реестр Минцифры России, SMART technologies SOFT, 11:31, 10.11.2025, Россия310

Компания SMART technologies SOFT представляет программно-аппаратный вычислительный комплекс «Боцман». Продукт включен в реестр ПАК Минцифры России в классе «Программно-аппаратные вычислительные комплексы управления базами данных комбинированного типа» под №30473 от 22.10.2025.

Импортозамещение как стратегический выбор: опыт перехода СЗ ДОМ.РФ Девелопмент на Tangl, Tangl, 12:05, 10.11.2025, Россия404

СЗ ДОМ.РФ Девелопмент успешно внедрил экосистему Tangl разработки компании «Тангл», перейдя с иностранных BIM-решений на отечественное программное обеспечение. При переходе сохранилась интеграция информационных моделей в бизнес-процессы компании и снизилась зависимость от зарубежных инструментов, при этом остались качество работы и эффективность проектных процессов.

«1С-Рарус» за 3 месяца внедрил WMS-систему в компании-интеграторе «Сервис плюс», 1С-Рарус, 12:03, 10.11.2025, Россия344

Компания «Сервис Плюс», специализирующаяся на автоматизации торговли, совместно с разработчиком «1С-Рарус» модернизировала систему управления складским хозяйством. Переход на «1С‑Рарус:WMS» выполнен за рекордные 3 месяца. Сотрудники используют терминалы сбора данных, внедрено адресное хранение, вдвое выросла скорость отгрузки заказов.