 |
ГИГАНТ – Компьютерные системы: ИИ как помощник, а не замена
Сергей Семикин, СЕО компании “ГИГАНТ – Компьютерные системы” рассказал о том, что доверие к ИИ (7,7 из 10) оправдано лишь для вспомогательных задач, но не для самостоятельных действий, а также о том, что главные риски – это масштабирование ошибок через процессы и избыточные полномочия алгоритмов. А также о том, что ответственность за любые сбои всегда лежит на разработчиках, интеграторах и компаниях, а не на самой технологии.
1. Считаете ли вы уровень доверия пользователей к ИИ — 7,7 из 10 — высоким? Будет ли эта оценка меняться к лучшему в ближайшее время?
Оценка 7,7 из 10 показывает: платящие пользователи уже приняли ИИ как рабочий инструмент. Ему спокойно поручают то, что экономит время и остается под контролем человека: написать черновик письма, сократить документ, перевести текст, собрать фактуру, предложить идеи, сравнить варианты. Здесь пользователь покупает скорость. Ошибку можно увидеть до того, как она превратится в проблему, – поправить текст, перепроверить цифру, отказаться от неудачной рекомендации.
Но доверие заканчивается там, где ИИ получает право действовать сам. Написать письмо клиенту – одно, отправить его без проверки – другое. Отсортировать резюме – одно, автоматически отказать кандидату – другое. Провести платеж, согласовать договор, изменить данные в корпоративной системе, выдать доступ сотруднику – это уже не помощь, а ответственность за последствия. Поэтому по моему мнению, доверие к ИИ будет расти неравномерно: как инструменту для ускорения работы ему будут поручать все больше, а как самостоятельному исполнителю – только то, где ошибка не нанесет серьезного ущерба или ее можно остановить до того, как она станет необратимой.
2. Среди рисков использования ИИ респонденты чаще всего называли неверную информацию и утечку персональных данных. Какие еще риски вы можете назвать? Возможно ли в ближайшем будущем полное устранение этих рисков?
Помимо неверной информации и утечки данных, я бы выделил два риска, которые становятся особенно важными по мере внедрения ИИ в рабочие процессы компаний.
Первый – масштабирование ошибки через корпоративные процессы. Если нейросеть ошиблась в ответе сотруднику, он еще может заметить неточность и не использовать результат. Но когда ИИ встроен в рабочие системы, неверный вывод может оказаться в договоре, отчете для руководства, программном коде, расчете или решении, от которого зависят деньги и сроки. В этом случае одна ошибка перестает быть частной проблемой и начинает влиять на работу компании.
Второй риск – избыточные полномочия ИИ. Пока нейросеть анализирует данные или предлагает вариант решения, результат можно проверить. Риск резко возрастает, когда ИИ получает право действовать самостоятельно: согласовывать документы, менять данные в системе, выдавать доступы, блокировать операции или запускать платежи. Здесь ошибка уже не остается рекомендацией - она сразу приводит к последствиям для бизнеса.
Полностью убрать эти риски невозможно: ИИ может ошибаться, особенно в сложных и нестандартных задачах. Поэтому бизнесу нужно спрашивать не «как заставить ИИ никогда не ошибаться», а «что произойдет, если он ошибется». При внедрении важно ограничивать не только доступ модели к данным, но и ее право самостоятельно принимать решения. ИИ может проанализировать договор и отметить спорные условия, но не согласовывать документ; заметить необычную операцию, но не блокировать счет; предложить изменить права доступа, но не выдавать их автоматически. Там, где ошибка может привести к потере денег, нарушению обязательств, утечке данных или ущербу для репутации, решение должен принимать человек.
3. Кто, на ваш взгляд, должен нести ответственность за серьезные ошибки ИИ?
У ИИ не может быть ответственности – у него нет должности, бюджета, репутации и обязанности возмещать ущерб. Поэтому формулировка «ошибся алгоритм» не должна становиться удобным способом снять ответственность с людей и компаний, которые выбрали это решение и начали его использовать.
В каждом случае ответственность будет зависеть от причины ошибки. Если продукт работает не так, как заявлено, или в нем есть критическая уязвимость, это зона ответственности разработчика. Если проблему создала неверная настройка или некорректное внедрение, отвечать должен интегратор. Если компания сознательно использует ИИ в важных процессах без проверки и правил контроля, ответственность лежит на ней.
Главное – определить это до внедрения, а не после инцидента. Для каждой значимой задачи должно быть заранее понятно, кто проверяет результат ИИ, кто принимает окончательное решение, и кто отвечает, если оно привело к ущербу. Иначе после первой серьезной ошибки все участники будут объяснять, почему виновата технология, хотя решение довериться ей принимали люди.
Контактное лицо: ГИГАНТ
Компания: ГИГАНТ
Добавлен: 22:17, 14.07.2026
Количество просмотров: 358
Страна: Россия
| Nexign завершила адаптацию решения Nexign Interconnect для Ростелекома, Nexign, 16:45, 27.08.2026, Россия122 |  |
| Компания Nexign («Нэксайн») завершила доработку решения для автоматизации расчетов между операторами связи Nexign Interconnect под специфику «Ростелекома». Это позволит «Ростелекому» осуществить переход на новое, отечественное программное обеспечение, не зависящее от иностранных вендоров. |
|
|
