История развития цифровых двойников и комплексных моделей

Обработка геометрических данных: что это такое

Машинное зрение — это быстро развивающаяся и сверхширокая область компьютерных технологий, в которой участвуют сотни тысяч людей. Одни занимаются пониманием и извлечением контента из изображений, другие — системами видеонаблюдения и автопилота, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — обработка 3D-геометрии, то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка трехмерных геометрических данных — это междисциплинарная область на стыке математики, информатики и инженерии. Для создания цифрового 3D-двойника требуется много данных об объекте, например, широкий спектр фотографий или 3D-сканирований (мы используем технологию структурированного освещения, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Также можно использовать камеры глубины, такие как Kinect. Чем больше данных, тем лучше. Нейронная сеть или другой алгоритм может вычислить серию данных и создать цифровую версию объекта. Наша цель — сделать процесс настолько точным, чтобы мы могли воспроизвести копию, например, на 3D-принтере.

Работа специалистов в области поиска трехмерных геометрических данных связана с формой — и в этом плане она напоминает работу скульпторов. Все начинается с подготовки объекта к процессу сканирования и выбора оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само по себе получение трехмерной информации является необходимым, но зачастую самым простым шагом. Затем необходимо провести с этими данными определенные манипуляции: избавиться от топологических и геометрических ошибок, убрать шумы. Конечный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим объектом (например, созданным на 3D-принтере или станке для лазерной резки).

В последние годы компьютерное зрение и обработка геометрии, как и вся область вычислений, получили огромную пользу от внедрения моделей глубокого обучения и нейронных сетей, которые могут автоматически восстанавливать точную трехмерную форму объектов и эффективно описывать их содержимое из изображений, даже если исходные данные зашумлены.

Различия между BIM и цифровыми двойниками

1.Роль BIM в проектировании и строительстве зданий

BIM используется для совместной работы и визуализации, то есть проектирования и строительства, но не для обслуживания и эксплуатации самого объекта. Как мы указали выше, суть программы заключается не в создании живой модели существующего здания, а в помощи в проектировании и строительстве здания.

Визуализация процессов от проектирования до строительства — основное направление BIM-технологии, это необходимая функция для архитекторов, инженеров и подрядчиков на этапе строительства прототипа здания. В отличие от цифровых двойников, BIM используется здесь и сейчас, а не для длительного сбора данных и постепенных изменений прототипа.

2.BIM не подходит для работы в режиме реального времени

Цифровые двойники быстро стали полезным инструментом среди множества различных технологий в строительной отрасли, поскольку они предоставляют исчерпывающую информацию о застроенной среде в режиме реального времени. Виртуальная копия физического объекта информирует о текущем состоянии построенных экосистем, влиянии на них пользователей при выходе из строя системы HVAC или освещения и многих других параметрах. Это модель, которая со временем развивается и становится все более значимой с каждой новой фазой жизненного цикла актива. BIM — подходящая программа для ввода данных из любой виртуальной копии, но сама по себе она не сможет помочь бизнес-лидерам ответить на операционные вопросы, возникающие при оптимизации процессов.

Области применения

Цифровые близнецы нашли свое применение в самых разных областях. Одна из их важнейших функций — улучшение производственных процессов. Используя цифровых двойников, компании могут в цифровом виде воспроизводить свои умные фабрики, выявлять узкие места (в компонентах, системах, процессах и других активах), тестировать потенциальные решения, моделировать взаимодействия между компонентами и прогнозировать стохастические изменения, которые могут произойти во время выполнения операций. Такое моделирование экономит время, ресурсы и деньги, необходимые для проверки рабочих гипотез на практике.

Цифровые близнецы также нашли применение в промышленном дизайне и тестировании продуктов. Возьмем, к примеру, реактивный двигатель одного из самых популярных самолетов: несколько тысяч отдельных компонентов сначала собираются вместе, а затем подвергаются обширным испытаниям, чтобы убедиться, что двигатель в целом работает безопасно. Но теперь производителю не нужно собирать дорогой физический образец авиадвигателя, он может заменить его цифровым двойником, точной трехмерной копией. Именно она должным образом анализируется, оценивается и тестируется в соответствии с текущими требованиями. Кроме того, можно создать цифрового двойника для уже работающего двигателя для анализа состояния его компонентов и расчета профилактического обслуживания 1 .

Наиболее эффективно использование цифровых двойников для продуктов со следующими критериями:

• Поддержка продукции квалифицированным специалистом службы поддержки (контроль состояния, мониторинг, техническая поддержка)
• Длительный жизненный цикл продукта (5..70 лет)
• Большое количество экземпляров установленного оборудования
• Широкий диапазон и разнообразие условий эксплуатации
• Доступ к изделию для обслуживания затруднен

Это очень большой список критериев, по которым попадают продукты из различных секторов, например:

• энергетика (атомная, дизельная, турбомашина);
• авиационные двигатели и системы;
• сложное производственное оборудование (насосы, приводы и др.);
• железнодорожные и автомобильные транспортные системы;
• медицинское оборудование.

Цифровой двойник производства

Возможность

• Визуализация состояния оборудования на 3D-модели цеха в реальном времени
• Дополнительная информация и надписи на модели
• Возможность просмотра полной кинематики узлов

Для гида

• Инструмент оперативного контроля значимых производственных показателей
• Умение принимать своевременные и взвешенные управленческие решения

Для персонала

• Визуализация в мастерской как инструмент бережливого производства
• Сокращение времени отклика при оказании помощи и услугах по ремонту
• Поощряйте соревновательный дух
• Облегчение обслуживания нескольких машин одним оператором

Как концепция цифровых двойников может изменить цепочки поставок

Согласно опросу Gartner 2019 года, 13% организаций Интернета вещей (IoT) используют цифровых двойников, а 62% внедряют цифровых двойников.

В прошлом цепочки поставок строились на принципах, согласно которым фабрика производила товары и продавала их по цепочке поставок. Это создало разрыв между спросом и предложением и неизбежно привело к плохому управлению запасами, что привело к их дефициту и расточительству. В 2020 году появилась возможность создать цифровую версию цепочки поставок. Используя стратегически унифицированные ИТ-среды и технологии Индустрии 4.0, цифровая цепочка поставок перемещает активы, людей и ресурсы туда, где они необходимы. Благодаря перемещению данных между облачными серверами и базами данных сбор информации в цепочке поставок улучшает некоторые производственные практики.

Цифровые двойники позволяют моделировать всю цепочку поставок

Например, производители могут усилить свою цепочку поставок. Пользователи могут эффективно управлять стрессом и измерять реакцию, комбинируя параметры стресса с показаниями реакции. Цифровой двойник может помочь преобразовать стресс компании в количественную оценку реальных воздействий, таких как задержки поставщиков.

Цифровой двойник цепочки поставок

Так что же является цифровым двойником цепочки поставок? Это цифровое представление реальной цепочки поставок организации. Его модель использует прогнозную аналитику, которая собирает данные как из описательных, так и из прогнозных источников, чтобы найти лучший способ действий в любом сценарии, прежде чем применять его для принятия решений.

Используя предписывающие модели, которые работают с реальными данными, цифровой двойник цепочки поставок расширяет эту возможность, поскольку входные данные вводятся в модель в режиме реального времени. Например, когда заказ на продажу обрабатывается, заказ и связанные с ним транзакции автоматически передаются цифровому двойнику.

Однако, чтобы полностью отразить реальный мир, принимаются во внимание другие факторы, влияющие на цепочку поставок. Например, если производственное оборудование выходит из строя или поставки задерживаются, информация отправляется цифровому двойнику через устройства Интернета вещей, такие как датчики. После сопоставления данных цифровой двойник определяет правильное корректирующее действие и поддерживает оптимизацию цепочки поставок.

Предиктивное обслуживание

Производительность оборудования в цепочке поставок имеет решающее значение. Машины, которые регулярно выходят из строя, вредны, особенно когда простои нужно избегать любой ценой.

Для сервисного обслуживания вы можете использовать 3D моделирование необходимого оборудования. Объедините машинное обучение, чтобы создать цифрового двойника, который будет использоваться для мониторинга производительности оборудования перед запуском алгоритма в режиме реального времени. Данные, полученные из 3D-модели, в сочетании с искусственным интеллектом (AI) затем используются для обслуживания оборудования. Внедрение алгоритмов прогнозирования искусственного интеллекта позволяет руководителям бизнеса применять стратегии прогнозирования к своей цепочке поставок. Обнаруживая схемы отказов и аномалии, изучая эти закономерности и затем прогнозируя будущие отказы компонентов машин, производители могут заменять оборудование до того, как оно выйдет из строя.

Развертывание цифровизации

Однако для оптимизации производительности цифровой двойник должен отражать любые ограничения и компромиссы в своей физической цепочке поставок.

Моделирование и прогнозная аналитика являются ключевыми компонентами цифрового двойника цепочки поставок и должны включать языки программирования, которые решают эти проблемы, такие как языки программирования пятого поколения (5GL). Это важное программное обеспечение позволяет операторам получать подробную информацию о цепочке поставок, ее структуре и формулах для оптимизации процесса принятия решений.

Например, американская компания Fleetpride, занимающаяся продажей запчастей и услуг для тяжелых грузовиков и прицепов, создала модель, которая использует исторические данные о доставке для прогнозирования складских заказов на доставку по дням, неделям и месяцам. Применяя оптимизацию решений к вашей модели, вы можете определить корректирующие действия при работе с клиентами, персоналом и даже при вводе запасов в любой конкретный день. Действительно, компания использует прогнозную аналитику для преобразования прогнозных данных и решений в основанные на фактах планы действий. Они больше не полагаются на интуицию и используют расширенную аналитику, статистические модели и процессы принятия решений для решения проблем бизнес-планирования, составления графиков, ценообразования и инвентаризации, и другие компании имеют возможность делать то же самое.

Интернет вещей

Идея цифрового двойника не нова, но концепция интеграции данных и ввода из реального мира отличается. Устройства, подключенные к IoT, являются строительными блоками цифрового двойника, и для обеспечения доступа к данным необходима интеграция датчиков.

Однако проектирование и интеграция этих датчиков могут потребовать ресурсов и времени, а также может оказаться затруднительным перенос данных со старых машин, которые не являются технологически совместимыми.

Цифровая модель линии розлива и упаковки пакетов молока

Клиент: «Лактис”

Партнер-разработчик: Smart Ideas

Цифровая модель снижает затраты на обучение персонала на треть, а также снижает количество несчастных случаев из-за ошибок сотрудников и затрат из-за простоев оборудования.

У нас очень дорогие шведские и польские установки, которые обслуживаются иностранными специалистами, что часто неудобно. Эта цифровая модель и специальный шлем позволяют профессионалам собирать в среде VR. Таким образом, благодаря технологиям появляется возможность обучать персонал удаленно.

Константин Маковеев Главный инженер, Lactis

Цифровая модель линии работы творожного цеха

Клиент: «Мситинское молоко”

Партнер-разработчик: Smart Ideas

Проект позволяет тратить меньше ресурсов на обучение персонала и обслуживание оборудования. Цифровое моделирование используется для обучения сотрудников и внедрения системы бережливого производства.

VR- тренажер для обучения персонала на производстве меда

Клиент: «Медовый дом”

Партнер по развитию: VR Concept

Обслуживание линии розлива меда требует дополнительного обучения и организации стажировки на производстве. Тренажер VR позволяет обучать персонал в режиме реального времени, тем самым повышая экономичность производственного процесса.

Сценарий лабораторной работы по химии

Заказчик: НовГУ им. Ярослав Мудрый

Партнер-разработчик: STEM Games

На базе платформы VR Chemistry Lab создан скрипт лабораторной работы «Получение солей», который включен как в школьную, так и в университетскую программу обучения. Проект актуален в среде онлайн-обучения, когда у школьников или школьников нет возможности проводить эксперименты и эксперименты на уроках. Студенты могут работать с опасными веществами, не подвергая опасности свое здоровье.

AR-конструктор для производства

Заказчик: «Крестцкая точка”

Партнер-разработчик: XReady Lab

Создание дизайн-приложения в среде AR, которое позволяет загружать цифровые модели продуктов и размещать их на объектах и ​​поверхностях для отображения объектов внутри. Цель — увеличить продажи через интернет-магазин компании, создать приложение, которое может масштабироваться и работать с другими отраслями.

Возможность использования технологии AR, дополненной реальности, удобного дизайнерского приложения, которое разработала команда, чтобы видеть продукты внутри через экран смартфона или планшета, несомненно, станет для нас конкурентным преимуществом и позволит увеличить продажи и ускорить выпуск продукции продвижение.

Елена Семенова Директор по персоналу, «Медовый дом»

Как выглядит процесс создания цифрового двойника

Двойники могут быть созданы несколькими способами:

• 3D графическая модель;
• модель, основанная на Интернете вещей;
• интегрированные математические модели — такие как системы автоматизированного проектирования (автоматизированное проектирование, решения для инженерного анализа, расчеты и моделирование) для инженерных расчетов;
• различные технологии отображения, включая голограммы, AR и VR.

Шаги по созданию дубля следующие.

Исследование объекта

Этот этап предшествует разработке только в том случае, если у цифрового двойника есть настоящий прототип, такой как функционирующий бизнес или система связи. Затем разработчики составляют подробную карту прототипа, воспроизводят все процессы и характеристики. При этом важно изучить объект в разных условиях.

Моделирование цифровой копии объекта

Этот этап может быть первым, если реального прототипа еще не существует и предшествует созданию цифрового двойника. Например, в строительстве или дизайне, когда цифровая 3D-модель создается первой и только после оригинала здания или другого объекта.

Для построения сложной модели используются математические методы расчета и анализа:

• Анализ методом конечных элементов (FEA), который рассчитывает рабочую нагрузку. Он используется, например, для расчета механики деформируемого твердого тела, теплопередачи, гидродинамики и электродинамики.
• Модели анализа видов и последствий отказов (FMEA) необходимы для анализа надежности системы и определения наиболее важных этапов производственных процессов.
• Модели автоматизированного проектирования / черчения (САПР) используются для расчета внешних характеристик и структуры объектов, материалов и процессов.

Воплощение модели

Затем рассчитанная ранее архитектура цифрового двойника переносится на специальные платформы, такие как Siemens или Dassault Systemes. Они объединяют математические модели, данные и интерфейс для управления цифровым двойником, превращая его в динамическую систему. Этот этап можно сравнить с преобразованием программного кода в программу или приложение с визуальным интерфейсом, понятным любому пользователю.

Тестирование основных процессов работы на цифровом двойнике

Основная цель этого этапа — предсказать, как объект или система будет вести себя в нормальном режиме и в аварийных ситуациях, чтобы избежать сбоев и перегрузок после запуска. Для этого к процессу привлекаются технические аналитики, которые во время тестов собирают большой объем данных для расчета алгоритмов для любых условий и ситуаций.

Запуск и наладка

Если предыдущий шаг был выполнен правильно, в процессе эксплуатации реального прототипа можно избежать до 90% сбоев и отказов. Однако некоторые ситуации все еще невозможно предсказать, и поэтому они отслеживаются уже на этапе запуска и настройки цифрового двойника.

Корректировка и развитие оригинального объекта или системы

Более того, инженеры продолжают работать с цифровым двойником как с реальным физическим объектом, пока все системы и процессы не будут отлажены. В результате этой работы в исходный объект вносятся изменения с целью достижения его максимальной эффективности.

Зачем нужны цифровые двойники

При проектировании и строительстве здания создается значительный объем информации об объекте: схемы, чертежи, BIM-модель, документы, заметки и т.д. Однако сохранение и поиск этой информации после строительства часто бывает трудоемким и требует много времени.

Представьте, сколько времени требуется оператору здания, чтобы просмотреть документацию и выяснить, как были построены определенные участки. Это необходимо для выявления основной проблемы в инфраструктуре здания. Между тем, в здании или в его жителях по-прежнему возникают нарушения, поскольку проблема или неисправность не устранены.

Хотя оператор знает, что оборудование необходимо заменить, а интерьер необходимо изменить, часто становится невозможным найти данные, необходимые для принятия дорогостоящих решений. С помощью цифрового двойника этот процесс можно упростить, сократив финансовые и временные затраты.

Цифровой двойник здания — это не просто база данных или схема, а динамическая, выразительная система записи в реальном времени.

Поскольку все больше и больше разработчиков создают «цифровых двойников», это приводит к снижению затрат на рабочую силу, связанных с управлением и эксплуатацией объектов (управление объектами). При необходимости ремонта системы кондиционирования с помощью цифрового двойника техник может не только найти место неисправности на смартфоне или планшете, но и лучше решить проблему, используя данные, полученные в двойнике. Если посещение объекта обходится дорого, цифровой двойник обеспечивает удаленный доступ и большую прозрачность, чем фактическое посещение объекта. Владельцы зданий имеют возможность отправлять цифровых двойников подрядчикам, которые затем могут создавать свои собственные модели на основе этих данных.

Когда капитальные работы или улучшение портфеля реализованы, цифровые двойники позволяют делать точные прогнозы, моделируя воздействие на одно или несколько зданий и принимая решения на основе данных. Это, в свою очередь, может значительно повысить рентабельность инвестиций.

Например, простая реализация датчиков на одном сайте или полностью оптимизированная среда для одного сайта затем может быть смоделирована и воспроизведена на других сайтах в портфеле. Таким образом, владельцы и операторы могут облегчить оценку затрат на внедрение и логистику.

В розничной торговле, гостиничном бизнесе и промышленности, где воспроизведение одного и того же клиентского опыта во всех регионах часто имеет решающее значение для бизнеса, цифровые двойники предоставляют живую модель того, как и где развертывать устройства и датчики Интернета вещей. Представьте себе количество устройств, камер и датчиков Интернета вещей, используемых на одном промышленном предприятии или в большом розничном магазине. Наличие цифрового двойника может значительно снизить затраты на рабочую силу за счет воспроизведения одной и той же среды при сохранении удобства использования на всех сайтах.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

трудно представить себе область, где компьютерное зрение и обработка геометрических данных не были бы полезны. Фактически, обработка геометрии может применяться везде, где есть необходимость в создании физических или виртуальных копий.

Одно из наиболее интересных и важных приложений глубокого обучения 3D связано с медициной: оно включает в себя как ускоренные измерения, в основном трудоемкую томографию, так и анализ результатов, например, для обнаружения опухолей или других заболеваний мозга.

Например, мои коллеги по лаборатории Максим Шараев и Александр Бернштейн анализируют данные МРТ. Суть их работы — создать для врачей полезный инструмент, который снижает затраты радиолога на поиск симптомов инсульта или эпилепсии. Основная проблема в области медицинских данных исторически ограничивалась ограниченным объемом таких данных, но теперь уже можно обучить нейронную сеть на тысячах срезов МРТ, отмеченных врачами, и попытаться обнаружить, например, патогенные изменения в строении коры головного мозга при эпилепсии.

Кроме того, для нейрохирургии важно, чтобы такая система потенциально позволяла локализовать пораженный участок до операции на головном мозге, который затем можно было бы удалить, не затрагивая ничего лишнего.

Таким образом, нейронные сети могут действовать как своего рода аналог второго мнения при диагностике заболеваний, оценивая, насколько высока вероятность патологии в данном месте. Кстати, во время пандемии COVID-19 выяснилось, что нейронные сети могут довольно точно распознавать пневмонию по рентгеновским снимкам.

Помимо юридических вопросов, одним из наиболее сложных вопросов для расширения медицинских приложений является количество и качество данных обучения. Первоначальные изображения, получение которых является долгим и дорогостоящим, могут быть геометрически несовместимыми или слишком искаженными: где-то в томографе пациент двигался, он глубоко дышал, следовательно, некоторые изображения могут ухудшиться.

Еще одно очевидное медицинское применение технологии — протезирование, создание трехмерных моделей зубов или костей. Например, можно сделать коронки из биоматериала, точно соответствующие форме зуба. Ученые из Калифорнийского университета в Беркли при участии российско-американского математика Алексея Эфроса разработали систему, способную генерировать 3D-модели медицинских устройств, таких как зубные коронки, для использования в стоматологии. Он основан на противодействующей генеративной сети (GAN), популярной сейчас исследовательской теме. Много этим занимаются наши коллеги из Яндекса, недавно, скажем, опубликовали статью, в которой описали метод автоматической сегментации изображений. Их модель может обучаться независимо, без вмешательства человека, выбирать объекты переднего плана, затемнять пиксели фона и выделять сам объект.

Конечно, вы можете моделировать не только протезирование, но и детали. Поэтому обработка геометрии используется в промышленности: для моделирования, обратного проектирования, оптимизации и изготовления деталей. Например, в Сколтехе мы печатаем на 3D-принтере различные крепления и кронштейны для экспериментальных установок, а недавно провели обширное исследование по обратному проектированию CAD-моделей деталей, напечатанных из пластика и отсканированных с помощью 3D-камеры.

Вы можете пойти еще дальше и реконструировать целые сцены, как это делает наш коллега из Мюнхенского технического университета Матиас Нисснер. В то время как 3D-художники вручную создают анимированные и структурированные модели зданий и интерьеров, специалисты по компьютерному зрению заинтересованы в возможности автоматического восстановления моделей аналогичного качества для реальных мест. Только представьте, какие возможности открываются для виртуальной реальности, кино, компьютерных игр и симуляторов! Однако пока существует разрыв между этими полюсами: трехмерные модели, которые можно получить из изображений, обычно слишком грубые, недостаточно масштабированы или их нужно «дорабатывать» вручную. Но качество таких реконструкций постоянно растет, и разрыв постепенно сокращается.

сохранять и восстанавливать культурное наследие можно с помощью оцифровки фотографий и лазерного сканирования: такие проекты реализуют, например, Стэнфордский университет и французская компания Iconem. Пожалуй, самые известные проекты в этой области — это цифровая копия «Давида» Микеланджело и 3D-скан сирийской Пальмиры. Им удалось выстрелить до того, как боевики взорвали памятник. На основе этих сканирований, охватывающих несколько квадратных километров, нейронная сеть создала виртуальную копию объекта. Подобные проекты были и в Европе, где оцифровывались памятники эпохи Возрождения, а в Армении сканировались православные церкви XI века. У нас тоже есть небольшой проект в этой области. Мы планируем создать трехмерную модель некоторых залов Исторического музея.

Однако обработка геометрических данных важна не только в медицине или музейной сфере: иногда результаты ее применения можно найти буквально на улице. Например, беспилотные автомобили используют лидары для обнаружения препятствий и определения своего местоположения на карте — по сути, они накапливают геометрическую информацию для трехмерных карт. Исследователи из Сколтеха и Яндекса написали научную статью, в которой предложили метод определения положения объекта в трехмерном пространстве по фотографии, сделанной на камеру, — еще один пример того, как геометрические конструкции можно использовать в транспортных средствах без экипажа.

Разнообразие приложений для обработки цифровой геометрии показывает, насколько поразительна эффективность математики. Относительно ограниченный математический аппарат можно использовать почти бесконечно, потому что одни и те же алгоритмы в целом отвечают за производство шестерен и восстановление Собора Парижской Богоматери.