Алгоритмы и технологии искусственного интеллекта для решения задачи непрерывного улучшения и оптимизации производственного процесса для компаний реального сектора экономики

Решаемые научно-технические задачи, полученные и ожидаемые результаты

В 2020 году

Аналитический обзор методов анализа больших объемов данных в сложных технических системах.

1. Важнейшие результаты по направлению научных исследований, полученные в период реализации соглашения в отчётном году с момента заключения соглашения.

Искусственный интеллект — комплекс технологических и программных решений, приводящих к результату, аналогичному результату интеллектуальной деятельности человека (в том числе способности к самообучению), и используемых для решения прикладных задач с помощью систем компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, рекомендательных систем и интеллектуальных систем поддержки принятия решений, а также систем, основанных на перспективных методах.

Настоящее исследование направлено на разработку и внедрение алгоритмов и технологий компьютерного зрения, рекомендательных систем и интеллектуальных систем поддержки принятия решений, а также систем, основанных на перспективных методах в экономической сфере, в том числе: в промышленности, сельском хозяйстве, транспорте и логистике.

Целью настоящего этапа исследований и разработок является создание алгоритмов и технологий обработки больших объемов данных для интеллектуального анализа событий в сложных технических системах, в том числе системах компьютерного зрения и распознавания, системах мониторинга и обеспечения транспортной и производственной безопасности, системах позиционирования для объектов промышленного назначения.

За отчетный период проведен аналитический обзор методов анализа больших объемов данных в сложных технических системах, выполнена разработка алгоритмов и программных средств реконструкции трехмерной сцены дорожной обстановки для обеспечения безопасности на объектах транспортной инфраструктуры для разрабатываемой научно-образовательной платформы передовых производственных технологий.

Проведенное исследование методов обработки больших массивов данных позволило сделать вывод о предпочтительном комплексном использовании прогнозирующих методов, в том числе нейронных сетей и деревьев решений, совместно с методами регрессионного анализа для создания программных инструментальных средств «непрерывного интеллекта», обеспечивающих высокую точность, масштабирование и обработку потоков данных в режиме реального времени.

Применительно к системам интеллектуального анализа рисков и прогнозирования неблагоприятных событий в сложных технических системах, в том числе системах компьютерного зрения и распознавания, проведен анализ существующих методов и подходов, применяемых в системах видеомониторинга и обеспечения транспортной и производственной безопасности, разработаны математические модели имитационного моделирования дорожных ситуаций, обеспечивающие возможность настройки режимов эксплуатации, освещения, погодных условий, дорожной обстановки, объектов транспортной инфраструктуры, в том числе для ситуаций, представляющих техногенную опасность.

В рамках первого этапа реализации проекта по созданию облачной платформы для применения алгоритмов и технологий искусственного интеллекта для оптимизации производственных процессов выполнена разработка структуры программно-аппаратного комплекса имитационного моделирования дорожных ситуаций, алгоритмов и базовых сценариев функционирования программных средств стенда для тестирования программных модулей видеоаналитики в составе комплекса имитационного моделирования дорожных ситуаций.

Разработанные подходы могут быть использованы также в системах компьютерного зрения и распознавания объектов в системах мониторинга производственных процессов предприятий различных отраслей народного хозяйства для детектирования и распознавания классов объектов, мониторинга состояния объектов, отслеживания траектории движения и прогнозирования перемещения объектов.

Совместно с российскими и зарубежными научными и индустриальными партнерами в рамках софинансирования исследований выполнены:

1) разработка концептуальной целевой архитектуры и функциональных сценариев использования элементов цифровой научно-образовательной платформы передовых производственных технологий, в том числе архитектуры аппаратно-программной платформы контроля дорожного движения, новых протоколов передачи данных в системах позиционирования объектов промышленного назначения, архитектуры программных модулей платформы для обучения студентов и школьников в дистанционном формате;

2) подготовка инфраструктуры и проведение контрольных испытаний студентов в дистанционном формате с использованием элементов цифровой научно-образовательной платформы передовых производственных технологий в области систем искусственного интеллекта и киберфизических систем.

2. Сопоставление полученных результатов по направлению научных исследований с мировым уровнем

Научные разработки в рамках настоящего проекта являются частью общей мировой тенденции аналитики больших данных, создания алгоритмов и технологий искусственного интеллекта для решения задачи непрерывного улучшения и оптимизации производственного процесса компаний реального сектора экономики, обеспечивающих реализацию не отдельных функциональных возможностей анализа больших и разнообразных наборов данных, включая структурированные, частично структурированные и неструктурированные данные из различных источников, а комплексное решение [1].

Существует множество разнообразных методик анализа массивов данных [2-7], отличающихся по точности, масштабируемости, интерпретируемости, проверяемости, трудоемкости, гибкости и быстродействию.

Одним из основных преимуществ предложенных подходов является возможность унификации модулей аналитики больших данных на примере видеоаналитики и разработка алгоритмов автоматической трехмерной реконструкции сцены на базе метаданных, представляющих собой структуры данных, которые описывают содержание как отдельного кадра видеопоследовательности, так и интегральных кадров, полученных с одной или нескольких камер в режиме реального времени с обеспечением высокоточной синхронизации.

На настоящий момент все системы сложной видеоаналитики имеют модульную архитектуру, однако каждый модуль предназначен для решения конкретной задачи [8-13]. Для получения достоверных метаданных о наблюдаемых объектах требуется знать параметры пространственного положения комплекса фотовидеофиксации [14 - 17].

Актуальным является решение задачи разработки алгоритма автоматической калибровки видеокамеры путем определения параметров пространственного положения комплекса фотовидеофиксации (угла поворота (рыскания), угла наклона (тангажа), угла крена, горизонтального и вертикального угла обзора видеокамеры) относительно контролируемой области на основе изображений, полученных с его видеокамеры [18 - 21].

В настоящее время известны различные методы калибровки:

1. Фотограмметрическая калибровка. Фотограмметрическая калибровка производится по снимкам пространственного калибровочного объекта, представляющего собой поле маркированных точек, расположенных на двух или трех ортогональных плоскостях. Геометрия объекта и взаимное расположение точек считаются известными. Такой подход считается очень точным, однако нуждается в сложных калибровочных аппаратах и их точной установке [22 - 24];

2. Калибровка по плоскому калибровочному объекту. Такие методы позволяют оценить только внутренние параметры камеры. Метод, предложенный в [25], использует плоский калибровочный шаблон, который представляет собой массив черно-белых квадратов в виде шахматной доски. Алгоритм использует выделение точек в углах квадратов шаблона для вычисления проективных преобразований между точками на различных изображениях;

3. Калибровка по набору ключевых точек PnP (Perspective-n-Point). Методы позволяют определить внешние параметры камеры на основе n соответствий между точками изображения и точками наблюдаемого объекта при условии известного взаимного расположения точек объекта. Чаще всего используются алгоритмы PnP для четырех, пяти и шести точек. Классические методы PnP предполагают, что внутренние параметры камеры являются известными [26]. Некоторые методы, такие как UPnP (Uncalibrated Perspective-n-Point) [27], P4Pf [28], позволяют также оценивать и фокусное расстояние;

4. Методы самокалибровки. Такие методы не используют специальный калибровочный объект, а используют движение камеры в статической сцене и требуют, чтобы внутренние параметры камеры были постоянными в процессе калибровки [29]. При использовании самокалибровки могут возникать проблемы в случае малого количества элементов внешнего ориентирования или недостаточной траектории движения камеры для восстановления параметров [30]. Более того, такие методы позволяют определить только фокусное расстояние, тогда как другие внутренние параметры игнорируются, либо считаются известными;

5. Калибровка по точкам схода [31]. Прямые линии, параллельные в трехмерном пространстве, перестают быть параллельными при их проектировании на плоскость изображения и пересекаются в одной точке. Такие линии называются линиями схода, а точка их пересечения - точкой схода. Знание точек схода может дать нам ценную информацию о положении и ориентации камеры относительно наблюдаемого объекта, а также оценить некоторые внутренние параметры камеры. Главным условием решения задачи калибровки по точкам схода является наличие в наблюдаемой сцене объектов, в геометрии которых содержатся ортогональные группы параллельных линий. Например, к таким объектам могут относиться различные архитектурные строения, фасады зданий, тротуары и т. д. [32 - 34].

В предлагаемом подходе к реконструкции трехмерной сцены используется математическая модель камеры, называемая проективной камерой. Модель камеры содержит внешние параметры, представляющие собой положение камеры в пространстве (матрица поворота и вектор переноса), а также внутренние параметры (фокусное расстояние, размеры пикселя матрицы камеры, положение оптического центра матрицы).

Комплексы фотовидеофиксации устанавливаются сверху или сбоку от контролируемого участка дороги и не меняют своего положения. Поскольку положение камеры не изменяется, метод самокалибровки по смещению камеры не может быть использован для решения поставленной задачи. При использовании комплексов фотовидеофиксации, камера которых оснащена объективом с переменным фокусным расстоянием, подходы, основанные на измерении параметров камеры при помощи калибровочных шаблонов не пригодны, так как требуют вмешательства человека каждый раз при изменении величины фокусного расстояния.

Для решения поставленной задачи наиболее перспективными являются методы калибровки по точкам схода и алгоритмы PnP. Главным условием решения задачи с помощью PnP алгоритмов является наличие в наблюдаемой сцене объектов, чья геометрия известна. В качестве таких объектов можно рассматривать полосы пешеходного перехода, размеры которых соответствуют установленному стандарту. Зная ширину и длину полосы и определив на изображении координаты ее углов, возможно решить поставленную задачу с помощью алгоритма P4Pf [35]. Однако следует учитывать, что для автомобильных дорог на территории Российской Федерации по стандарту ГОСТ Р 52399-2005 "Геометрические элементы автомобильных дорог" только ширина полосы является постоянной, в то время как длина может варьироваться в диапазоне от четырех до шести метров. Также следует учитывать естественный износ разметки, в результате которого нарушается геометрия полосы, и точное определение координат ее углов становится затруднительным. Более того, если на контролируемом участке дороги отсутствует разметка, то производить калибровку невозможно. Единственным объектом с известной геометрией, который постоянно присутствует в наблюдаемой сцене, является пластина государственного регистрационного знака транспортного средства. Однако размеры номерной пластины на изображениях с камеры комплекса фотовидеофиксации, как правило, малы, что очень сильно затрудняет точное определение координат углов пластины.

Для решения поставленной задачи методом калибровки по точкам схода необходимо определить как минимум две точки схода в наблюдаемой сцене. Одна из них может быть образована в результате пересечения параллельных прямых, совпадающих с направлением движения транспортных средств. Существуют различные подходы к решению задачи определения траектории движущихся объектов на изображении. Для определения второй точки схода необходимо выделить на изображении параллельные прямые, перпендикулярные направлению движения транспортного средства. Такие прямые находятся в геометрии транспортных средств и обычно выделяются с помощью контурного анализа. Таким образом, метод калибровки камеры по точкам схода имеет наименьшую зависимость от внешних факторов, а также позволяет вычислить все необходимые параметры камеры для решения поставленной задачи.

Определение линий схода, направленных вдоль движения транспортных средств, основано на поиске и сопровождении номерных пластин. Для поиска номерных пластин на изображении предлагается использовать метод Виолы-Джонса [36-39], а также метод, основанный на контурном анализе изображения с учетом геометрических форм пластины. Сопровождение и построение треков может быть выполнено с использованием фильтра Калмана и Венгерского алгоритма. В полученные прямолинейные треки с помощью алгоритма RANSAC [40] вписываются линии схода. Прямые, направленные перпендикулярно движению, содержатся в геометрии транспортных средств и определяются на основе анализа их границ методом Кэнни [41] и выделения отрезков с помощью преобразования Хафа [42]. Для каждой группы линий вычисляется их точка схода с помощью алгоритма К. Розера [43]. На основе полученных координат точек схода вычисляются необходимые параметры камеры.

Таким образом, предложенный подход позволит обеспечить автоматическую калибровку камеры, минимизировав влияние дорожной ситуации.  Для выполнения тестирования метода калибровки предложено разработать стенд для имитации дорожных ситуаций, обеспечивающий интерактивное отображение трехмерных сцен с использованием различных сценариев:

1) Тестирования алгоритмов реконструкции положений комплексов фотовидеофиксации путем симуляции углов поворота, наклона и крена, фокусного расстояния камеры при известной высоте расположения относительно плоскости контролируемой области;

2) Симуляции движения транспортных средств и пешеходов с учетом набора параметров, таких как: скорость в данной маршрутной точке, углы поворота в данной маршрутной точке, позиция объекта в пространстве в данной маршрутной точке;

3) Ситуационного управления дорожной ситуацией при нарушении скоростного режима, разворота в неположенном месте, непредоставления преимущества пешеходам на пешеходном переходе, езды по встречной полосе и задним ходом.

Новизна предлагаемого подхода заключается в разработке математических моделей, алгоритмов, программных средств для аппаратно-программного комплекса имитационного моделирования дорожных ситуаций для обеспечения транспортной безопасности с использованием стационарных и мобильных комплексов фотовидеофиксации с учетом локальных требований, установленных как в Российской Федерации, так и в других странах.

Список использованных источников.

1. Аналитика больших данных [Электронный ресурс]. URL: https://www.ibm.com/ru-ru/analytics/hadoop/big-data-analytics (дата обращения: 18.12.2020).

2. Берченко Д.А. Аналитический обзор методов визуализации данных / Берченко Д.А. // «Евразийский Научный Журнал». - №5. – 2017. – C. 193 - 195.

3. Бритков В.Б. Методы анализа больших объемов слабоструктурированной информации / Бритков В.Б., Булычев А.В // Информационные технологии и вычислительные системы. – 2010. - №1. – C. 36 - 44.

4. Качалов Д.Л. Современные методы обработки больших данных в крупномасштабных системах / Качалов Д.Л., Мишустин А.В., Фархадов М.П. // Институт проблем управления РАН имени В.А. Трапезникова. -  11-я Всероссийская научно-практическая конференция "Математические модели современных экономических процессов, методы анализа и синтеза экономических механизмов. Актуальные проблемы и перспективы менеджмента организаций в России". – Самара. – 2017. – С.65 – 70.

5. Компоненты решения Big Data [Электронный ресурс]. URL: https://www.polymedia.ru/bi/big-data.php (дата обращения: 19.12.2020).

6. Стратегическое руководство по цифровой трансформации в промышленном производстве [Электронный ресурс]. URL:https://www.wonderware.ru (дата обращения: 20.12.2020).

7. Тыренко А. Обзор: Аналитика 3.0 – 2019 [Электронный ресурс]. URL: https://www.cnews.ru/reviews/analitika_30_2019/articles/analitika_i_bi_v_2020m_tendentsiikotorye (дата обращения: 19.12.2020).

8. Алпатов Ю.Б. Система анализа транспортных потоков // Новые информационные технологии в научных исследованиях и в образовании: материалы 19-й Всероссийской научно-технической конференции НИТ-2014. - Рязань: РГРТУ. -  2014. - С. 210 - 211.

9. Бондаренко А.В., Докучаев И.В. и др. Пространственно-временная фильтрация движущихся изображений // Техническое зрение. - 2014. Вып. 1(5). - С. 32 - 38.

10. Бондаренко М. А., Дрынкин В. Н. Оценка информативности комбинированных изображений в мультиспектральных системах технического зрения // Программные системы и вычислительные методы. - 2016. - № 1. - С. 64–79. - DOI: 10.7256/2305-6061.2016.1.18047.

11. Кудинов И. А. и др. Алгоритм формирования панорамного изображения от нескольких камер с перекрывающимися полями зрения и его программная реализация: тез. // 7-я научно-техническая конф. «Техническое зрение в системах управления-2016» (ТЗСУ-2016): сб. тез. Москва, ИКИ РАН, 15–17 марта 2016. М.: ИКИ РАН. - 2016. - С. 56.

12. Кузнецов, П. К., Мартемьянов Б. В., Ращупкин А.В. Техническое зрение подвижных объектов. Методика совмещения изображений, полученных при наблюдении с подвижного основания // Вестн. компьютерных и информационных технологий. - 2014. - № 3. -  С. 10–17.

13.    Носков А.А., Аминова Е.А., Приоров А.Л. Анализ метрик оценки сфокусированности для задачи формирования полностью сфокусированных изображений // Успехи современной радиоэлектроники. - 2016. - № 6. - С. 22–29.

14.    Kiy K. I. Segmentation and detection of contrast objects and their application in robot navigation // Pattern Recognition and Image Analysis. - 2015. - No. 2. - P. 338–346.

15.    Kniaz V. V. Real-time optical flow estimation on a GPU for a skied-steered mobile robot // Proc. SPIE 9897, Real-Time Image and Video Processing. - 2016. - DOI:10.1117/12.2227556.

16.    Hussain M., Chen D., Cheng A., Wei H., Stanley D. Change detection from remotely sensed images: From pixel-based to object-based approaches // ISPRS J. Photogrammetry and Remote Sensing. - 2013.  - V. 80.  - P. 91–106.

17.    Lukas J., Fridrich J., Goljan M. Digital camera identification from sensor pattern noise // IEEE Trans. Information Forensics and Security. - 2006. - V. 1(2). - P. 205–214.

18.    Smolin V. Some Ideas of Informational Deep Neural Networks Structural Organization // Advances in Neural Networks: Proc. Springer. - 2016. - P. 572–582.

19.    Vizilter Yu., Gorbatsevich V.S., Rubis A., Zheltov S. Shape-Based Image Matching Using Heat Kernels and Diffusion Maps // Intern. Arch. Photogrammetry and Remote Sensing. Spatial Inf. Sci. - 2014. - V. XL-3. - P. 357–364.

20.    Vizilter Y.V., Rubis A.Y., Zheltov S.Y., Vygolov O.V. Change detection via morphological comparative filters // ISPRS Ann. Photogrammetry, Remote Sensing and Spatial Information Sci. 2016. 23rd ISPRS Congress, 12–19 July, Prague, Czech Repablic. - 2016. - V. III-3. - P. 279–286. - DOI:10.5194/isprs-annals-III-3-279-2016.

21.    Volkov V. Segmentation and Extraction of Extensive Objects on Digital Images // Proc. 2009 Intern. Conf. Image Processing, Computer Vision and Pattern Recognition, IPCV2009. Las Vegas, Nevada, USA: CSREA Press. - 2009.  - V. 2. - P. 656–662.

22.    Knyaz V. A. Scalable Photogrammetric Motion Capture System ‘Mosca’ // ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2015. - V. XL-5/W6. - P. 43–49.

23.    Tang, R., Fritsch, D. Correlation analyses of camera self-calibration in close range photogrammetry. Photogrammetric Record. - 2013. – № 28 (141). P. 86-95.

24.    Stamatopoulos, C., Fraser, C. Calibration of long focal length cameras in close range photogrammetry. Photogrammetric Record. 2011. – № 26 (135). P. 339-360.

25.    Zhang Z. A Flexible New Technique for Camera Calibration / Zhang Zhengyou // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - December. - Т. 22. - P. 1330–1334 [Электронный ресурс]. URL: https://www.microsoft.com/en-us/research/publication/a-flexible-new-technique-for-camera-calibration/ (дата обращения: 20.12.2020).

26.    Lepetit, V., Moreno-Noguer, F., & Fua, P. (2009). An accurate O (n) solution to the PnP problem. IJCV. №81 (2).  - P. 155-166.

27.    Kneip L. UPnP: An Optimal O(n) Solution to the Absolute Pose Problem with Universal Applicability / Kneip L., Hongdong L., Yongduek S. // Computer Vision – ECCV 2014. - Cham: Springer International Publishing. - 2014. - P.127–142. - DOI:10.1007/978-3-319-10590-1_9.

28.    Josephson K. Pose estimation with radial distortion and unknown focal length / Josephson K., Byrod M. // 2009 IEEE Conference on Computer Vision and Pattern Recognition. – June, 2009. - P. 2419–2426. – DOI: 10.1109/CVPR.2009.5206756.

29.    Sturm P. Critical Motion Sequences for the Self-Calibration of Cameras and Stereo Systems with Variable Focal Length / P.Sturm // The 10th British Machine Vision Conference (BMVC ’99) - Nottingham, United Kingdom: The British Machine Vision Association (BMVA), 1999 [Электронный ресурс]. URL: https://hal.inria.fr/inria-00525676 (дата обращения: 20.12.2020).

30.    Chandraker, M., Agarwal, S., Kriegman, D., Belongie, S. Globally optimal algorithms for stratified autocalibration. IJCV. – 2010. - № 90 (2010). – P. 236- 254.

31.    Orghidan R.  Camera calibration using two or three vanishing points / R. Orghidan, J. Salvi, M. Gordan, B. Orza // 2012 Federated Conference on Computer Science and Information Systems (FedCSIS). - 2012. - Sept. - P.123-130.

32.    Kong H., Audibert J.-Y., Ponce J. Vanishing point detection for road detection// Proc. IEEE Conf. Comput. Vis. Pattern Recog. – 2009. - P. 96–103.

33.    Moghadam P., Starzyk J. A., Wijesoma W. S. Fast vanishingpoint detection in unstructured environments// IEEE Trans. on Image Processing. – 2012. - V. 21. - № 1. - P. 425–430.

34.    Zhai M., Workman S., Jacobs N. Detecting vanishing points using global image context in a non-manhattan world// Proc. IEEE Conf. Comput. Vis. Pattern Recog. – 2016. - P. 5657–5665.

35.    Josephson K. Pose estimation with radial distortion and unknown focal length / Josephson K., Byrod M. // 2009 IEEE Conference on Computer Vision and Pattern Recognition. - 2009. - June. - P.2419–2426. - DOI: 10.1109/CVPRW.2009.5206756.

36.    Wang Y. An Analysis of the Viola-Jones Face Detection Algorithm / Wang Y.// Image Processing On Line, 2014. — 06. — V. 4. — P. 128—148. - DOI: 10.5201/ipol.2014.104.

37.    Khan, F.A.: M. Ur Rehman, A. Khalid, M. Ali, M. Imran, M. Nawaz, et al. An intelligent data service framework for heterogeneous data sources// Journal of Grid Computing. – 2019. - №17. - P. 577–589.

38.    Pooya Tavallali, Mehran Yazdi, Mohammad R. Khosravi.  A Systematic Training Procedure for Viola-Jones Face Detector in Heterogeneous Computing Architecture// Journal of Grid Computing. – 2020. - №18. - P. 847–862.

39.    Khansaa Dheyaa Aljafaar. Face recognition using Viola-Jones depending on Python//Indonesian Journal of Electrical Engineering and Computer Science. – December, 2020. -  №20 (3). – P. 1513-1521. - DOI: 10.11591/ijeecs.v20.i3.pp1513-1521.

40.    Fischler A.M. Random Sample Consensus: A Paradigm for Model Fitting with Applications To Image Analysis and Automated Cartography / A. Fischler A. M., Bolles C. R./ Communications of the ACM, 1981. - 06. - Т. 24. - P. 381–395. – DOI: 10.1145/358669.358692.

41.    Canny J. A Computational Approach to Edge Detection / Canny J. // IEEE Transactions on Pattern Analysis and Machine Intelligence. - V. PAMI-8. - No.6. – P.679-698. - DOI: 10.1109/TPAMI.1986.4767851.

42.    Duda R.O. Use of the Hough Transform to Detect Lines and Curves in Pictures / Duda R.O, Hart P.E. // Communications of the ACM. – January, 1972. – DOI: 10.1145/361237.361242.

43.    Rother C. A new Approach for Vanishing Point Detection in Architectural Environments / Rother C. // Journal Image and Vision Computing (IVC; Special Issue on BMVC 2000). – October, 2000. - Т. 20/9. - P.647–656. – DOI: 10.5244/C.14.40,

3. Ссылки на статьи, публикации, мероприятия и РИД, представленные в соответствующих приложениях к отчёту о реализации программы создания и развития центра.

1. Borovkov A. I. et al. Simulation Modelling Application for Balancing Epidemic and Economic Crisis in the Region // International Journal of Technology – 2020. – Т. 11. – №. 8.- 1579-1588
2. Круглый стол «Влияние распространения коронавирусной инфекции на развитие передовых производственных технологий» «Влияние распространения коронавирусной инфекции на развитие передовых производственных технологий». В рамках Второго Международного форума «Новые производственные технологии» (02.12.2020, СПбПУ, г. Санкт-Петербург), https://npt-forum.ru/