Меню Главная Случайная статья Настройки Нейронный процессор Материал из https://ru.wikipedia.org Нейронный процессор (англ. Neural Processing Unit, NPU или ИИ-ускоритель англ. AI accelerator) — это специализированный класс микропроцессоров и сопроцессоров (часто являющихся специализированной интегральной схемой), используемый для аппаратного ускорения работы алгоритмов нейронных сетей, компьютерного зрения, распознавания по голосу, машинного обучения и других методов искусственного интеллекта[1]. Содержание 1 Описание 2 История 3 Области применения 4 Примеры 4.1 Существующие продукты 4.2 GPU-продукты 4.3 ИИ-ускорители в виде внутренних сопроцессоров (аппаратных ИИ-блоков) 4.4 Научные исследования и разрабатываемые продукты 5 Примечания 6 Ссылки Описание Нейронные процессоры относятся к вычислительной технике и используются для аппаратного ускорения эмуляции работы нейронных сетей и цифровой обработки сигналов в режиме реального времени. Как правило, нейропроцессор содержит регистры, блоки памяти магазинного типа, коммутатор и вычислительное устройство, содержащее матрицу умножения, дешифраторы, триггеры и мультиплексоры[2]. На современном этапе (по состоянию на 2017 год) к классу нейронных процессоров могут относиться разные по устройству и специализации типы чипов, например: Нейроморфные процессоры — построенные по кластерной асинхронной архитектуре, разработанной в Корнеллском университете (принципиально отличающейся от фон Неймановской и Гарвардской компьютерных архитектур, используемых последние 70 лет в IT-отрасли). В отличие от традиционных вычислительных архитектур, логика нейроморфных процессоров изначально узкоспециализирована для создания и разработки разных видов искусственных нейронных сетей. В устройстве используются обычные транзисторы, из которых строятся вычислительные ядра (каждое ядро, как правило, содержит планировщик заданий, собственную память типа SRAM и маршрутизатор для связи с другими ядрами), каждое из ядер эмулирует работу нескольких сотен нейронов и, таким образом, одна интегральная схема, содержащая несколько тысяч таких ядер, алгоритмически может воссоздать массив из нескольких сотен тысяч нейронов и на порядок больше синапсов. Как правило, такие процессоры применяются для алгоритмов глубокого машинного обучения[3]. Тензорные процессоры — устройства, как правило, являющиеся сопроцессорами, управляемыми центральным процессором. Тензорные процессоры оперируют тензорами — объектами, при помощи которых удобно выполнять преобразование элементов одного векторного пространства в другое, и которые могут быть представлены как многомерные массивы чисел[4], обработка которых осуществляется с помощью таких программных библиотек, как, например TensorFlow и Caffe 2. В угоду производительности они, обычно, выполняют операции над числами малой разрядности (8 или 16 бит) и специализированы для быстрого выполнения таких операций, как матричное умножение и свёртка, используемых для эмуляции свёрточных нейронных сетей, которые используются для задач машинного обучения[5]. Процессоры машинного зрения — во многом похожи на тензорные процессоры, но они узкоспециализированы для ускорения работы алгоритмов машинного зрения, в которых используются методы свёрточных нейронных сетей (CNN) и масштабно-инвариантная трансформация признаков (SIFT). В них делается большой акцент на распараллеливание потока данных между множеством исполнительных ядер, включая использование модели блокнотной памяти[англ.] — как в многоядерных цифровых сигнальных процессорах, и они так же, как тензорные процессоры, используются для вычислений c низкой точностью, принятой при обработке изображений[6]. История Области применения Беспилотное транспортное средство (беспилотник): автомобиль, корабль, поезд, трамвай, летательный аппарат — например, в этом направлении развивает свои платы Drive PX-series[англ.] компания Nvidia[7][8]. А навигационная система основанная на чипах Movidius Myriad 2[англ.] успешно управляет автономными беспилотными летательными аппаратами[9]. Диагностика в здравоохранении. Машинный перевод. Обработка естественного языка. Поисковая система — NPU повышают энергоэффективность центров обработки данных, и дают возможность использовать все более сложные запросы. Промышленный робот — NPU позволяют расширить спектр задач, которые возможно автоматизировать, путём добавления приспособляемости к меняющимся ситуациям. Распознавание по голосу — например, в мобильных телефонах использование технологии Qualcomm Zeroth[англ.][10] Сельскохозяйственный робот — например, борьба с сорняками без применения химических средств[11]. Примеры Существующие продукты Процессоры машинного зрения: Intel Movidius Myriad 2[англ.], который является многоядерным ИИ-ускорителем, основанным на VLIW-архитектуре, с дополненными узлами, предназначенными для обработки видео[6]. Mobileye EyeQ[англ.] — это специализированный процессор, ускоряющий обработку алгоритмов машинного зрения для использования в беспилотном автомобиле[12]. Тензорные процессоры: Google TPU (англ. Tensor Processing Unit) — представлен как ускоритель для системы Google TensorFlow, которая широко применяется для свёрточных нейронных сетей. Сфокусирован на большом объёме арифметики 8-битной точности[5]. Huawei Ascend 310 / Ascend 910 — первые два чипа оптимизированные под решения задач искусственного интеллекта из линейки Ascend компании Huawei[13]. Intel Nervana NNP[англ.] (англ. Neural Network Processor) — это первый коммерчески доступный тензорный процессор, предназначенный для постройки сетей глубокого обучения[14], компания Facebook была партнёром в процессе его проектирования[15][16]. Qualcomm Cloud AI 100 — ускоритель искусственного интеллекта, предназначенный для использования в составе облачных платформ, поддерживающий программные библиотеки PyTorch, Glow, TensorFlow, Keras и ONNX[17]. Нейроморфные процессоры: IBM TrueNorth — нейроморфный процессор, построенный по принципу взаимодействия нейронов, а не традиционной арифметики. Частота импульсов представляет интенсивность сигнала. По состоянию на 2016 год среди исследователей ИИ нет консенсуса, является ли это правильным путём для продвижения[18], но некоторые результаты являются многообещающими, с продемонстрированной большой экономией энергии для задач машинного зрения[19]. AltAI—  российский нейроморфный вычислитель, разрабатываемый компанией “Мотив Нейроморфные Технологии”. Первое поколение предназначено для эффективного выполнения задач искусственного интеллекта. Второе поколение позволяет как исполнять импульсные нейронные сети, так и решать задачи общего назначения[20]. Adapteva Epiphany[англ.] — предназначен как сопроцессор, включает модель блокнотной памяти[англ.] сети на кристалле[англ.], подходит к модели программирования потоком информации, которая должна подходить для многих задач машинного обучения. ComBox x64 Movidius PCIe Blade board — плата расширения PCI Express с максимальной плотностью VPU Intel Movidius (MyriadX) для инференса сверхточных нейронных сетей в ЦОД Cambricon MLU100 — карта расширения PCI Express с ИИ-процессором мощностью 64 TFLOPS с половинной точностью или 128 TOPS для вычислений INT8[21]. Cerebras Wafer Scale Engine (WSE, CS-1) — экспериментальный суперпроцессор компании Cerebras, содержит 1,2 трлн транзисторов, организованных в 400 000 ИИ-оптимизированных вычислительных ядер и 18 Гбайт локальной распределённой памяти SRAM, и всё это связано ячеистой сетью с общей производительностью 100 петабит в секунду. Чип Cerebras это фактически суперкомпьютер на чипе, где вычислительные ядра SLAC (Sparse Linear Algebra Cores) полностью программируемые и могут быть оптимизированы для работы с любыми нейронными сетями[22]. KnuPath[англ.] — процессор компании KnuEdge[англ.], предназначен для работы в системах распознавания речи и прочих отраслях машинного обучения, он использует соединительную технологию LambdaFabric и позволяет объединять в единую систему до 512 тысяч процессоров[23]. GPU-продукты Nvidia Tesla — серия специализированных GPGPU-продуктов компании Nvidia[24]: Nvidia Volta — графические процессоры (GPU) архитектуры Volta (2017 год) компании Nvidia (такие как Volta GV100), содержат до 640 специальных ядер для тензорных вычислений[1]. Nvidia Turing — графические процессоры архитектуры Turing (2018 год) компании Nvidia (такие как Nvidia TU104), содержат до 576 специальных ядер для тензорных вычислений[25]. Nvidia DGX-1 — специализированный сервер, состоящий из 2 центральных процессоров и 8 GPU Nvidia Volta GV100 (5120 тензорных ядер), связанных через быструю шину NVLink[26]. Специализированная архитектура памяти[англ.] у этой системы является особенно подходящей для построения сетей глубокого обучения[27][28]. AMD Radeon Instinct[англ.] — специализированная GPGPU-плата компании AMD, предлагаемая как ускоритель для задач глубокого обучения[29][30]. ИИ-ускорители в виде внутренних сопроцессоров (аппаратных ИИ-блоков) Cambricon-1A — NPU-блок в ARM-чипах Huawei Kirin 970, разработанный компанией Cambricon Technologies[31]. CEVA[англ.] NeuPro — семейство лицензируемых ИИ-процессоров для глубокого обучения компании CEVA, Inc.[англ.][32]. Neural Engine — ИИ-ускоритель внутри ARM-чипов от Apple A11 до A18 SoC[33]. PowerVR 2NX NNA (Neural Network Accelerator) — семейство лицензируемых IP-модулей для машинного обучения компании Imagination Technologies[34]. Научные исследования и разрабатываемые продукты Индийский технологический институт в Мадрасе разрабатывает ускоритель на импульсных нейронах для новых систем архитектуры RISC-V, направленных на обработку больших данных на серверных системах[35]. Eyeriss[англ.] — разработка, направлена на свёрточные нейронные сети с применением блокнотной памяти и сетевой архитектуры в пределах кристалла. Fujitsu DLU[англ.] — многоблочный и многоядерный сопроцессор компании Fujitsu использующий вычисления с низкой точностью и предназначенный для глубокого машинного обучения[36]. Intel Loihi[англ.] — нейроморфный процессор компании Intel, который сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку. Например, при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети[37]. Kalray[англ.] — показала MPPA[англ.][38] и сообщила о повышении эффективности свёрточных нейронных сетей в сравнении с GPU. SpiNNaker — массово-параллельная компьютерная архитектура, которая сочетает ядра традиционной ARM-архитектуры с усовершенствованной сетевой структурой, специализированной для моделирования крупной нейронной сети. Zeroth NPU[англ.] — разработка компании Qualcomm, направленная непосредственно на привнесение возможностей распознавания речи и изображений в мобильные устройства[39]. TPU H — тензорный процессор, над созданием которого работает[40][41] российская компания «ХайТэк». В октябре 2020 года были опубликованы результаты[42][43] тестирования архитектуры ускорителя расчета нейронных сетей TPU H, проведенного международным консорциумом MLPerf (учрежден в 2018 году Baidu, Google, Harvard University, Stanford University, University of California, Berkeley). Примечания 1 2 Популярность машинного обучения влияет на эволюцию архитектуры процессоров  (неопр.). Servernews. (31 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор  (рус.). FindPatent.RU. Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года. IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн  (рус.). Компьютерра. (31 марта 2016). Дата обращения: 17 ноября 2017. Архивировано 19 ноября 2017 года. Intel разрабатывает тензорные процессоры для ИИ  (рус.). PC Week/RE. (22 ноября 2016). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года. 1 2 Подробности о тензорном сопроцессоре Google TPU  (рус.). Servernews. (25 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. 1 2 Intel анонсировала процессор машинного зрения Movidius Myriad X  (рус.). 3DNews. (29 августа 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Nvidia Drive PX: Scalable AI Supercomputer For Autonomous Driving (англ.). Nvidia. Дата обращения: 17 ноября 2017. Архивировано 16 июля 2016 года. NVIDIA представила Drive PX Pegasus — платформу для автопилота нового поколения  (рус.). 3DNews (10 октября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Movidius powers worlds most intelligent drone (англ.). Дата обращения: 15 ноября 2017. Архивировано 9 августа 2016 года. Qualcomm Research brings server-class machine learning to everyday devices (англ.). Дата обращения: 15 ноября 2017. Архивировано 8 августа 2016 года. Design of a machine vision system for weed control (англ.). Дата обращения: 15 ноября 2017. Архивировано из оригинала 23 июня 2010 года. The Evolution of EyeQ  (неопр.). Дата обращения: 18 ноября 2017. Архивировано 7 декабря 2017 года. Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов». CNews. 23 октября 2018. Архивировано 23 октября 2018. Дата обращения: 24 октября 2018. До конца года Intel выпустит «первую в отрасли микросхему для обработки нейронных сетей» — Intel Nervana Neural Network Processor  (рус.). iXBT.com (18 октября 2017). Дата обращения: 21 ноября 2017. Архивировано 15 ноября 2017 года. Ян ЛеКун про IBM TrueNorth (англ.). Дата обращения: 15 ноября 2017. Архивировано 5 июля 2015 года. IBM cracks open new era of neuromorphic computing (англ.). — «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches». Дата обращения: 15 ноября 2017. Архивировано 9 июля 2016 года. Пресс-центр НИЦ "Курчатовский институт". В Курчатовском институте создали новый метод самообучения нейросетей  (рус.). НИЦ "Курчатовский институт" (2 октября 2023). Дата обращения: 26 июня 2025. Архивировано 30 июня 2025 года. Китайская компания Cambricon разрабатывает чипы ИИ для дата-центров.  (неопр.) Дата обращения: 15 июня 2018. Архивировано из оригинала 16 июня 2018 года. Cerebras процессор для ИИ невероятных размеров и возможностей  (неопр.). 3DNews. (20 августа 2019). Дата обращения: 21 августа 2019. Архивировано 20 августа 2019 года. KnuPath — нейроморфный процессор военного назначения  (неопр.). 3DNews. (9 июня 2016). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google  (неопр.). «Открытые системы». (1 июня 2016). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года. Что принесёт на рынок новая архитектура NVIDIA Turing?  (неопр.) 3DNews. (14 августа 2018). Дата обращения: 17 августа 2018. Архивировано 23 марта 2019 года. Эра NVIDIA Volta началась с ускорителя Tesla V100  (неопр.). Servernews. (11 мая 2017). Дата обращения: 17 ноября 2017. Архивировано 1 декабря 2017 года. GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением  (неопр.). Servernews. (12 октября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Новый российский суперкомпьютер предназначен для обучения нейросетей  (неопр.). Servernews. (1 сентября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Huawei представляет будущее мобильного искусственного интеллекта на IFA 2017.  (неопр.) Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года. CEVA NeuPro. A Family of AI Processors for Deep Learning at the Edge.  (неопр.) Дата обращения: 15 июня 2018. Архивировано 16 июня 2018 года. India preps RISC-V Processors - Shakti targets servers, IoT, analytics (англ.). — «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip». Дата обращения: 15 ноября 2017. Архивировано из оригинала 3 июля 2017 года. Fujitsu разрабатывает специализированный процессор для систем ИИ  (неопр.). Servernews. (24 июля 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Intel представила нейроморфный процессор Loihi  (неопр.). 3DNews. (26 сентября 2017). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. Kalray MPPA (англ.). Дата обращения: 15 ноября 2017. Архивировано 23 апреля 2016 года. Qualcomm показала нейропроцессор Zeroth  (неопр.). Logmag.net (16 октября 2013). Дата обращения: 17 ноября 2017. Архивировано 17 ноября 2017 года. embedded world. IVA TPU – DNN inference accelerator // NeuroMatrix Architecture for Neural Network Applications | embedded world (англ.). www.embedded-world.de. Дата обращения: 30 ноября 2020. Архивировано 21 января 2021 года. В России создана оригинальная процессорная архитектура, способная потеснить NVidia  (неопр.). CNews.ru. Дата обращения: 30 ноября 2020. Архивировано 25 ноября 2020 года. Inference Results (англ.). MLPerf. Дата обращения: 30 ноября 2020. Архивировано 28 ноября 2020 года. Sally Ward-Foxton. Machine learning benchmark expands support for edge, data center workloads (амер. англ.). Embedded.com (3 ноября 2020). Дата обращения: 30 ноября 2020. Архивировано 25 ноября 2020 года. Ссылки Популярность машинного обучения влияет на эволюцию архитектуры процессоров  (рус.). Servernews. (31 августа 2017). Дата обращения: 17 ноября 2017.