Процессор AISonic™ Audio Edge Processor IA8201 от компании Knowles обеспечивает обработку голоса при пробуждении для отзывчивого голосового интерфейса управления (low latency voice UI), понижения уровня шума (noise reduction), учета рабочего контекста (context awareness) и ускоренного машинного обучения, применяемого для обработки входной информации от пограничных сенсоров. IA8201 обладает высокой производительностью и сверхнизким потреблением энергии для обработки звука (ultra-low power audio-centric OpenDSP), поддерживает до 4 микрофонов, снабжен высокоскоростными интерфейсами, и выпускается в двух вариантах корпусов (eWLB и QFN).

[Ключевые особенности IA8201]

Multi-Core. Ядро DeltaMax, оптимизированное для высоконагруженных вычислений. Ядро HemiDelta, оптимизированное для низкого энергопотребления.

Audio-интерфейсы. До 4 цифровых PDM-микрофона - 2 входа stereo, 4 входа mono. 1 stereo выход, поддерживающий частоту тактов до 6.144 МГц. До 3 портов I2S/TDM, поддерживающих 8 каналов, каждый для передачи 32-битных аудиоданных с входной частотой 24.576 МГц.

Интерфейсы управления. SPI, I2C, UART, порты GPIO.

Память. 1.44MB RAM (1MB доступен для пользователя).

Тактовая частота. 175 МГц.

Системные требования. IA8201BC 1.8V Vdd, IA8201CQ 1.8V Vdd и 3.3V Vdd. Диапазон рабочих температур -20 .. 85°C.

Доступные корпуса. eWLB 3.00x2.6x0.715mm, 0.4 pitch, 42 ball, или QFN 6.00x6.00x0.75mm, 0.5 pitch, 40 lead.

Multi-Core Audio Processing. В IA8201 встроены 2 ядра Tensilica, оптимизированных для цифровой обработки звука. Одно их них предназначено для интенсивных вычислений и ML, а другое для сверхнизкого энергопотребления и фоновой обработки сигналов от сенсоров (very low power always-on processing). Любой из них также может функционировать как контроллер общего назначения, используя набор команд на основе Tensilica. Богатый набор аудиоинтерфейсов и высокоскоростных интерфейсов общего назначения обеспечивает широкие возможности для подключения цифровых микрофонов, датчиков движения и оценки окружающей обстановки, а также внешнего контроллера хоста для дальнейшей обработки. 1MB пользовательской памяти RAM позволяет хранить несколько алгоритмов обработки и шаблонов голоса (распознаваемых ключевых слов, voice keywords).

Информация для приобретения (Ordering Part Number):

Оптимизированный набор инструкций. DSP SDK (Software Development Kit) с набором инструкций Knowles и Xtensa HiFi 3 обеспечивает широкие возможности обработки речи и окружающих звуков, что позволяет реализовать качественный голосовой интерфейс управления. Оптимизированная обработка на основе кадров использует типы данных с плавающей запятой, SIMD и гибкий расширенный набор команд для нелинейных функций и ускоренных операций умножения с накоплением (DNN MAC).

OpenDSP. В IA8201 может использоваться открытая платформа цифровой обработки, объединяющая ведущих участников разработки голосовых экосистем для различных сценариев использования. Эта партнерская программа Knowles позволяет использовать алгоритмы и облачные среды мирового уровня в экосистеме с множеством реализаций сложных звуковых задач, повышая универсальность решений на основе IA8201.

В контексте OpenDSP чип IA8201 может быть сконфигурирован как DSP-платформа для разработки плагина, без применения каких-либо алгоритмов Knowles. Свяжитесь с Knowles Representative для получения доступных фич и алгоритмов сторонних разработчиков.

[Примеры использования]

Low Power Voice Wake: система непрерывно прослушивает окружающую звуковую обстановку на предмет появления специфических голосовых шаблонов (OEM keywords), и при их обнаружении подает сигнал пробуждения на внешний процессор хоста. Большой объем памяти позволяет реализовать в чипе обработку звука из нескольких стадий, что дает более точные результаты распознавания голосовых команд.

Proximity Detection: комбинация ультразвукового излучателя и микрофона позволяет измерять расстояние между системой и объектом. Это может заменить датчик IR-Prox в телефонах без внешней рамки (bezel-less phones).

Hub: определяет направление на источник голоса и его месторасположения при работе в условиях зашумления, чтобы понизить собственную громкость звучания музыки устройства и улучшить обнаружение голосовых команд. Одновременно принимает входные метаданные и перенастраивает систему фокусировки на звук (beamformer) с учетом объектов, обнаруженных камерой.

Security System: система безопасности с активацией по голосовой команде. Детектирует разбитие стекла, задымление, записывает направление на источник шума, активирует сигнал тревоги и посылает оповещение через соединение WiFi.

Беспроводные наушники: обеспечивает премиальные параметры пониженного энергопотребления, детектирование разговора, устранение ложных срабатываний, повышение качества голоса с помощью продвинутой фокусировки на направление звука (advanced beam forming) и алгоритмов понижения шума. Также поддерживает локальные команды, включающие ответ на вызов или игнорирование вызовов.

[Совместимость ПО и инструментарий]

• Голосовая оптимизация для Mobile и IoT, с поддержкой нескольких микрофонных входов и стереофонической системы подавления эха (stereo AEC Barge-in).
• Возможность обработки триггеров встроенных в систему ключевых слов, гибридная многостадийная верификация ключевых слов, облачная реализация ASR-A.
• Разработка библиотек для голосового обмена и голосового интерфейса управления, включающих техники подавления шума (noise suppression), определения направления на звук (beamforming), подавления эха (echo cancellation), улучшение формирования голоса (speech enhancement) и обработки метаданных.
• Поддержка SDK с симуляторами, инструментарием, кодом примера и документацией.

Для получения всего этого требуется регистрация на сайте https://solutions.knowles.com/.

[Словарик]

AEC Barge-in Acoustic Echo Cancellation Barge-in, подавление эха, улучшающее распознавание появления голосовой команды на фоне собственной музыки [2].

ASR Automatic Speech Recognition, технология автоматического распознавания голоса [3].

DNN Deep Neural Networks.

MAC Multiply-ACcumulate, операция умножения с накоплением, часто используемая в алгоритмах фильтрации на основе быстрого преобразования Фурье.

[Ссылки]

1. IA8201 High-Performance Audio Edge Processor site:knowles.com.
2. Подавление акустического эха и голосовое управление.
3. Что такое ASR?