L'audio fait partie intégrante de nombreuses applications IoT, y compris des produits de consommation tels que des haut-parleurs et des écouteurs, des appareils portables et des dispositifs médicaux (par exemple, des aides auditives), des applications de contrôle d'automatisation et industrielles, des systèmes de divertissement et des unités d'infodivertissement automobile.
L'audio IoT peut être largement classé en trois types: streaming (c'est-à-dire la musique, la voix et les données), la reconnaissance / les commandes vocale et la connectivité Bluetooth et Wi-Fi (par exemple, le streaming audio multi-canal sur un système de son surround sur le Wi-Fi à domicile). Cependant, la conception de sous-systèmes audio acoustiques de haute qualité et ininterrompus peut être difficile lorsque les ingénieurs doivent adhérer aux contraintes strictes requises pour les appareils basés sur l'IoT.
Des conceptions plus complexes sont nécessaires pour inclure des fonctionnalités avancées telles que la reconnaissance vocale, telles que les conducteurs de contrôler le système d'infodivertissement dans leur voiture de la même manière mains libres qu'un téléphone portable. Étant donné que le MCU est au cœur de tous ces systèmes audio, il est important de sélectionner un MCU qui intègre les technologies audio nécessaires nécessaires pour concevoir un système audio fiable sans bruit. Cet article explore les technologies audio qui peuvent être utilisées pour concevoir ces systèmes.
Composants d'un sous-système audio
L'audio IoT implique trois activités principales: la vapeur de la voix / les données de haute qualité, la transmission sans fil et le contrôle de réorganisation vocale. La figure 1 montre les éléments constitutifs les plus importants d'un système intégré.
Ce diagramme de blocs montre les éléments constitutifs les plus importants du sous-système de traitement audio
Notez que bon nombre de ces fonctionnalités peuvent être intégrées dans les MCU modernes, tels que le Cypress CYW43907 avec le Wi-Fi 802.11n intégré utilisé dans cet exemple. Certains des technologies audio importantes qui peuvent être incluses dans un système basé sur l'IoT incluent:
Applications musicales
Les MCU compatibles audio permettent aux ingénieurs de décoder les flux MP3 / 4 utilisés par les lecteurs de médias les plus populaires et les fournisseurs de contenu. De nombreux conceptions doivent également prendre en charge le décodage AAC d'AAC de WMA et Apple, ce qui nécessite une puissance de traitement supplémentaire. Dans les applications audio grand public, les MCU audio à faible coût peuvent souvent être utilisés en gérant des flux de musique numérique à partir d'accessoires audio tels que des ensembles de haut-parleurs numériques.
Dans ces applications, un cadre de données audio PCM (encapsulées dans un format de classe audio USB) arrive tous les 1 ms via l'un des canaux série SPI / I²C du processeur. Selon la source, le flux audio peut arriver dans l'un des nombreux formats (c'est-à-dire, aligné vers la gauche, aligné droit, I2S, etc.). Cependant, certains codecs à faible coût ne peuvent accepter que certains formats. Dans ces cas, le MCU joue un rôle important dans la garantie que les données sont correctement alignées avant d'être alimentées sur le codec.
Étant donné que toutes les sources audio n'utilisent pas le même taux d'échantillonnage, le codec doit également adapter sa fréquence d'échantillonnage à la source ou s'appuyer sur le MCU pour convertir le flux de données échantillonné en un débit de données commun (voir figure 2). Dans ces cas, le MCU doit gérer le flux pour éviter les conditions de sous-charge ou de surcharge qui peuvent entraîner des muets, des POP et des discontinuités audio qui peuvent entraîner une perte de données et perturber l'expérience d'écoute des utilisateurs. Notez que l'audio MCU peut également être utilisé pour implémenter d'autres fonctions du sous-système audio, telles que le contrôle de l'éclairage pendant la lecture audio.
L'Audio MCU peut avoir besoin d'effectuer une conversion de format, un ajustement de la fréquence d'échantillonnage et la gestion des flux, ainsi que de prendre en charge les interfaces utilisateur audio.
Pour implémenter l'audio dans un large éventail d'applications, les MCU audio doivent prendre en charge une variété de technologies audio. La figure 3 montre des exemples de ces technologies audio.
technologie du son
Codecs audio
Les codecs audio sont le principal composant frontal d'un système audio. De nombreux MCU construits pour les applications IoT prennent en charge les fonctionnalités du codec dans le matériel. Cela permet au système de réduire la taille des échantillons audio numériques pour accélérer la transmission sans fil (puissance de sauvegarde) et d'économiser un espace de stockage (réduisant la contrainte sur la capacité de mémoire interne). Le codec peut prendre en charge divers formats standard audio tels que AAC, AC -3 et Alac. Pour ce faire, il nécessite une unité d'accès de décodage (UA), qui est implémentée avant tout post-traitement audio (par exemple, DSOLA, SOLA). Lorsqu'il est utilisé avec des formats audio standard tels que AAC, AC -3 et ALAC, l'audio est classé de telle manière que les échantillons audio ultérieurs se trouvent dans le format prescrit spécifié dans le flux de données de paquets audio. L'espacement des paquets est également géré pour permettre une gigue croisée minimale et une opération ininterrompue en présence de congestion. La taille de la charge utile AU permet l'exécution de toute dissimulation qui doit être effectuée.
Traitement de la bande de base
Un signal de bande de base est le groupe fondamental de fréquences dans une forme d'onde analogique ou numérique qui peut être traitée par des circuits électroniques. Un signal de bande de base peut consister en une seule fréquence ou un groupe de fréquences ou, dans le domaine numérique, un flux de données envoyé sur un canal non multiplexé. La bande de base est définie comme la bande de base (signal / seconde) mélangé avec le signal porteur pour produire un signal modulé. Notez que dans MCUS prenant en charge l'audio IoT, le codec audio intègre le traitement de la bande de base et RF sur une seule puce. Le codec audio peut être implémenté dans une variété d'émetteurs-récepteurs sans fil pour fournir des données vocales et / ou des fonctionnalités musicales. Le codec dispose également de canaux mono et stéréo pour la sortie audio, ainsi que des entrées stéréo.
Dissimulation de la perte de paquets et réplication des données
La latence excessive, la perte de paquets et la gigue élevée peuvent nuire à la qualité de la communication. La probabilité de perte soudaine de paquets augmente avec la charge du réseau et entraîne des interruptions qui peuvent être entendues par l'utilisateur. La transmission audio robuste sur le Wi-Fi peut être améliorée avec des fonctionnalités avancées telles que la technologie de dissimulation de la perte de paquets de Cypress. La source / récepteur d'architecture du système est la suivante: une source capture l'audio, multiplexe les données PCM via la structure du flux RTP et synchronise l'horloge avec tous les récepteurs connectés à la source PLC.
Notez que la performance du lien de communication dépend de la qualité des performances budgétaires du lien. Ce budget de liaison est déterminé par trois facteurs: transmettre la puissance, transmettre le gain d'antenne et recevoir un gain d'antenne. Par exemple, une communication fiable sur un réseau 802.11 est possible si la puissance du chemin de liaison moins la perte de l'espace disponible est supérieure au niveau de signal reçu minimum de la radio de réception (voir figure 4).
La performance d'un lien de communication dépend de la qualité des performances budgétaires du lien
Amélioration de l'intelligibilité de la parole (SIE)
Le bruit de fond du système audio peut réduire l'intelligibilité de la parole. Si le bruit dépasse un certain niveau, le discours peut être difficile à comprendre pour l'utilisateur. La disponibilité de la reconnaissance de la parole continue en temps réel sur les appareils intégrés nécessite un système qui améliore l'intelligibilité de la parole impaixuelle. La sélection d'un MCU qui prend en charge le portage et l'optimisation d'un système de reconnaissance de la parole continue (LVCSR) couramment utilisé peut simplifier le développement.
Détection de phrase de réveil
Cette fonctionnalité avancée permet aux utilisateurs d'allumer les mains libres du système en activant l'appareil avec leur voix.
Multidiffusion efficace à un ou plusieurs haut-parleurs
La multidiffusion est une méthode d'adressage de réseau utilisée pour envoyer des messages à un groupe de cibles simultanément en utilisant la stratégie la plus efficace. Les messages ne sont livrés qu'une seule fois via chaque lien du réseau, et les copies ne sont créées que lorsque le lien suivant se divise à plusieurs destinations, généralement aux commutateurs et routeurs réseau. Cependant, comme le protocole de datagramme utilisateur (UDP), la multidiffusion ne garantit pas la livraison du flux de messages, ce qui peut entraîner un rejet de messages ou une livraison de messages non organisée. La multidiffusion fiable (RMC) fournit des remerciements pour les paquets de multidiffusion (paquets uniquement) afin que certains paquets de multidiffusion spécifiques puissent être livrés de manière fiable. L'émetteur sélectionne le récepteur avec le RSSI le plus faible pour reconnaître le cadre. Dans un environnement IoT, la mise en œuvre de RMC signifie que l'émetteur Wi-Fi choisit l'un des nombreux récepteurs Wi-Fi pour reconnaître la réception du cadre. L'émetteur sélectionne le récepteur avec le RSSI le plus faible pour reconnaître le cadre. L'implémentation utilise un cadre opérationnel contenant des éléments d'information RMC propriétaires pour informer et activer le remercient. L'implémentation contient également des commandes Wi-Fi spécifiques à RMC pour définir l'adresse MAC de multidiffusion et pour activer et désactiver le RMC.
Pour l'audio et la vidéo avec des retards de transmission fixe et symétrique, les exigences de synchronisation du temps sont satisfaites; Par exemple, le RMC peut s'appuyer sur une synchronisation et une synchronisation très précises pour la transmission de cellule à cellule fluide des données vocales, vidéo et mobiles. La réalisation de timing très précise et précise n'est pas facile d'un point de vue technique, il est donc important de trouver des implémentations qui peuvent être vérifiées pour répondre aux exigences de la demande.
Formats de cadrage, correction d'erreur vers l'avant et réplication des paquets
Pour le streaming audio, il est essentiel que l'horloge soit synchronisée avec tous les récepteurs Wi-Fi. Une approche consiste à utiliser une horloge commune pour les appareils source et récepteur, souvent appelée horloge murale ou horloge système (STC). Tout d'abord, chaque récepteur (récepteur) synchronise son STC (horloge murale) avec le STC de la source / émetteur (horloge murale). Chaque récepteur peut désormais récupérer l'horloge de l'émetteur car l'horodatage inséré par la source (disponible dans l'en-tête étendu de chaque paquet RTP) reflète le moment échantillonné du support par rapport à l'horloge commune.
Le STC est basé sur les valeurs de l'horloge Grand Master décrites dans la spécification 802.1as. Étant donné que tous les périphériques du récepteur sont conscients de la corrélation entre le STC et l'horloge multimédia du périphérique source (en ce qui concerne le RTP ou l'horodatage multimédia), chaque récepteur peut reconstruire une copie de l'horloge multimédia RTP de l'appareil source et filer sa sortie en conséquence pour un rendu approprié. Le blocage transparent est l'endroit où le matériel / ucode peut être des paquets d'horodatage reçus et transmis le plus près possible de l'interface Mac / Phy. Bien que cette valeur d'horloge ne soit pas utilisée pour la lecture, elle peut être utilisée pour mesurer la gigue dans tout le système et effectuer une analyse complète des performances.
Exemple d'un système audio à domicile intelligent
Pour comprendre l'audio IoT dans son contexte, considérez l'exemple de maison intelligente et le rôle que l'audio peut jouer dans l'amélioration de la fonctionnalité globale d'un système domestique intelligent. Une maison devient une maison intelligente lorsque les appareils et les appareils s'y trouvent peuvent communiquer entre eux et les personnes qui y vivent. En augmentant notre interconnectivité, les maisons intelligentes améliorent notre qualité de vie et augmentent notre sécurité.
L'un des principaux cas d'utilisation pour l'audio dans la maison intelligente est le stockage et le partage de l'audio via Wi-Fi ou Bluetooth. Le choix du Wi-Fi sur BLE varie selon l'application et dépend des exigences de qualité et de qualité audio. Par exemple, un contrôleur domestique peut jouer un son spécifique dans chaque pièce de la maison si quelqu'un sonne à la porte à la porte, plutôt que de simplement brancher la cloche dans une partie de la maison. De même, le contrôleur peut limiter le son à des pièces spécifiques, comme pas dans une pépinière pour les bébés. Les contrôleurs intégrés aident à traiter cet audio et à rendre le système plus intelligent en gérant diverses fonctions de contrôle de sortie.
Systèmes audio de lecture
Les systèmes audio de relecture sont devenus une application importante sur le marché audio. Les systèmes de relecture audio sans fil sont au cœur de la maison intelligente, réunissant de nombreux appareils intelligents différents dans la maison et prenant des décisions intelligentes au nom de l'utilisateur. Par exemple, un système audio peut contrôler les modèles d'éclairage dans une maison basée sur la musique qui joue actuellement. Il peut également utiliser la conversion de texte vocale pour lire les notifications utilisateur ou les e-mails à haute voix. Les utilisateurs ont également la possibilité de créer des zones dans un système audio multi-pièces en utilisant des appareils audio réseau, tels que des haut-parleurs sans fil dans différentes pièces de la maison. Cette approche crée un écosystème entier pour s'assurer que la maison fonctionne toujours à une efficacité maximale tout en minimisant les interactions avec les personnes qui y vivent. Pour créer un tel écosystème, les concepteurs IoT doivent sélectionner un microcontrôleur intégré avec les bonnes performances et les fonctionnalités audio qui ont été optimisées pour les applications IoT.
Effets de traitement du signal numérique
Le traitement du signal audio dans le domaine numérique est une partie importante de tout système audio avant de transmettre des données audio sur une liaison sans fil. Ce traitement implique généralement la mesure, le filtrage et / ou la compression du signal analogique audio. Les MCU intégrés avec la fonctionnalité DSP intégrée permettent des effets tels que l'ajout d'un mélangeur numérique et la prise en charge des fonctions de télécommande. Avec un égaliseur de bande 5- pour chaque canal, la lecture audio peut être intelligemment intégrée à la plupart des applications de séquenceur pour créer un système de studio puissant.