Muziekidentificatie-apps lijken in eerste instantie magisch, maar onder de motorkap zit een geavanceerd algoritme dat liedjes in een oogwenk kan vinden. Hier is hoe ze werken.
De magie van muziekidentificatie
Het is ons waarschijnlijk allemaal overkomen. Je dineert in een leuk restaurant, hangt rond in een coffeeshop of loopt rond in een winkel, wanneer je plotseling een geweldig liedje over de luidsprekers hoort spelen. Misschien is het een nummer waar je eerder naar hebt geluisterd of een nummer dat je nog nooit hebt gehoord. Dus je haalt je telefoon tevoorschijn, opent Shazam en houdt je apparaat tegen het plafond. In een oogwenk vertelt de app je wat het nummer is, wie de artiest is en waar je het kunt streamen.
Ze zijn snel, opmerkelijk nauwkeurig en kunnen zelfs de meest obscure nummers identificeren. In een notendop, ze werken door het nummer uit een opname te isoleren en het te doorzoeken in een uitgebreide database met nummers. Maar de technologie achter hoe ze dit doen, is behoorlijk complex en indrukwekkend.
Het zal je misschien verbazen dat de Shazam-app die we vandaag kennen al in 2002 is uitgebracht en dat het systeem toen net zo nauwkeurig en snel was als nu. Dat is allemaal te danken aan een uniek algoritme dat een revolutie teweeg zou brengen in de muziekwereld.
Het zijn niet alleen de teksten
Op het eerste gezicht lijken muziekidentificatie-apps zoals Shazam misschien eenvoudig. Je zou kunnen denken dat ze gewoon naar de songteksten luisteren, net als elke andere stemassistent, en deze doorzoeken in een database met songteksten om je te vertellen wat het nummer is.
De meeste muziekidentificatie-apps zijn echter in staat om te vertellen wat de titel van een instrumentaal is, of zelfs de zanger van een coversong. Dat komt omdat ze, in plaats van de songtekst van de track te analyseren, op zoek zijn naar “vingerafdrukken” die uniek zijn voor elk nummer in hun uitgebreide databases.
VERWANT: Songteksten bekijken op een iPhone, iPad, Mac of Apple TV
Vingerafdruktechnologie
U heeft waarschijnlijk apparaten die kunnen worden ontgrendeld met uw vingerafdruk, de rangschikking van de kleine lijnen op uw vinger die uniek zijn voor u. Evenzo, wanneer u uw microfoon omhoog houdt om een ​​korte clip van een nummer op te nemen, wordt deze clip omgezet in gegevenspatronen die Shazam of een andere app in hun database kan opzoeken.
Op het eerste gezicht lijkt die methode vatbaar voor verschillende problemen. Meestal hoor je muziek in het openbaar, er is achtergrondruis en vervorming veroorzaakt door de luidsprekers, waardoor nummers niet identificeerbaar kunnen worden of kunnen resulteren in onnauwkeurige overeenkomsten. Er zijn ook veel gegevens vastgelegd in zelfs een korte geluidsclip, waardoor het zoeken naar deze patronen in een database met miljoenen nummers traag kan worden.
In een interview met Scientific American in 2003 legt Avery Li-Chun Wang, de chief data scientist en mede-oprichter van Shazam, uit hoe hun algoritme deze problemen oplost. De informatie van een audioclip kan worden gevisualiseerd met een 3D-kaart die bekend staat als een spectrogram, die een verandering in frequenties gedurende een bepaalde periode vertegenwoordigt. Het houdt ook rekening met de amplitude, en dat is hoe hard een geluid is. Dit wordt weergegeven in een spectrogram met behulp van de intensiteit van kleur.
Op dezelfde manier dat mensen geen geluid kunnen waarnemen tenzij ze zich op een bepaalde frequentie bevinden, houdt Shazam bij het uitvoeren van een zoekopdracht geen rekening met het geheel van een nummer, maar neemt Shazam alleen ‘pieken’ op, wat de hoogste energie-inhoud in een audioclip is. . De vingerafdrukken die het vastlegt, nemen alleen de hoogste frequentiepunten op binnen een bepaald tijdsbestek en vervolgens de piekamplitudespots binnen die frequenties.
In een onderzoeksartikel voor Columbia University stelde Wang dat de methode hen in staat stelt om de meeste onnodige delen van een audiofragment, zoals achtergrondruis, te verwijderen en vervorming op te ruimen. Het maakt de grootte van de afdrukken ook zo klein dat het slechts milliseconden duurt om een ​​nummer in hun enorme database te identificeren.
De impact van Shazam
Behalve dat ze nuttig zijn voor gemiddelde luisteraars die een nummer horen dat ze leuk vinden, helpen muziekidentificatie-apps ook om de muziekwereld vorm te geven.
Radiostations en streamingdiensten gebruiken vaak de gegevens over wat mensen het meest shazammen om erachter te komen welke nummers door het publiek worden beluisterd. Dit is handig omdat het de aanstekelijkheid en potentiële populariteit van een nummer aangeeft, ongeacht de artiest. Als je een nummer identificeert met de app, zie je meteen hoeveel mensen het ook hebben geprobeerd te identificeren.
Sinds de opkomst van Shazam zijn er ook een handvol concurrenten opgedoken. Soundhound beweert een nummer te kunnen herkennen door er simpelweg mee te zingen of neuriën, met gemengde resultaten. Er is ook een nummer-ID geïntegreerd met spraak-apps zoals Google Assistant die op dezelfde manier werken als het systeem van Shazam.
VERWANT: De beste sites voor het streamen van gratis muziek