Steve Huffman, de CEO van Reddit, heeft aangekondigd dat Microsoft en andere AI-zoekmachines nu moeten betalen als ze door willen gaan met het verzamelen van gegevens op het platform.
Eerder dit jaar sloot Reddit een overeenkomst met Google en OpenAI, waardoor ze toegang krijgen tot realtime-content van de data-API van Reddit om hun AI-modellen (kunstmatige intelligentie) te trainen.
Deze nieuwste zet van Huffman is een poging om een einde te maken aan het gratis scrapen van data op het populaire platform, controle te houden over het gebruik van de data en ervoor te zorgen dat deze op een verantwoorde manier wordt gebruikt.
“Zonder deze overeenkomsten hebben we geen zeggenschap of kennis over hoe onze gegevens worden weergegeven en waarvoor ze worden gebruikt, waardoor we nu in een positie zijn beland waarin we mensen blokkeren die niet bereid zijn om te accepteren hoe we willen dat onze gegevens worden gebruikt of niet worden gebruikt”, aldus Huffman in een interview met De rand.
Hij voegde toe: “Microsoft, Anthropic en Perplexity weigeren te onderhandelen en zeiden dat het “echt een hel is om deze bedrijven te blokkeren”.
“We kunnen niet langer volledig open zijn, omdat we heel goed moeten nadenken over waar onze data terechtkomt en waarvoor het wordt gebruikt. Elke crawler waarmee we geen formele overeenkomst hebben, blokkeren we nu.”
In juni 2024 heeft Reddit een aantal blokkades geïmplementeerd door het Robots Exclusion Protocol (robots.txt) bij te werken. Dit protocol geeft gedetailleerde instructies over hoe het bedrijf wel en niet toestaat dat Reddit zonder toestemming door derden op het platform wordt gecrawld.
Degenen die toegang willen tot de data in zoekresultaten moeten een licentieovereenkomst sluiten met Reddit voor content van welke aard dan ook, inclusief het gebruik ervan in webzoekopdrachten. Het heeft al voorkomen dat de Bing-zoekmachine van Microsoft toegang krijgt tot alle opmerkingen en berichten op zijn platform, tenzij er een formele overeenkomst is, nieuws bevestigd door Jordi Ribas, hoofd van Microsoft Search, over X.
Terwijl Reddit en Microsoft probeerden een deal te sluiten, eindigden hun onderhandelingen zonder overeenkomst. Een woordvoerder van Reddit zei ook: “Iedereen die toegang heeft tot Reddit-content moet zich houden aan ons beleid, inclusief het beleid dat is ingesteld om redditors te beschermen. We zijn selectief over met wie we samenwerken en vertrouwen grootschalige toegang tot Reddit-content toe.”
Momenteel is Google de enige zoekmachine met toegang tot Reddit-content. In februari van dit jaar sloot Google met Reddit een deal ter waarde van 60 miljoen dollar.
Hoewel Microsoft en Perplexity nog geen commentaar hebben gegeven op De Verge rapport, Anthropic-woordvoerder Jennifer Martinez reageerde in een verklaring: “Reddit staat sinds half mei op onze blokkeerlijst voor webcrawlen en we hebben sindsdien geen URL’s van Reddit aan onze crawler toegevoegd. We respecteren robots.txt, het door de industrie geaccepteerde signaal voor het blokkeren van webcrawlen.”
