Amazon-Bewertungen: Sind sieben von zehn Produkten zu gut bewertet?

Bild: blu-news.org, on Flickr CC BY-SA 2.0

Für 23,3 Milliarden haben Verbraucher in Deutschland von Januar bis April online eingekauft und damit, dem bevh zufolge, 5,8 Prozent mehr ausgegeben als im Vorjahr. Der Umsatz des Marktführers Amazon stieg im ersten Quartal sogar um 26 Prozent auf weltweit 68,9 Milliarden Euro.

Die Zahlen zeigen: Auch wegen der Corona-Pandemie kaufen viele Verbraucher lieber online als im klassischen Handel ein. 59 Prozent von ihnen orientieren sich dabei, der "Wirtschaftswoche" zufolge, an im Internet veröffentlichten Bewertungen. Diese aber vermitteln oft ein trügerisches Bild, wie eine Stichprobe des Verbraucherforums mydealz zeigt.

Amazon ist bei deutschen Verbrauchern so populär wie kein anderer Online-Shop: 84 Prozent der Deutschen haben, dem Marktforschungsunternehmen Mintel zufolge, in den vergangenen zwölf Monaten bei Amazon bestellt. In Summe wanderte etwa jeder dritte Euro in die Kasse des US-Konzerns, der mit einem Marktanteil von 37 Prozent - dem "E-Commerce Germany Marktreport für Amazon & Co." zufolge - klarer Marktführer in Deutschland ist. So populär Amazon als Händler bei deutschen Verbrauchern ist, so umstritten aber sind die bei Amazon veröffentlichten Produktbewertungen: Satte 53 Prozent der Deutschen halten die bei Amazon veröffentlichten Kundenstimmen für unglaubwürdig, wie die "Wirtschaftswoche" berichtet.

Was paradox klingt, wird nachvollziehbar, wenn man die einzelnen Kundenstimmen näher unter die Lupe nimmt. Hierbei hilft der kostenfreie Analysedienst Review Meta. Mit seiner Hilfe hat das Verbraucherforum mydealz in einer Stichprobe Kundenstimmen zu 2.010 Produkten analysiert, die bei Amazon in Deutschland, Frankreich, Großbritannien, Spanien und den USA die Top-10 der meistverkauften Produkte in 201 Warengruppen bilden. Das Ergebnis ist für Amazon wenig schmeichelhaft: Für 67,01 Prozent der Produkte wies Amazon bei der Stichprobe, Review Meta zufolge, eine zu positive Durchschnittwertung aus.

Zwei Drittel aller Produkte weisen zu gutes Rating auf

Masken für Mund und Nasen sind angesichts der Corona-Pandemie zu wichtigen Alltagsbegleitern geworden und werden entsprechend stark nachgefragt: Bei sechs der zehn von Amazon in Deutschland meistverkauften Produkte aus der Warengruppe "Gewerbe, Industrie & Wissenschaft" handelte es sich zum Zeitpunkt der Stichprobe (26. Mai bis 2. Juni 2020) um Masken für Mund und Nase. Wer wissen wollte, wie sich die Masken unterscheiden, konnte sich vor allem an zwei Merkmalen orientieren: dem Preis und dem Rating, also der durchschnittlichen Bewertung einer Maske, die bei Amazon von 1,0 Punkten (sehr schlecht) bis 5,0 Punkten (sehr gut) reicht. Beide Informationen zeigt Amazon gut sichtbar ganz oben auf der Produktseite an.

Blind vertrauen sollten Verbraucher der Durchschnittsnote aber nicht. Das zeigt sich am Beispiel des chinesischen Anbieters Mersuii, der "50 Stück Einweg-Masken, 3-lagig" zum Preis von 7,43 Euro verkauft. Während Amazon für die Masken ein Rating von 2,8 Punkten angab, kam das Analyse-Tool Review Meta zu einem anderen Urteil: 2,6 Punkte betrug bei Review Meta das so genannte "Adjusted Rating", die bereinigte Bewertung also.

Dass die Masken von Mersuii kein Einzelfall sind, zeigt ein Blick auf alle 2.010 Produkte, deren Bewertungen das Verbraucherforum mydealz mithilfe von Review Meta analysiert hat. Nur bei jedem dritten Produkt (657 Produkte, 32,69 Prozent) ermittelte Review Meta das gleiche Rating wie Amazon und nur bei sechs Produkten (0,3 Prozent) eine bessere Durchschnittsnote. Bei ganzen zwei Dritteln aller 2.010 analysierten Produkte (1.347 Produkte, 67,01 Prozent) zeigte Review Meta jedoch ein niedrigeres Rating an.

In der Konsequenz waren alle 2.010 analysierten Produkte bei Amazon durchschnittlich um 0,3 Punkte zu gut bewertet. Statt des von Amazon angezeigten Ratings von 4,1 Punkten ermittelte Review Meta bei der Stichprobe "nur" eine Gesamtnote von 3,8 Punkten.

Deutschland besonders häufig von zu guten Ratings betroffen

Für Deutschland fanden sich bei der Stichprobe relativ viele Produkte, für die Review Meta ein schlechteres Rating ermittelte als Amazon selber. Bei 285 von 400 Produkten (71,25 Prozent) nämlich korrigierte Review Meta das von Amazon angezeigte Rating nach unten und vergab nur für 0,5 Prozent der Produkte ein besseres Rating. Bei Amazon betrug die "Durchschnittsnote" aller 400 Produkte 4,2 Punkte, bei Review Meta hingegen nur 3,9 Punkte.

Noch höher war der Anteil der zu gut bewerteten Produkte einzig in den USA: Amazon.com wies für 71,95 Prozent aller 410 analysierten Produkte ein besseres Rating aus als Review Meta und für kein Produkt ein schlechteres Rating. Statt eines mittleren Ratings von 4,2 Punkten zeigte Review Meta "nur" eine Durchschnittsnote von 4,0 Punkten an.

Die stärksten Abweichungen zeigten sich in Frankreich. Mit 3,9 Punkten bewertete Amazon die 400 analysierten Produkte im Schnitt. Review Meta beanstandete, dass 65,0 Prozent der Produkte zu gut bewertet seien und setzte die bereinigte Bewertung durchschnittlich bei 3,5 Punkten an. Spanien und Großbritannien bewegten sich eher im Mittelfeld. Die vom Verbraucherforum mydealz vorgenommene Stichprobe ergab, dass - laut Review Meta - beim britischen Amazon 61,0 Prozent der Produkte und beim spanischen Amazon 65,75 Prozent der jeweils 400 Produkte zu gut bewertet waren. Statt eines durchschnittlichen Ratings von 4,0 Punkten ermittelte mydealz mit Review Meta für Spanien ein bereinigtes Rating von 3,7 Punkten während das bereinigte Rating für den britischen Amazon-Ableger 4,0 Punkte statt 4,3 Punkte betrug.

Häufig Abweichungen bei Elektronikprodukten

Der Blick auf die Warengruppen, für die Review Meta bei der Stichprobe besonders oft niedrigere Ratings ansetzte, fällt wenig schmeichelhaft für Amazon aus: Die nur in den USA verfügbare Warengruppe "Amazon Pantry" und die Warengruppe "Amazon-Geräte & Zubehör" führen dieses Ranking klar an. Für jedes der zehn von mydealz berücksichtigte "Amazon Pantry"-Produkt wies Review Meta ein - im Schnitt um 0,3 Punkte (3,9 statt 4,2 Punkte) - niedrigeres Rating aus. Für Produkte aus der Warengruppe "Amazon-Geräte" berechneten die Tester von mydealz mithilfe von Review Meta in 95,0 Prozent der Fälle ein niedrigeres Rating. Während Amazon für Produkte wie den E-Book-Reader "Kindle", den Smart-Home-Lautsprecher "Echo Dot" oder den "Fire TV Stick"mit einem durchschnittlichen Rating von 4,5 Punkten warb, fiel das von Review Meta bereinigte Rating mit 3,9 Punkten wesentlich niedriger aus.

Auf Rang drei der Warengruppen mit den meisten Abweichungen folgte bei der mydealz-Stichprobe "Bürobedarf & Schreibwaren" (94,0 Prozent, 4,2 statt 4,5 Punkte). Auf Rang vier lag mit "Prime Video" (90,0 Prozent, 4,3 statt 4,6 Punkte) erneut eine Amazon direkt zurechenbare Warengruppe gleichauf mit "Smartphones, Tablets & Zubehör" (90,0 Prozent, 4,1 statt 4,4 Punkte). Die Warengruppe "Elektronik & Foto" vervollständigte bei der mydealz-Stichprobe die Top-5 der Warengruppen mit den meisten laut Review Meta überzogenen Ratings: Bei 88,0 Prozent der Produkte aus diesen Warengruppen korrigierte Review Meta die von Amazon angegebene Gesamtnote nach unten, durchschnittlich von 3,8 auf 3,5 Punkte.

Die wenigsten Abweichungen zeigten sich bei der mydealz-Stichprobe bei Produkten aus der Warengruppe "Musikdownloads-Singles": Review Meta bestätigte hier 98,0 Prozent der von Amazon angezeigten Ratings und korrigierte diese nur in 2,0 Prozent der Fälle nach unten. Etwas größere Abweichungen zeigten sich da schon bei "Musikdownloads-Alben": Hier zeigte Review Meta für gut jedes vierte Album (26,0 Prozent) ein niedriges Rating an. Insgesamt korrigierte der Algorithmus die Gesamtnote von 4,6 auf 3,9 Punkte nach unten.

Noch geringer fiel die Quote der Abweichungen neben Singles zum Download nur bei "Sammelbaren Währungen" ("Collectible Currencies", 20,0 Prozent, 4,3 statt 4,5 Punkte) aus, einer nur auf amazon.com verfügbaren Warengruppe. Für "Sammelbare Unterhaltungsartikel" ("Entertainment Collectibles") kam Review Meta in 30,0 Prozent der Fälle und für "Musik CDs & Vinyl" in 32,0 Prozent der Fälle zu einem niedrigeren bereinigten Rating. Bei "Sammelbaren Unterhaltungsartikeln" korrigierte Review Meta das durchschnittliche Rating von 2,2 auf 2,1 Punkte, bei "Musik-CDs & Vinyl" von 4,6 auf 3,9 Punkte. Die beiden Kategorien lagen damit bei der mydealz-Stichprobe auf Rang vier und fünf der Warengruppen mit den wenigsten Abweichungen.

Nach diesen Kriterien beurteilt Review Meta Bewertungen

Die Quintessenz der vom Verbraucherforum mydealz vorgenommenen Stichprobe ist klar: Verbraucher sollten bei Amazon und generell im Internet veröffentlichte Bewertungen immer kritisch hinterfragen. Hierbei können Tools wie Review Meta helfen. Auch diese bieten aber keine absolute Sicherheit. Review Meta macht daraus selber keinen Hehl: "ReviewMeta analyzes Amazon product reviews and filters out reviews that our algorithm detects may be unnatural" erklärt der 2016 von Tommy Noonan in Reno (Nevada, USA) gegründete Dienst auf seiner Internetseite. Übersetzt heißt das so viel wie "Review Meta analysiert Amazon Produkt-Bewertungen und filtert diejenigen Bewertungen heraus, die unser Algorithmus als möglicherweise nicht authentisch erkennt".

Review Meta arbeitet also mit Wahrscheinlichkeiten und durchforstet die Bewertungen zu einzelnen Produkten, um jene Bewertungen herauszufiltern, die aufgrund bestimmter Kriterien nicht authentisch sein könnten. Wer wissen möchte, wie glaubwürdig das Gesamturteil zu einem Produkt ist, sollte genau hinsehen, wie Dienste wie Review Meta im konkreten Einzelfall zu ihrer Einschätzung gelangen. Diese Informationen schlüsselt Review Meta präzise auf und unterscheidet dabei zwischen verdächtigen Verfassern einer Bewertung und verdächtigen Bewertungen.

Nach den folgenden Kriterien entscheidet Review Meta, ob der Verfasser einer Bewertung möglicherweise nicht seine ehrliche Meinung zu einem Produkt mitgeteilt hat:

• Brand Repeaters": Als "Brand Repeaters" gelten Verfasser einer Bewertung, wenn diese bei Amazon zuvor bereits eine Bewertung zu einem anderen Produkt desselben Herstellers veröffentlicht haben.
  
• "Brand Loyalists": Als "Brand Loyalists" gelten Verfasser einer Bewertung, wenn diese bei Amazon zuvor bereits mehrere Bewertungen veröffentlicht haben, wenigstens die Hälfte der bewerteten Produkte aber vom selben Hersteller ist.
  
• "Brand Monogamists": Als "Brand Monogamists" gelten Verfasser einer Bewertung, wenn diese bereits mehrere Bewertungen bei Amazon veröffentlicht haben, alle rezensierten Produkte aber vom gleichen Hersteller sind.
  
• "Never-Verified Reviewers":Als "Never-Verified Reviewers" gelten Verfasser von Bewertungen, die bei Amazon bislang nur Produkte bewertet haben, die sie nicht oder nicht zum regulären Preis bei Amazon gekauft haben.
  
• "One-Hit Wonders": Mit "One-Hit Wonders" sind Verfasser von Bewertungen gemeint, die bei Amazon bislang nur eine einzige Bewertung veröffentlicht haben.
  
• "Overlapping Review History": Review Meta zieht Quervergleiche, welche Produkte die Verfasser einer Bewertung bislang bei Amazon bewertet haben. Gibt es hier auffällige Gemeinsamkeiten, haben also mehrere Verfasser die gleichen Produkte bewertet, zählen sie in die Rubrik "Overlapping Review History". Oft nämlich werden gekaufte Bewertungen von Agenturen vermitteln, die einen bestimmten Kunden- und Bewerterstamm haben. 
  
• "Reviewer Participation": Review Meta analysiert, wie viele Bewertungen ein Verfasser einer Bewertung bislang veröffentlicht hat und sortiert die Verfasser in verschiedene Gruppen (1-5 Bewertungen, 6-15 Bewertungen, 16-30 Bewertungen usw.). Ist eine dieser Gruppe vergleichsweise stark vertreten, weist Review Meta hierauf hin.
  
• "Single-Day Reviewers":Mit "Single-Day Reviewers" sind Verfasser einer Bewertung gemeint, die zwar verschiedene Produkte bewertet haben, alle Bewertungen aber am selben Tag veröffentlicht haben.
  
• "Take-Back Reviewers": Als "Take-Back Reviewers" wertet Review Meta Verfasser von Bewertungen, wenn diese zuvor wenigstens eine andere Bewertung zu einem Produkt veröffentlicht haben, diese aber gelöscht wurde.

Zusätzlich zum Verfasser einer Bewertung nimmt Review Meta auch die Bewertung selber unter die Lupe und entscheidet hierbei unter anderem nach den folgenden Kriterien, ob eine Bewertung glaubwürdig ist und die ehrliche Meinung des Verfassers wiedergibt:

• "Deleted Reviews": Review Meta analysiert die Bewertungen des jeweiligen Produkts in unregelmäßigen Abständen. Stellt Review Meta fest, dass eine zuvor veröffentlichte Bewertung nicht mehr verfügbar ist, gilt diese als "Deleted Review", also als gelöschte Bewertung. Weshalb die jeweilige Bewertung gelöscht wurde, weiß Review Meta indes nicht.
  
• "Incentivized Reviews":Verfasser von "Incentivized Reviews" haben in ihrer Bewertung darauf hingewiesen, dass sie ein Produkt im Gegenzug für ihre Bewertung umsonst oder günstiger erhalten haben. Review Meta erklärt hierzu: "On Oct 3, 2016 Amazon prohibited incentivized reviews, however we still test for them since there are still millions in our dataset." (Am 3. Oktober 2016 hat Amazon incentivierte Bewertungen verboten. Wir suchen dennoch weiterhin nach ihnen, denn wir haben unverändert Millionen in unserer Datenbank."
  
• "Phrase Repetition": Unter dem Schlagwort "Phrase Repetition" weist Review Meta auf Bewertungen hin, die bestimmte, wiederkehrende Formulierungen enthalten. Oft nämlich bitten Hersteller oder Händler, Verfasser von gekauften Bewertungen auf bestimmte Produkteigenschaften einzugehen und schlagen den Verfassern Formulierungen vor. 
  
• "Unverified Purchases": Amazon weist die Leser von Bewertungen darauf hin, wenn ihr Verfasser das Produkt bei Amazon gekauft hat. Fehlt dieser Hinweis, gilt die Bewertung als "Unverified Purchase". Die Gründe, wieso eine Bewertung nicht verifiziert wird, sind vielfältig. Der Verfasser kann das Produkt vergünstigt oder bei einem anderen Händler als Amazon gekauft haben oder er kann das Produkt als Abonnent des Diensts "Kindle Unlimited" ohne Zusatzkosten nutzen.
  
• "Word Count Comparision": Review Meta vergleicht die Wortzahl jeder einzelnen Bewertung mit der Wortzahl anderer Bewertungen desselben Produkts und anderer Produkte aus der gleichen Warengruppe und weist auf Anomalien hin, also auf vergleichsweise kurze oder vergleichsweise lange Bewertungen.

Bedenken an einzelnen Bewertungen überwiegen

Wie genau Review Meta die einzelnen Kriterien bei der Berechnung des "Adjusted Ratings" berücksichtigt, ist nicht bekannt. Die von mydealz vorgenommene Stichprobe zeigt aber, wie häufig bestimmte Verdachtsmomente auftreten.

Insgesamt meldete der Review-Meta-Algorithmus wesentlich häufiger Bedenken an einzelnen Bewertungen an als an ihren Verfassern: Für die 2.010 bei der Stichprobe berücksichtigten Produkte erfasste und analysierte der Algorithmus durchschnittlich 2.114 Bewertungen. Am häufigsten, nämlich bei 35,25 Prozent der Bewertungen, wies er auf eine ungewöhnlich hohe oder niedrige Wortzahl ("Word Count Comparision") hin. Am zweithäufigsten, nämlich in 34,92 Prozent der Fälle bemerkte Review Meta, dass eine bestimmte Nutzergruppe unter den Verfassern ungewöhnlich stark vertreten war ("Reviewer Participation"). Für sich genommen, klingt beides noch recht unverfänglich. Für jedes der 2.010 von mydealz ausgewählten Produkte fand der Review Meta-Algorithmus aber im Mittel 6,5 verschiedene Verdachtsmomente.

Am dritthäufigsten fielen Bewertungen dadurch auf, dass sich bestimmte Formulierungen wiederholten: Jede sechste Bewertung (17,73 Prozent) kennzeichnete sich so etwa dadurch, dass ihr Verfasser bestimmte Produktmerkmale besonders betonte und hierbei die gleichen Formulierungen nutzte wie Verfasser anderer Bewertungen ("Phrase Repetition"). Der Verfasser jeder zehnten Bewertung (10,54 Prozent) wies in seiner Bewertungshistorie auffällige Gemeinsamkeiten mit anderen Verfassern auf, bewertete also dieselben Produkte ("Overlapping Review History").

Jede elfte Bewertung stammte aus der "Feder" eines Amazon-Nutzers, von dem bereits wenigstens eine Bewertung gelöscht wurde (9,3 Prozent "Take-Back Reviewers") und bei etwa genauso vielen Bewertungen, nämlich bei exakt 9,0 Prozent, handelte es sich um "Unverified Purchases", also um Bewertungen, deren Autor das Produkt entweder vergünstigt oder gar nicht bei Amazon gekauft hat.

Auf Rang sieben der häufigsten Verdachtsmomente fanden sich bei der mydealz-Stichprobe "One-Hit Wonders" (6,95 Prozent), also Bewertungen von Verfassern, die bis zum Zeitpunkt der Stichprobe nur eine einzige Bewertung bei Amazon veröffentlicht hatten. Etwa jeweils jeder vierzigste Verfasser einer Bewertung hatte zudem bereits mehrere Bewertungen zu Produkten desselben Herstellers verfasst ("Brand Repeaters", 2,59 Prozent) oder mehrere Bewertungen verfasst, von denen aber keine einzige verifiziert worden ist ("Never-Verified Reviewers", 2,56 Prozent).

"Kampf gegen gefälschte Bewertungen bleibt ein Katz-und-Maus-Spiel"

Fabian Spielberger hat mydealz im April 2007 gegründet und begleitet den Online-Handel seitdem aktiv. Das Ergebnis der Stichprobe überrascht ihn nicht, auch wenn Amazon sich in der Vergangenheit bemüht hat, die Qualität der dort veröffentlichten Bewertungen zu steigern.

"Viele Verbraucher lesen Bewertungen, um sich über ein Produkt zu informieren und nicht selten tragen vermeintliche Kundenstimmen entscheidend zur Kaufentscheidung bei. Hersteller und auch Händler wissen das. Nicht wenige kaufen deshalb gezielt positive Bewertungen ein, um ihr Image aufzupolieren. Amazon als größter deutscher Händler ist davon ganz besonders betroffen und steht auf verlorenem Posten. So lange positive Bewertungen so verkaufsfördernd sind, solange wird der Kampf gegen gefälschte Kundenmeinungen ein Katz-und-Maus-Spiel bleiben. Verbraucher sind gut beraten, Bewertungen stets kritisch zu hinterfragen", betont Fabian Spielberger.

Datenbasis

Zitierte Quellen:

Bundesverband für E-Commerce und Versandhandel Deutschland (bevh), "Aufschwung im April 2020 gleicht Corona-bedingtes Minus noch nicht für alle Onlinehändler aus": http://ots.de/xk644M

Amazon, "Amazon.com announces first quarter results": http://ots.de/nBZ3ET

Wirtschaftswoche, "Nutzerbewertungen bei Amazon & Co: Wem die Deutschen noch vertrauen - und wem nicht": http://ots.de/7VwkRP

Mintel, "84 Prozent der Deutschen kaufen auf Amazon - Prime-Mitgliedschaft im Europa-Vergleich weniger beliebt": http://ots.de/KjfVy3

Etribes, Digital Kompakt, Metoda & Universität St. Gallen, "E-Commerce Germany Marktreport für Amazon & Co." https://reports.digitalkompakt.de

Hinweis zur Methodik:

Die oben dargestellten Aussagen sind das Ergebnis einer Analyse, die das Verbraucherforum mydealz in der Zeit vom 26. Mai 2020 bis zum 2. Juni 2020 durchgeführt hat. Im Rahmen einer Stichprobe hat das Verbraucherforum mydealz mithilfe des Analysediensts "Review Meta" die Bewertungen von insgesamt 2.010 Produkten analysiert, die bei den Plattformen Amazon.com (USA), Amazon.co.uk (Großbritannien), Amazon.de (Deutschland), Amazon.es (Spanien) und Amazon.fr (Frankreich) in insgesamt 201 Warengruppen jeweils die Top-10 der von Amazon bereitgestellten Bestseller-Listen gebildet haben. Ein Datenblatt zur Analyse inklusive der Rohdaten findet sich hier: https://mdz.me/amazon.

Quelle: Pepper Media Holding GmbH (ots)