Sentiment-Benchmark

econobs Textanalysesystem stellt jene von Microsoft, Google und IBM in den Schatten

2017 haben wir uns intensiv mit dem Mitbewerb beschäftigt und in einem eigens dafür entwickelten Benchmarking-Tool die Leistungsfähigkeit von „LingRep“ mit jener anderer Anbieter verglichen. Es wurden dazu die Schnittstellen der führenden Anbieter Google Cloud, Microsoft Azure und IBM Alchemy integriert und Messungen betreffend der Geschwindigkeit und Qualität durchgeführt.
Unser Verfahren ist so transparent und neutral wie möglich. Um zu fairen Vergleichswerten zu kommen, wurden drei offiziell verfügbare Testsets herangezogen – keine von uns vorgefertigten Texte. Diese Testsets stellen manuelle, von echten Menschen bewertete Texte zur Verfügung, die dann in unserem Benchmarking-Tool mit den automatisierten Bewertungen von Google, Microsoft, IBM und econob verglichen wurden.

Sehr gute Ergebnisse

Mit den folgenden Benchmarking-Ergebnissen dürfen wir behaupten, im internationalen Vergleich jedenfalls konkurrenzfähig zu sein. Mit der Analyse deutschsprachiger Texte liefern wir eindeutig die besten Ergebnisse in der Bewertungsperformanz und -präzision. In diesem Fall kann nur mehr IBM als Referenz herangezogen werden, da die Analysedienste von Google und Microsoft die deutsche Sprache nicht unterstützen. Unsere sprachunabhängige „LingRep“ Technologie ist imstande, auch komplexere Sprachmuster zu verarbeiten.

Die folgenden drei Grafiken verdeutlichen das Verhältnis von Bewertungsqualität und Performanz. Die Diagramme sprechen für sich:

 

Diagramm Deutsprachige Tweets
Deutschsprachige Tweets
Testset erstellt durch: Universität Zürich
Ergebnis
econob
IBM
Geschwindigkeit
98%
2%
Qualität
88%
65%
econob hängt IBM vor allem in der Geschwindigkeit ab und weist auch in der Qualität deutlich bessere Ergebnisse vor.
Diagramm Deutschsprachige Produktrezensionen
Deutschsprachige Produktrezensionen
Testset erstellt durch: University of Pennsylvania
Ergebnis
econob
IBM
Geschwindigkeit
83%
17%
Qualität
88%
55%
Die Präzision von LingRep ist vor allem in der deutschen Sprache signifikant höher. Bei komplexen Sprachstrukturen wie jene des Deutschen kann IBM weder in der Geschwindigkeit noch in der Qualität mithalten.
Diagramm Englischsprachige Produktrezensionen
Englischsprachige Produktrezensionen
Testset erstellt durch: University of Pennsylvania
Ergebnis
econob
Google
IBM
Microsoft
Geschwindigkeit
97%
3%
57%
54%
Qualität
82%
80%
57%
73%
Sogar bei den englischsprachigen Produktrezensionen weist econob mit 82% in Summe das beste Ergebnis auf. Google liefert in der Qualität zwar ähnlich gute Ergebnisse, diese aber wesentlich langsamer.
Manuell oder mit herkömmlichen Arbeitsweisen sind Unternehmen nicht mehr in der Lage, den digitalen Anforderungen gerecht zu werden und Big Data auszuwerten. Es bedarf daher der Verwendung automatisierter Systeme, welche unstrukturierte Informationen wie z.B. Texte bewerten und in Echtzeit analysieren. Genau darin liegt die Kernkompetenz der econob GmbH.
Das automatisierte Erkennen – der einem Text zugrundeliegenden „Stimmung“ – wird als Sentimentanalyse bezeichnet. Es lässt sich die Tonalität eines Textes ermitteln; ob dieser als positiv, negativ oder neutral kategorisiert werden kann. Dem Text wird dafür entsprechend einer internationalen, normierten Skala eine Zahl von -1 (extrem negativ) bis +1 (extrem positiv) zugwiesen. Beispiel mit einem sehr positiven Ergebniswert von 0,75: „econobs Textanalysesystem schneidet in der Analyse deutschsprachiger Texte am besten ab.“