Trafność analizy sentymentu sprawdzisz tylko na własnych danych: losujesz próbkę wzmianek, dwie osoby oznaczają ją ręcznie według wspólnej instrukcji, a potem porównujesz te etykiety z wynikiem narzędzia. Taki test zajmuje kilka godzin i odpowiada na pytanie, którego nie rozstrzygnie żadna prezentacja dostawcy: czy liczby w panelu opisują rozmowy o Twojej marce, czy tylko przypominają opis.
Wyniki z materiałów sprzedażowych zwykle pochodzą z innych tekstów, innej branży i często z innego języka. Wpisy o klinice, sklepie z elektroniką i sieci restauracji różnią się słownictwem, a polszczyzna dokłada własne trudności, które opisujemy w tekście o tym, dlaczego automatyczna analiza sentymentu myli się na polszczyźnie. Poniżej znajdziesz procedurę, którą można powtórzyć co kwartał.
Krok 1: przygotuj instrukcję oznaczania
Zanim ktokolwiek przeczyta pierwszą wzmiankę, zapisz, co znaczy każda etykieta. Wystarczy jedna strona: definicja tonu pozytywnego, negatywnego i neutralnego, zasada dla wpisów mieszanych oraz kilka przykładów z Twojej branży. Ustal też, czyj ton oceniacie. Wpis „konkurencja znowu podniosła ceny, dobrze, że u was bez zmian” jest negatywny wobec konkurenta i pozytywny wobec marki.
Instrukcja ma realny wpływ na wynik. Twórcy polskiego korpusu recenzji PolEmo 2.0 opisali, że przy pierwszej wersji wytycznych dwie osoby oznaczające teksty uzyskały zgodność 80 procent na poziomie całych recenzji i 78 procent na poziomie zdań. Po dwóch poprawkach instrukcji wyniki wzrosły do 90 i 87 procent. W tym samym badaniu zgodność dla kategorii pośrednich, takich jak opinia przeważnie pozytywna z zastrzeżeniami, w większości przypadków nie przekraczała 40 procent. Jeśli więc Twoje narzędzie rozróżnia pięć odcieni tonu, sprawdź najpierw, czy ludzie potrafią je zgodnie rozróżnić.
Krok 2: wylosuj próbkę, zamiast ją wybierać
Najczęstszy błąd polega na sprawdzaniu wzmianek, które ktoś i tak zauważył, czyli najgłośniejszych wpisów i kryzysowych wątków. Taka próbka mówi niewiele o codziennym strumieniu. Lepiej wyeksportować wszystkie wzmianki z ostatniego miesiąca i wylosować z nich ustaloną liczbę, osobno dla każdego ważnego kanału, na przykład opinii w Google, komentarzy na Facebooku i forów.
Wielkość próbki zależy od tego, jak precyzyjnej odpowiedzi potrzebujesz. Artykuł metodologiczny Mary McHugh o współczynniku kappa podaje jako ogólną heurystykę, że porównanie nie powinno obejmować mniej niż 30 obserwacji, a przedział ufności zawęża się wraz z liczbą ocenianych elementów. Do praktycznej kontroli monitoringu rozsądnym punktem startu jest około 200 wzmianek na kanał. Przy rzadkich negatywnych wpisach warto dolosować dodatkowe przykłady z etykietą negatywną, żeby było z czego liczyć wskaźniki dla tej klasy.
Krok 3: policz zgodność ludzi, zanim ocenisz maszynę
Dwie osoby oznaczają próbkę niezależnie, bez podglądania etykiet narzędzia. Najpierw porównujesz ich wyniki ze sobą. Najprostsza miara to odsetek zgodnych ocen. McHugh zwraca uwagę, że wiele podręczników przyjmuje 80 procent zgodności jako minimum, a współczynnik kappa Cohena dodatkowo koryguje wynik o zgodność przypadkową. Obie liczby mogą się mocno różnić: w przytoczonym przez autorkę badaniu ten sam zbiór dał 94,2 procent zgodności i kappę na poziomie 0,555. Dlatego warto raportować obie.
Niska zgodność ludzi oznacza, że problem leży w definicjach lub w samym materiale. Wtedy poprawiasz instrukcję i powtarzasz oznaczanie. Rozbieżności rozstrzyga trzecia osoba, a ustalona w ten sposób etykieta staje się punktem odniesienia dla narzędzia.
Krok 4: sprawdź trafność analizy sentymentu
Dopiero teraz zestawiasz etykiety narzędzia z wzorcem ustalonym przez ludzi. Ogólna dokładność łatwo wprowadza w błąd, bo w monitoringu marki większość wzmianek bywa neutralna. Dlatego dla klasy negatywnej liczy się dwie osobne miary, opisane między innymi w dokumentacji scikit-learn: precyzję, czyli jaka część wzmianek oznaczonych jako negatywne naprawdę jest negatywna, i czułość, czyli jaką część wszystkich negatywnych wzmianek narzędzie wychwyciło.
| Miara | Co pokazuje | Jak liczyć | Kiedy myli |
|---|---|---|---|
| Zgodność ludzi | Czy definicje etykiet są jasne | Zgodne oceny / wszystkie oceny | Gdy jedna klasa dominuje w próbce |
| Kappa Cohena | Zgodność po odjęciu przypadku | Wzór Cohena lub arkusz | Przy bardzo nierównych klasach bywa zaniżona |
| Dokładność narzędzia | Odsetek trafnych etykiet ogółem | Trafne etykiety / cała próbka | Gdy przeważają wzmianki neutralne |
| Precyzja dla negatywnych | Ile alarmów jest prawdziwych | Trafne negatywne / wszystkie oznaczone jako negatywne | Nie mówi nic o przeoczeniach |
| Czułość dla negatywnych | Ile krytyki narzędzie wyłapuje | Trafne negatywne / wszystkie negatywne we wzorcu | Nie mówi nic o fałszywych alarmach |
Scenariusz hipotetyczny: w próbce 200 wzmianek wzorzec wskazuje 40 negatywnych. Narzędzie oznaczyło jako negatywne 35 wpisów, z czego 28 trafnie. Precyzja wynosi 28 z 35, czyli 80 procent, a czułość 28 z 40, czyli 70 procent. Jeśli pozostałe etykiety były w większości poprawne, ogólna dokładność może przekraczać 85 procent, a mimo to co trzecia krytyczna wzmianka nie trafia do kolejki reakcji.
Osobno przejrzyj wpisy z wynikiem zbliżonym do zera. Dokumentacja Google Cloud Natural Language wyjaśnia, że wynik bliski zeru może oznaczać tekst neutralny albo mieszany, w którym pozytywne i negatywne fragmenty się znoszą. Do ich rozróżnienia służy osobna miara siły emocji (magnitude). Jeśli Twoje narzędzie pokazuje tylko jedną liczbę, wpisy mieszane łatwo zginą wśród neutralnych.
Co zrobić z wynikiem testu
Wynik testu powinien zmienić sposób korzystania z danych. Przy wysokiej precyzji i niskiej czułości automatyczne etykiety negatywne nadają się do szybkiego wychwytywania alarmów, ale kanały o dużym znaczeniu, na przykład opinie w wizytówce, trzeba dalej czytać ręcznie. Przy niskiej precyzji zespół traci czas na fałszywe alarmy, więc warto zawęzić reguły lub słowa kluczowe. Przy niskiej zgodności ludzi lepiej uprościć skalę do trzech klas.
W raporcie dla zarządu lub klienta podaj datę testu, wielkość próbki, precyzję i czułość dla wzmianek negatywnych. Taki dopisek zmienia sposób czytania wykresu sentymentu i pasuje do sekcji metodologii w miesięcznym raporcie reputacji dla klienta agencji. Agencje prowadzące wiele marek powinny robić test osobno dla każdego klienta, bo słownictwo branżowe zmienia wynik, o czym piszemy przy monitoringu reputacji wielu klientów.
Kontrolę powtarzaj raz na kwartał i po każdej większej zmianie: nowym kanale, kampanii, zmianie modelu po stronie dostawcy lub nowej kategorii produktów. Wtedy procent wzmianek pozytywnych staje się liczbą o znanym marginesie błędu, którą można zestawiać z innymi wskaźnikami reputacji marki bez nadinterpretacji.