Poprosiłem AI o ocenę merytoryczną raportu Barbary Mróz Gorgoń o Beskidach.
Wnioski przewidywalne a wy zapłaciliście za to kolejne 200k
Tak. Przeczytałem dokument nie tylko jako „strategię marketingową”, ale przede wszystkim jako opracowanie mające udawać diagnozę opartą na badaniach. I tu moja ocena jest znacznie bardziej krytyczna.
Werdykt w skrócie
Poziom językowo-marketingowy: 7/10
Poziom merytoryczny jako strategii marketingowej: 5/10
Poziom metodologiczny jako dokumentu badawczego: 2–3/10
Poziom akademickości: 3/10
Prawdopodobieństwo bardzo intensywnego wykorzystania AI: bardzo wysokie — moim zdaniem 85–95%.
I co ważne: nie twierdzę, że autorem jest osoba bez wykształcenia ani że cały dokument został wygenerowany przez AI. Wręcz przeciwnie — publiczne informacje pokazują, że Barbara Mróz-Gorgoń ma bardzo mocne wykształcenie i dorobek w marketingu, zarządzaniu i brandingu.
Natomiast sam dokument nie prezentuje poziomu metodologicznego, którego można by oczekiwać po osobie o takim dorobku, jeśli traktować go jako rzeczywistą diagnozę badawczą.
⸻
1. Największy problem: dokument wygląda jak „akademicki”, ale nie jest dokumentem akademickim
Już spis treści robi bardzo dobre pierwsze wrażenie. Mamy:
* triangulację,
* IDI,
* FGI,
* desk research,
* semiotykę,
* NLP,
* analizę sentymentu,
* psychologię emocji,
* archetypy,
* KPI,
* benchmarki,
* governance,
* ewaluację,
* scenariusze.
To brzmi imponująco.
Problem pojawia się wtedy, gdy zaczynamy pytać:
Jak dokładnie przeprowadzono te badania?
I tutaj dokument zaczyna się rozpadać.
Przykład najbardziej jaskrawy: autor deklaruje analizę ponad 50 000 komentarzy z Google Maps, Booking, TripAdvisor, Facebooka i Instagrama. Następnie podaje wynik 93% emocji pozytywnych, a później bardzo precyzyjny rozkład:
* radość – 25%,
* zaufanie – 21%,
* spokój – 17%,
* zaskoczenie – 11%,
* oczekiwanie – 10%.
To są dane, które powinny mieć bardzo szczegółową metodologię.
Nie wiemy natomiast:
* kiedy pobrano dane,
* ile komentarzy pochodziło z każdego źródła,
* jakie były kryteria włączenia,
* jak usunięto duplikaty,
* jak traktowano komentarze wielojęzyczne,
* jaki model NLP zastosowano,
* jaki model sentymentu zastosowano,
* jak walidowano klasyfikację,
* jak rozstrzygano emocje wieloznaczne,
* jaka była jednostka analizy,
* czy 93% dotyczy komentarzy, zdań czy emocji,
* jak obliczono wartości z koła Plutchika.
A to nie jest detal.
To jest metodologia całego wyniku.
⸻
2. „50 000 komentarzy” jest wręcz podejrzanie wygodną liczbą
Dokument mówi:
„Analizie poddano ponad 50 000 komentarzy”
i dalej natychmiast przechodzi do bardzo eleganckich kategorii emocjonalnych.
W prawdziwym raporcie badawczym spodziewałbym się przynajmniej tabeli:
Źródło liczba rekordów okres po czyszczeniu
Google X 2023–2025 X
Booking X … X
TripAdvisor X … X
Facebook X … X
Instagram X … X
Tego nie ma.
Nie ma też wyników modelu, macierzy klasyfikacji, błędu, inter-rater reliability czy choćby przykładowego kodowania.
W efekcie czytelnik ma uwierzyć autorowi na słowo.
A w dokumencie określającym się jako diagnoza jest to bardzo słabe.
⸻
3. Jeszcze większy problem: FGI i IDI
Dokument deklaruje 20 wywiadów pogłębionych, trwających 60–180 minut, oraz sześć grup fokusowych.
To samo w sobie jest całkowicie możliwe i może być wartościowym badaniem jakościowym.
Ale brakuje rzeczy fundamentalnych:
* liczebności uczestników poszczególnych FGI,
* sposobu rekrutacji,
* kryteriów doboru,
* lokalizacji,
* scenariusza wywiadu,
* informacji o nagrywaniu/transkrypcji,
* sposobu kodowania,
* kategorii analitycznych,
* procedury dochodzenia do nasycenia,
* informacji, kto analizował materiał.
Zamiast tego dostajemy serię bardzo „ładnych” cytatów:
„Beskidy są dobre do życia. Tu człowiek oddycha spokojniej.”
„Każdy robi swoje, a marka potrzebuje jednego silnego gospodarza.”
itd.
I tu pojawia się jedna z największych czerwonych lampek.
Te cytaty są idealnie dopasowane do późniejszej narracji „Natura Kultury”.
Nie mówię, że są zmyślone. Tego nie da się stwierdzić na podstawie dokumentu.
Ale metodologicznie nie mamy możliwości sprawdzić, czy są reprezentatywne, charakterystyczne, czy zostały wybrane dlatego, że dobrze pasowały do już przyjętej koncepcji.
⸻
4. Dokument ma problem z podstawową zasadą: diagnoza → wniosek → strategia
W dobrym dokumencie powinno być:
dane → analiza → wniosek → rekomendacja.
Tutaj bardzo często wygląda to raczej tak:
założona narracja → dobór danych pasujących do narracji → efektowna interpretacja → rekomendacja.
Najlepszym przykładem jest „Natura Kultury”.
Już pierwsze strony są napisane jak manifest artystyczny:
„Natura daje oddech, kultura otwiera serce…”
a następnie:
„cisza, która nie jest pustką”,
„światłoczułość”,
„kultura codzienności”,
„język czułości”,
„język światła”,
„rytuały światła”,
„ścieżki czułości”.
Dokument jest niesamowicie konsekwentny w produkowaniu słownika tej marki.
I właśnie ta konsekwencja jest jednocześnie jego siłą marketingową i słabością diagnostyczną.
⸻
5. „Naukowy” język jest często dekoracją
To jest chyba najciekawszy element całego dokumentu.
Autor używa bardzo dużej liczby terminów naukowych:
* kapitał bonding,
* bridging,
* linking,
* semiotyka,
* psychologia emocji,
* archetypy,
* NLP,
* Plutchik,
* branding relacyjny,
* antropologia,
* sensoryczność,
* triangulacja.
Ale często termin nie wykonuje realnej pracy analitycznej.
Przykład:
„Beskidy posiadają jeden z najstabilniejszych i najbardziej wartościowych profili społecznych spośród regionów górskich w Polsce.”
To jest bardzo mocne twierdzenie.
Gdzie jest porównanie?
Które regiony?
Jak mierzono „stabilność”?
Jak mierzono „wartościowość”?
Jaki wskaźnik?
Jaka próba?
Jaki poziom istotności?
Nie wiadomo.
Podobnie:
„To rzadki profil psychologiczno-kulturowy w górskich regionach.”
Znów: gdzie jest badanie porównawcze?
⸻
6. Najbardziej kuriozalny fragment: triangulacja
Dokument mówi, że triangulacja „eliminuje błędy poznawcze wynikające z jednostronnych źródeł danych”.
To jest metodologicznie zbyt mocne, żeby nie powiedzieć błędne.
Triangulacja może ograniczać ryzyko błędu, pozwalać na konfrontację różnych perspektyw i zwiększać wiarygodność interpretacji.
Nie „eliminuje błędy poznawcze”.
To brzmi jak zdanie wygenerowane przez model językowy na podstawie hasła:
„napisz naukowo o zaletach triangulacji”.
⸻
7. Kolejna bardzo mocna poszlaka AI: konstrukcja języka
Tutaj jestem znacznie bardziej stanowczy.
Dokument jest pełen charakterystycznego schematu:
„nie X, lecz Y”
Na przykład:
* „nie produkt turystyczny, lecz fenomen kulturowo-emocjonalny”,
* „nie promujemy Beskidów — opowiadamy o relacji z Beskidami”,
* „nie hasło, lecz koncepcja tożsamościowa”,
* „nie katalogowy — doświadczeniowy”,
* „nie scena — codzienność”,
* „nie spektakl — łagodność”.
To jest bardzo typowy rytm generatywnego copywritingu.
Do tego dochodzi ogromna liczba triad:
natura – kultura – człowiek
emocja – narracja – symbol
światło – rytm – oddech
krajobraz – kultura – relacja
oraz ciągłe:
„Mikro-konkluzja”.
To wygląda jak tekst wygenerowany według bardzo precyzyjnego promptu typu:
„Napisz kompleksową strategię marki terytorialnej, stosując język akademicki, strategiczny i emocjonalny; po każdym podrozdziale dodaj mikro-konkluzję.”
I właśnie dlatego moje oszacowanie udziału AI jest wysokie.
⸻
8. Są nawet ślady „halucynacyjnego” charakteru AI
Najbardziej niepokoi mnie zestawienie ogromnej pewności z brakiem danych źródłowych.
Przykład:
„Regeneratorzy (ok. 40–45%)”
„Rodziny i turyści relacyjni (ok. 25–30%)”
To wygląda jak wynik segmentacji.
Ale nie dostajemy:
* liczebności próby,
* kryteriów segmentacji,
* zmiennych,
* modelu,
* sposobu wyliczenia.
To jest właśnie rodzaj liczby, którą LLM bardzo łatwo „produkuje”, ponieważ brzmi prawdopodobnie.
⸻
9. Jest też problem z samym Plutchikiem
Dokument deklaruje wykorzystanie „modelu emocji Plutchika” i przypisuje emocjom procenty: 25%, 21%, 17%, 11%, 10%.
To wygląda naukowo.
Ale sam fakt wykorzystania koła emocji Plutchika nie daje automatycznie możliwości powiedzenia, że 25% komentarzy wyraża Joy, 21% Trust itd.
Trzeba zdefiniować procedurę kodowania.
I tego właśnie nie dostajemy.
Co więcej, dokument miesza język Plutchika z kategoriami typu „spokój / akceptacja”, co wymagałoby metodologicznego uzasadnienia.
⸻
10. „Mikro-konkluzje” są moim zdaniem bardzo mocnym sygnałem AI
To jeden z najbardziej charakterystycznych elementów.
Prawie każdy rozdział ma:
Mikro-konkluzję.
A każda jest napisana podobnym rytmem:
„X jest więc…”
„W efekcie…”
„Dlatego…”
„W tym sensie…”
To nie jest normalna konstrukcja profesjonalnego raportu strategicznego tej długości.
To przypomina automatyczne domykanie wygenerowanych sekcji.
Co więcej, dokument ma aż 248 stron, ale jego rzeczywista zawartość jest znacznie mniej gęsta niż sugeruje objętość.
⸻
11. Bardzo mocna poszlaka: dokument jest „za kompletny”
To paradoks.
Mamy tu wszystko:
* diagnozę,
* strategię,
* archetypy,
* KPI,
* governance,
* system produktów,
* system komunikacji,
* brandbook,
* fotografię,
* typografię,
* system przestrzenny,
* monitoring,
* ewaluację,
* scenariusze,
* wdrożenie 36-miesięczne,
* horyzont 2035,
* produkty premium,
* VR/AR,
* podcast,
* immersję itd.
To nie wygląda jak wynik ograniczonego projektu badawczego.
Wygląda jak próba wygenerowania kompletnej „księgi strategicznej” obejmującej wszystko, co powinno się znaleźć w takim dokumencie.
I właśnie dlatego merytoryczna głębokość poszczególnych elementów jest niewielka.
⸻
12. Jest też ciekawa sprzeczność dotycząca dat
Dokument na stronie formalnej mówi:
wersja finalna / data wydania: 2025,
natomiast obecnie jest publikowany w pliku znajdującym się w katalogu /2026/08/.
Sama różnica nie jest oczywiście dowodem na nic złego — może chodzić o ponowną publikację. Ale przy analizie dokumentu warto to odnotować.
⸻
13. Co z wykształceniem autora?
Tutaj zrobiłbym bardzo ważne rozróżnienie.
Gdybym dostał ten dokument anonimowo i miał ocenić autora wyłącznie po tekście, nie powiedziałbym: „autor jest profesorem”.
Powiedziałbym:
Autor posiada bardzo dobre obycie w języku marketingu, brandingu, zarządzania marką i komunikacji strategicznej, zna terminologię akademicką, ale sposób wykorzystania metodologii nie pozwala mi przypisać tekstowi wysokiego poziomu naukowego.
To jest istotna różnica.
Natomiast po sprawdzeniu danych niezależnie od stopki okazuje się, że autorka rzeczywiście ma stopień doktora habilitowanego, jest profesorką UEW, pracuje w Katedrze Zaawansowanych Badań w Zarządzaniu, ma dorobek naukowy i książkę wydaną przez PWN.
Co więcej, jej wcześniejszy dorobek metodologiczny jest oceniany bardzo wysoko: w jednej z oficjalnych recenzji jej rozprawy podkreślono m.in. solidne ramy metodologiczne, właściwy dobór metod, badania jakościowe i ilościowe oraz świadomość ograniczeń badań.
I to prowadzi do najciekawszego wniosku całej analizy.
⸻
14. Moja hipoteza dotycząca AI
Nie sądzę, żeby najbardziej prawdopodobnym scenariuszem było:
„AI napisało wszystko, a człowiek tylko podpisał.”
Bardziej prawdopodobny wydaje mi się model:
człowiek → koncepcja → materiały → AI → rozbudowanie → redakcja człowieka.
Czyli ktoś posiadający kompetencje marketingowe stworzył zasadniczą koncepcję:
Beskidy = łagodność + natura + kultura + regeneracja
a następnie AI zostało wykorzystane do:
* rozwinięcia koncepcji,
* stworzenia kolejnych rozdziałów,
* dopisywania „mikro-konkluzji”,
* tworzenia rekomendacji,
* produkowania KPI,
* rozwinięcia języka strategicznego,
* generowania nazw projektów,
* tworzenia quasi-akademickich uzasadnień.
To tłumaczyłoby fenomen dokumentu:
bardzo dobry pomysł strategiczny + bardzo dużo tekstu + bardzo słaba dokumentacja tego, skąd dokładnie wynikają poszczególne twierdzenia.
⸻
15. I tutaj pojawia się problem etyczny, ale niekoniecznie „AI”
LOT Beskidy oficjalnie twierdzi, że dokument „nie” jest wynikiem działania AI i że wnioski są autentycznym zbiorem informacji od uczestników spotkań.
Ja natomiast nie podpisałbym się pod tak kategorycznym stwierdzeniem na podstawie samego dokumentu.
Nie dlatego, że mogę udowodnić użycie AI.
Tego nie mogę.
Ale stylistyczne i strukturalne przesłanki są bardzo mocne.
Co więcej, dokument zawiera twierdzenia, których nie da się zweryfikować na podstawie przedstawionej metodologii. I to jest problem niezależny od tego, czy pisał je człowiek, ChatGPT czy dziesięciu konsultantów.
⸻
Moja końcowa ocena
Gdybym miał wystawić ocenę recenzenta:
Jako strategia marketingowa: 6/10
Jako diagnoza marki: 4/10
Jako raport badawczy: 2/10
Jako tekst akademicki: 2/10
Jako dokument prezentacyjny dla samorządu: 7/10
Jako „produkt” konsultingowy: 7/10
Jako dokument dowodowy, na podstawie którego można podejmować decyzje publiczne: 3/10.
Najkrócej:
To jest bardzo sprawnie napisowany dokument strategiczno-marketingowy, który wykorzystuje język nauki znacznie intensywniej, niż wykorzystuje jej metodologię.
A najbardziej niepokojące nie jest nawet to, że moim zdaniem widać w nim bardzo silny ślad AI.
Najbardziej niepokojące jest to, że dokument przedstawia bardzo konkretne wyniki badań, których czytelnik nie może samodzielnie zweryfikować.
I właśnie dlatego, jeśli ktoś chce wykazać, że ten dokument został w dużej części wygenerowany przez AI, nie zaczynałbym od detektorów AI. Detektory są słabym dowodem.
Znacznie mocniejsza byłaby „sekcja dowodowa”: 15–20 konkretnych fragmentów dokumentu, w których pokazujemy twierdzenie → deklarowane źródło → brak danych pozwalających je odtworzyć → błąd metodologiczny → charakterystyczny wzorzec generatywny.
To byłoby już naprawdę mocne.
Zostaw komentarz