مراجعات غير محايدة: هل يمكن الوثوق بتقييمات المنتجات على الإنترنت؟

في زمننا، يبدأ المستهلكون في الكثير من الأحيان بمشاهدة مسلسل تلفزيوني جديد بعد التحقق من جودته وفقاً لموقع روتن توميتوز (Rotten Tomatoes)، ويحجزون في مطعم بناءً على تقييمه على موقع يلب (Yelp)، ويطّلعون على تقييمات المنتج قبل شرائه في موقع أمازون.

لكن إلى أي مدى يمكننا أن نثق بالمعلومات الواردة في هذه التقييمات؟ قد يكون تجميع التقييمات الخام مضللاً، حتى بغض النظر عن مشكلة التقييمات الزائفة الموثقة جيداً. كما وثّقنا في بحثنا الذي ستنشره قريباً مجلة علوم الإدارة (Management Science)، يعود ذلك إلى مزيج من عاملين: أولاً، يميل المستهلكون الأكثر خبرة إلى شراء المنتجات العالية الجودة وتقييمها، ما يعني أن لديهم توقعات أعلى. بالنتيجة، تخضع المنتجات المتدنية الجودة لمعايير أعلى وقد تحصل على تقييمات أخفض في المتوسط مقارنة بالبدائل التي تتمتع بجودة أقل.

هناك العديد من الأمثلة على هذا التحيز. قد تبدو كاميرا احترافية مخيّبة بالنسبة لمصوري ناشيونال جيوغرافيك الذين يشترونها، لأنهم معتادون على استخدام معدات رفيعة المستوى. على النقيض من ذلك، قد تُسعد كاميرا أقل جودة المستخدمين الهواة. ينطبق الأمر نفسه عند مقارنة المطاعم الحائزة نجمة ميشلان بمطاعم الوجبات السريعة، أو درجة رجال الأعمال بالدرجة الاقتصادية في الرحلات الجوية، أو الفنادق ذات الخمس نجوم بتلك الاقتصادية. بما أن مستهلكي هذه السلع ينتمون إلى شرائح مختلفة، فالمقارنة بين تقييماتهم هي في الحقيقة مقارنة غير عادلة" سوف تضلل المشترين في المستقبل.

قد يجادل البعض بأن التسعير يفسر هذه الاختلافات، فهل من المنطقي أن يخضع مطعم حائز نجمة ميشلان ويكلف الحجز فيه مئات الدولارات للمعايير نفسها التي تخضع لها المطاعم التي تكلف وجباتها السريعة عشرة دولارات؟ على الرغم من أن هذه النقطة صحيحة بلا شك، اعتقدنا أنها تمثّل تفسيراً جزئياً فقط، ولإثبات ذلك اخترنا دراسة هذا التحيز في سوق أسعارها موحدة، وهي سوق الأفلام.

حالة تصنيفات الأفلام

حللنا أكثر من 9 آلاف فيلم في موقع آي إم دي بي (IMDb) من التي حصلت على أكثر من 650 مليون تقييم. يبرز هذا الموقع ​​النتيجة المتوسطة لكل فيلم ويقدم درجات منفصلة من "أفضل ألف" مستخدم من مستخدميه؛ أي الذين قيّموا أكبر عدد من العناوين في المنصة. عمّقنا التحليل أكثر من خلال النظر في 15 مليون تقييم فردي من موقع موفي لينز (MovieLens)، وهو موقع شهير لتوصيات الأفلام. بالإضافة إلى ذلك، قسنا الجودة باستخدام مؤشرات خارجية مثل جوائز المهرجانات والترشيحات والتقييمات من النقاد المحترفين.

كما توقعنا، يميل أفضل ألف مستخدم في موقع آي إم دي بي إلى مشاهدة الأفلام التي تتمتع بأعلى جودة وتقييمها بصرامة أكبر. من بين الأفلام ذات الخصائص المتشابهة، مثل سنة الإنتاج والفئة وعدد التقييمات، تلقت الأفلام التي حصلت على جائزة واحدة أو ترشيح واحد على الأقل نسبة من التقييمات أعلى بـ 5% قدمها أفضل ألف مستخدم. بالإضافة إلى ذلك، منح هؤلاء المستخدمون درجات أقل لـ 98% من الأفلام التي درسناها مقارنة بالمستخدم العادي.

تكشف هذه النتائج مجتمعة عن تحيز واضح ضد الأفلام ذات الجودة العالية؛ بما أن هذه الأفلام يجب أن تثير إعجاب جمهور مطلع وناقد بدرجة أكبر، فتقييماتها منخفضة نسبياً مقارنة بنظيراتها التي تتمتع بجودة أقل.

حل سهل التطبيق

على الرغم من انتشار هذا التحيّز على نطاق واسع، فمن الممكن معالجته بحل بسيط، ويكمن السر في تعديل التقييمات عند حسابها وفقاً لصرامة المستخدمين. بناءً على تقييمات الأفراد في موقع موفي لينز، قسنا "صرامة" كل مستخدم من خلال مقارنة تقييماته بمتوسط التقييمات الذي حصلت عليه الأفلام نفسها. على سبيل المثال، إذا قيّم أحد المستخدمين الأفلام بدرجة أقل من غيره باستمرار، فنضخم تقييماته لتعويض الفارق ثم نعيد حساب التقييمات المعدلة لكل مستخدم ونجمعها لكل فيلم. بما أن التقييمات والصرامة مترابطان، حرصنا على تكرار هذه العملية حتى توازنت التقييمات.

أثبتت النتائج صحة فرضيتنا؛ إذ ارتبطت التصنيفات المعدلة بدقة أكبر مع مؤشرات الجودة الخارجية، مثل الترشيحات والجوائز من المهرجانات السينمائية الكبرى مثل صن دانس (Sundance) وتورنتو وكان والبندقية.

التبعات على المنصات

تسلط دراستنا الضوء على مشكلة أساسية تتعلق بتقييمات المستهلكين. حتى لو افترضنا أن كل مستهلك يقيّم المنتجات بصدق (ولكن على نحو ذاتي) وأنه لا توجد تقييمات زائفة، فإن المقارنات بين متوسط ​​الدرجات قد تكون مضللة جداً فيما يتعلق بتحديد الجودة النسبية للمنتجات، وذلك لأن المنتجات المختلفة تخضع لمعايير مختلفة تماماً.

تقدم نتائجنا أيضاً تفسيراً محتملاً للتفاوت القائم منذ زمن بين آراء النقاد والمستهلكين العاديين. على الرغم من أن اختلاف الأذواق الشخصية قد يؤدي دوراً، فإن النتائج التي توصلنا إليها تشير إلى أن هذا التفاوت ناجم أيضاً عن التجميع الخاطئ لآراء المستهلكين. يؤكد النظر في تقييمات كل من المستخدمين العاديين وأفضل ألف مستخدم هذه النقطة أكثر (علماً أن أفضل ألف مستخدم يشبهون في الكثير من النواحي النقاد المحترفين من حيث الذوق وسلوك التقييم)؛ إذ إننا لاحظنا ارتباطاً وثيقاً بين هذه التقييمات. بتعبير آخر، يميل المستخدمون العاديون وأفضل ألف مستخدم إلى الإعجاب بالأفلام نفسها، ولكن إعجاب أفضل ألف مستخدم بكل فيلم تقريباً يكون أقل.

تمنح منصات عديدة الأولوية لتقييمات المستخدمين الأكثر خبرة وتعمل على تضخيمها. على الرغم من أن هذه الاستراتيجية لها مزاياها الواضحة، فإنها قد تؤدي عن طريق الخطأ إلى خفض تقييمات المنتجات العالية الجودة من خلال منح أهمية أكبر للتقييمات الشديدة الصرامة. لمعالجة هذه المشكلة، تستطيع المنصات جعل التقييمات مستقرة من خلال تعديلها وفقاً لصرامة المستخدم. يوفر هذا النهج فوائد إضافية، على سبيل المثال، يخفض نسبة التقييمات المفرطة الإيجابية على نحو مريب التي يقدمها المراجعون الزائفون أو المدفوع لهم دون الحاجة إلى تحديد التقييمات الزائفة على نحو صريح.

يجب على المدراء أيضاً إعادة النظر في اعتمادهم على التقييمات المبكرة من المستهلكين أصحاب الخبرة العالية. على الرغم من أن هؤلاء المستخدمين يقدمون تقييمات مفصلة ومدروسة غالباً، قد تؤدي معاييرهم الأكثر صرامة إلى منح تقييمات أكثر صرامة. على سبيل المثال، قد يلاحظ المؤلفون الذين يطلبون التقييمات المبكرة في موقع غود ريدز (Goodreads) أن أفضل المراجعين يقيّمون كتبهم بأسلوب ناقد أكثر مقارنة بالقرّاء العاديين.

في نهاية المطاف، يتعين على المنصات أن تدرك أن التحيزات في تقييمات المستهلكين ليست مجرد نتيجة للجهات الخبيثة (مثل الأشخاص الذين يجرون التقييمات الزائفة)، بل إنها متأصلة بعمق في تصميم أنظمة التقييمات. تمثّل الخوارزميات التي تعدّل التقييمات وفقاً لهذا التحيز طرقاً واعدة يمكن اتباعها في المستقبل؛ إذ إنها تمكّن الأسواق والشبكات من تعزيز إنصاف منتجاتها وموثوقيتها.