كثيراً ما تخلص الدراسات الأكاديمية في العلوم الاجتماعية إلى نتائج متباينة جداً. وحتى في الاختصاصات العلمية الدقيقة كالطب، حيث يمكن أن يتصور المرء وجود علاقة حسية مباشرة بين عناصر التجربة ونتائجها، يمكن أن تتباين النتائج أيضاً. ولكن الكثيرين يعتقدون أنّ تباين نتائج الدراسات في مجال العلوم الاجتماعية يعد أسوأ من غيره، نظراً لأن العلاقة بين عناصر التجربة وآثارها قد تتوقف على العديد من العوامل. كما أنّ الفروقات في ظروف إجراء التجارب أو تطبيقها قد يكون لها أثر بالغ على نتائج الدراسات.
وهنالك أسباب أخرى يمكن أن تؤدي إلى تباين نتائج الدراسات، منها الأخطاء التي تحدث بالمصادفة والتي قد تؤثر على نتائج الدراسة. وقد يحرّف الباحثون، عن وعي أو غير وعي، نتائج دراساتهم. ولقد أدت أسباب التباين هذه إلى الخشية مما يسمى "أزمة تكرار النتائج" في علم النفس وغيره من العلوم الاجتماعية ذات الصلة بعالم الأعمال. فكيف لنا في وجود هذه التباينات الاعتماد على استنتاجات هذه الدراسات والاستفادة منها؟
إنّ الجواب المباشر هو أننا لا يجب أن نعتمد بشكل كبير على نتائج دراسة واحدة. ويجب أن نبحث قدر المستطاع عن الدراسات التحليلية التجميعية (التلوية) أو المراجعات المنهجية التي تعرض توليفة من نتائج العديد من الدراسات. وهذا يرجع إلى أنّ تلك التحليلات والمراجعات يمكنها تقديم استنتاجات أكثر مصداقية وفي بعض الأحيان تقترح أسباباً لتفسير تباين النتائج.
ويجب عند تقدير قيمة أية دراسة ونتائجها الانتباه إلى حجم عينة الدراسة. فمن المرجح فشل تكرار نتائج الدراسات عندما يكون حجم العينة صغيراً، على وجه الخصوص. ومن المعلوم أنّ أكثر النتائج الإيجابية والسلبية هي التي تخرج في كثير من الأحيان من أصغر العينات أو يتم تقديرها على فترات ثقة متباعدة جداً. ومن هنا، فإنّ الدراسات ذات العينات صغيرة الحجم تزيد احتمالات تكرار نتائجها. ويرجع ذلك بشكل جزئي إلى عنصر المصادفة. غير أنّ النتائج يمكن أن تكون أقل كلما كبر حجم العينة، ويرجع ذلك لعدة أسباب. فإذا كانت الدراسة تختبر أثر عنصر تجريبي ما، فقد تكون هناك عوائق لها علاقة بالقدرة وتمنع تطبيق الاختبار بجودة عالية وعلى نطاق كبير. فإذا كنت على سبيل المثال تختبر برنامجاً تدريبياً، فقد لا تضطر إلى توظيف موظفين بدوام كامل لتشغيل البرنامج، ولكن إن أردت تطبيق استخدام البرنامج على نطاق أوسع فقد تحتاج إلى توظيف موظفين جدد، ولكن قد لا يكون بإمكان هؤلاء تشغيل البرنامج بالجودة التي تتصورها.
وكثيراً ما تنحو الدراسات ذات العينات الصغيرة إلى اختيار نفس العينة التي ستُحدث أكبر أثر. وهنالك منطق معين يحكم ذلك السلوك مفاده أنه إذا كان لديك عنصر تجريب مكلف لا يمكنك تطبيقه إلا على عدد صغير من الأشخاص، فإنك من المرجح ستقوم بعملية فرز للأشخاص المحتملين واختار من يمكنهم تحقيق أقصى استفادة من تلك التجربة من بينهم. لكن ذلك يعني أنّ أثر التجربة قد يكون أضعف إذا تم تطبيق التجربة على مجموعة أكبر من الناس. عموماً، قد يكون من المفيد التفكير في الأمور التي تختلف مع زيادة حجم عينة الاختبار. على سبيل المثال، من غير المحتمل أن تؤثر عناصر التجارب الصغيرة على السوق الكبير، ولكن عندما يزيد حجم تلك العناصر فإنّ المنافسين أو الجهات التنظيمية قد يغيرون سلوكهم رداً على تلك التجارب.
وبالمثل، يتعين عليك النظر إلى الخصائص المميزة للعينة وظروف إجراء التجربة وتطبيقها. وعليك أن تسأل ما الذي دفع الباحثون إلى دراسة هؤلاء الأشخاص أو تلك الشركات أو المنتجات تحديداً؟ وهل تتوقع من هذه العينة أن يكون أداؤها أفضل أو أسوأ من أداء العينة التي تهمك؟ وقد يكون للبيئة المحيطة بالتجربة تأثيراتها على النتائج أيضاً. فهل تتوفر في تلك البيئة عناصر خاصة ربما أثرت على النتائج وزادت من حجمها؟ تلك وغيرها أسئلة يجب أن تدور في ذهنك.
إذا كان الهدف من الدراسة تقييم عنصر تجربة ما، فإنّ كيفية تطبيق ذلك العنصر مهم جداً. هب مثلاً أنك سمعت بأنّ رسائل التذكير، وفقاً لإحدى الدراسات، يمكنها تحسين نسبة حضور اللقاءات والاجتماعات. فإذا كنت تفكر في تطبيق نظام للتذكير عبر الرسائل، فإنك قد ترغب بمعرفة عدد مرات تكرار إرسال الرسائل التي أرسلها الباحث في تلك الدراسة بل ومضمون تلك الرسائل كي تحكم على مدى تباين نتائجك مع نتائج هذه الدراسة.
وقد يزيد من ثقتك في نتائج الدراسة وجود آلية واضحة تشرح أسباب النتائج على أنّ هذه الآلية ثابتة بغض النظر عن ظروف إجراء التجربة. على سبيل المثال، تقترح بعض نتائج الدراسات في مجال علم الاقتصاد السلوكي أنّ ثمة قواعد وآليات محددة في السلوك الإنساني تعتبر مبرمجة وتلقائية، ولكن لسوء الحظ من الصعب اكتشاف تلك الآليات. بل إنّ كثيراً من التجارب في مجال علم الاقتصاد السلوكي بدت في أول الأمر وكأنها تستقصي إحدى هذه القواعد المبرمجة، والتي تعذّر تكرار نتائجها. ومن أمثلة ذلك أيضاً إحدى التجارب التي كشفت أنّ السعادة تزيد القدرة على الصبر.
وأخيراً، عندما تبدو النتائج جيدة لدرجة يصعب تصديقها فمن المحتمل أن تكون غير صحيحة. قد يبدو ذلك قولاً مكرراً، لكنه على أية حال حكم مبني على أحد مبادئ الإحصاء البايزي الذي يفيد بأنّ "الادعاءات الغريبة تتطلب دلائل أقوى لكي تستطيع تغيير المعتقدات والأحكام المسبقة السائدة لدى الفرد. فعندما نأخذ معتقداتنا وأحكامنا على محمل الجد ويوجد سبب وجيه للاعتقاد بأنّ الناس كمعدل وسطي يجيدون إطلاق مختلف أنواع التوقعات، فإنّ النتائج التي تبدو غير محتملة في الواقع تكون غالباً غير صحيحة. بعبارة أخرى، إذا أكدنا بالدليل أهمية ثبات نتيجة أو عنصر قوة ما في إحدى الدراسات، فإنّ احتمال أن تكون "النتيجة الإيجابية خاطئة" أو تكون "النتيجة السلبية خاطئة" إنما يتوقف على مدى اعتقادنا بصحة تلك النتيجة قبل أن نسمع بها، أي قبل معرفتنا بالدليل الجديد.
تركز هذه المقالة على أهمية الاعتماد على عدة دراسات، بدلاً من التعويل كثيراً على دراسة واحدة. ولكن ماذا لو لم يكن هنالك دراسات كثيرة حول موضوع معين؟ في هذه الحالة، ينصح بالاستعانة بمصادر إثبات أخرى، مثل نصائح الآخرين وتوقعاتهم. وكما هو الحال في بحوث العلوم الاجتماعية، فإنك تستقبل نصائح متضاربة أيضاً من الآخرين. غير أنّ التوقعات المتواترة غالباً ما تكون دقيقة على نحو جيد. ولكن، يجب أن تحرص على ألا تعتمد مصادرك المتعددة في نهاية المطاف على نفس المعلومة. فقد أظهرت البحوث أنّ الناس عرضة للوقوع في فخ "إهمال الارتباط"، حيث ثبت أنه عندما يبني عدد كبير من الخبراء أو المصادر الإخبارية تقاريرهم على نفس الدراسة فإن الناس تتعامل مع تلك المصادر بصورة خاطئة على أنها مصادر مستقلة ودقيقة، وهو الأمر الذي يجعلهم يبالغون في تقدير أهمية نتائج تلك الدراسة.
والخلاصة، ننصحك أن تثق بمزيج مختلط من خبراتك الخاصة والدلائل التي توفرها نتائج الدراسات، ولكن احذر من الوثوق المفرط بتقييمك الخاص. فغالبية الناس يمكنهم الاستفادة عندما يقومون بتقدير الدلائل بطريقة سليمة، حتى لو تباينت تلك النتائج.
وهنالك أسباب أخرى يمكن أن تؤدي إلى تباين نتائج الدراسات، منها الأخطاء التي تحدث بالمصادفة والتي قد تؤثر على نتائج الدراسة. وقد يحرّف الباحثون، عن وعي أو غير وعي، نتائج دراساتهم. ولقد أدت أسباب التباين هذه إلى الخشية مما يسمى "أزمة تكرار النتائج" في علم النفس وغيره من العلوم الاجتماعية ذات الصلة بعالم الأعمال. فكيف لنا في وجود هذه التباينات الاعتماد على استنتاجات هذه الدراسات والاستفادة منها؟
إنّ الجواب المباشر هو أننا لا يجب أن نعتمد بشكل كبير على نتائج دراسة واحدة. ويجب أن نبحث قدر المستطاع عن الدراسات التحليلية التجميعية (التلوية) أو المراجعات المنهجية التي تعرض توليفة من نتائج العديد من الدراسات. وهذا يرجع إلى أنّ تلك التحليلات والمراجعات يمكنها تقديم استنتاجات أكثر مصداقية وفي بعض الأحيان تقترح أسباباً لتفسير تباين النتائج.
ويجب عند تقدير قيمة أية دراسة ونتائجها الانتباه إلى حجم عينة الدراسة. فمن المرجح فشل تكرار نتائج الدراسات عندما يكون حجم العينة صغيراً، على وجه الخصوص. ومن المعلوم أنّ أكثر النتائج الإيجابية والسلبية هي التي تخرج في كثير من الأحيان من أصغر العينات أو يتم تقديرها على فترات ثقة متباعدة جداً. ومن هنا، فإنّ الدراسات ذات العينات صغيرة الحجم تزيد احتمالات تكرار نتائجها. ويرجع ذلك بشكل جزئي إلى عنصر المصادفة. غير أنّ النتائج يمكن أن تكون أقل كلما كبر حجم العينة، ويرجع ذلك لعدة أسباب. فإذا كانت الدراسة تختبر أثر عنصر تجريبي ما، فقد تكون هناك عوائق لها علاقة بالقدرة وتمنع تطبيق الاختبار بجودة عالية وعلى نطاق كبير. فإذا كنت على سبيل المثال تختبر برنامجاً تدريبياً، فقد لا تضطر إلى توظيف موظفين بدوام كامل لتشغيل البرنامج، ولكن إن أردت تطبيق استخدام البرنامج على نطاق أوسع فقد تحتاج إلى توظيف موظفين جدد، ولكن قد لا يكون بإمكان هؤلاء تشغيل البرنامج بالجودة التي تتصورها.
وكثيراً ما تنحو الدراسات ذات العينات الصغيرة إلى اختيار نفس العينة التي ستُحدث أكبر أثر. وهنالك منطق معين يحكم ذلك السلوك مفاده أنه إذا كان لديك عنصر تجريب مكلف لا يمكنك تطبيقه إلا على عدد صغير من الأشخاص، فإنك من المرجح ستقوم بعملية فرز للأشخاص المحتملين واختار من يمكنهم تحقيق أقصى استفادة من تلك التجربة من بينهم. لكن ذلك يعني أنّ أثر التجربة قد يكون أضعف إذا تم تطبيق التجربة على مجموعة أكبر من الناس. عموماً، قد يكون من المفيد التفكير في الأمور التي تختلف مع زيادة حجم عينة الاختبار. على سبيل المثال، من غير المحتمل أن تؤثر عناصر التجارب الصغيرة على السوق الكبير، ولكن عندما يزيد حجم تلك العناصر فإنّ المنافسين أو الجهات التنظيمية قد يغيرون سلوكهم رداً على تلك التجارب.
وبالمثل، يتعين عليك النظر إلى الخصائص المميزة للعينة وظروف إجراء التجربة وتطبيقها. وعليك أن تسأل ما الذي دفع الباحثون إلى دراسة هؤلاء الأشخاص أو تلك الشركات أو المنتجات تحديداً؟ وهل تتوقع من هذه العينة أن يكون أداؤها أفضل أو أسوأ من أداء العينة التي تهمك؟ وقد يكون للبيئة المحيطة بالتجربة تأثيراتها على النتائج أيضاً. فهل تتوفر في تلك البيئة عناصر خاصة ربما أثرت على النتائج وزادت من حجمها؟ تلك وغيرها أسئلة يجب أن تدور في ذهنك.
إذا كان الهدف من الدراسة تقييم عنصر تجربة ما، فإنّ كيفية تطبيق ذلك العنصر مهم جداً. هب مثلاً أنك سمعت بأنّ رسائل التذكير، وفقاً لإحدى الدراسات، يمكنها تحسين نسبة حضور اللقاءات والاجتماعات. فإذا كنت تفكر في تطبيق نظام للتذكير عبر الرسائل، فإنك قد ترغب بمعرفة عدد مرات تكرار إرسال الرسائل التي أرسلها الباحث في تلك الدراسة بل ومضمون تلك الرسائل كي تحكم على مدى تباين نتائجك مع نتائج هذه الدراسة.
وقد يزيد من ثقتك في نتائج الدراسة وجود آلية واضحة تشرح أسباب النتائج على أنّ هذه الآلية ثابتة بغض النظر عن ظروف إجراء التجربة. على سبيل المثال، تقترح بعض نتائج الدراسات في مجال علم الاقتصاد السلوكي أنّ ثمة قواعد وآليات محددة في السلوك الإنساني تعتبر مبرمجة وتلقائية، ولكن لسوء الحظ من الصعب اكتشاف تلك الآليات. بل إنّ كثيراً من التجارب في مجال علم الاقتصاد السلوكي بدت في أول الأمر وكأنها تستقصي إحدى هذه القواعد المبرمجة، والتي تعذّر تكرار نتائجها. ومن أمثلة ذلك أيضاً إحدى التجارب التي كشفت أنّ السعادة تزيد القدرة على الصبر.
وأخيراً، عندما تبدو النتائج جيدة لدرجة يصعب تصديقها فمن المحتمل أن تكون غير صحيحة. قد يبدو ذلك قولاً مكرراً، لكنه على أية حال حكم مبني على أحد مبادئ الإحصاء البايزي الذي يفيد بأنّ "الادعاءات الغريبة تتطلب دلائل أقوى لكي تستطيع تغيير المعتقدات والأحكام المسبقة السائدة لدى الفرد. فعندما نأخذ معتقداتنا وأحكامنا على محمل الجد ويوجد سبب وجيه للاعتقاد بأنّ الناس كمعدل وسطي يجيدون إطلاق مختلف أنواع التوقعات، فإنّ النتائج التي تبدو غير محتملة في الواقع تكون غالباً غير صحيحة. بعبارة أخرى، إذا أكدنا بالدليل أهمية ثبات نتيجة أو عنصر قوة ما في إحدى الدراسات، فإنّ احتمال أن تكون "النتيجة الإيجابية خاطئة" أو تكون "النتيجة السلبية خاطئة" إنما يتوقف على مدى اعتقادنا بصحة تلك النتيجة قبل أن نسمع بها، أي قبل معرفتنا بالدليل الجديد.
تركز هذه المقالة على أهمية الاعتماد على عدة دراسات، بدلاً من التعويل كثيراً على دراسة واحدة. ولكن ماذا لو لم يكن هنالك دراسات كثيرة حول موضوع معين؟ في هذه الحالة، ينصح بالاستعانة بمصادر إثبات أخرى، مثل نصائح الآخرين وتوقعاتهم. وكما هو الحال في بحوث العلوم الاجتماعية، فإنك تستقبل نصائح متضاربة أيضاً من الآخرين. غير أنّ التوقعات المتواترة غالباً ما تكون دقيقة على نحو جيد. ولكن، يجب أن تحرص على ألا تعتمد مصادرك المتعددة في نهاية المطاف على نفس المعلومة. فقد أظهرت البحوث أنّ الناس عرضة للوقوع في فخ "إهمال الارتباط"، حيث ثبت أنه عندما يبني عدد كبير من الخبراء أو المصادر الإخبارية تقاريرهم على نفس الدراسة فإن الناس تتعامل مع تلك المصادر بصورة خاطئة على أنها مصادر مستقلة ودقيقة، وهو الأمر الذي يجعلهم يبالغون في تقدير أهمية نتائج تلك الدراسة.
والخلاصة، ننصحك أن تثق بمزيج مختلط من خبراتك الخاصة والدلائل التي توفرها نتائج الدراسات، ولكن احذر من الوثوق المفرط بتقييمك الخاص. فغالبية الناس يمكنهم الاستفادة عندما يقومون بتقدير الدلائل بطريقة سليمة، حتى لو تباينت تلك النتائج.
شاركنا رأيك وتجربتك
كن أول من يعلق!
يجب أن تقوم بـ تسجيل الدخول من أجل التعليق على هذا المقال.
يجب أن تقوم بـ تسجيل الدخول من أجل التعليق على هذا المقال.