تناقض الصوت والنص يرفع خطأ النماذج اللغوية في تمييز المشاعر

يحمل الصوت البشري طبقتين متزامنتين من المعنى: ما يقوله المتحدث بألفاظه، وكيف يقوله بنبرته وإيقاعه، لكن هاتين القناتين لا تتطابقان دائمًا في المحادثة اليومية. وحين تختلف النبرة عن دلالة اللفظ، كما في حالات التهكم أو التردد أو إخفاء الغضب، تفقد النماذج اللغوية الصوتية قدرتها على الضبط، وتتحول هذه الفجوة إلى محرك مباشر لأخطاء التقييم الشعوري.

أظهرت ورقة بحثية أودعها الباحثان فنغجي جينغ وغاي لابان في أرشيف «arXiv» أن عدم التطابق بين قناتي الصوت والنص يرفع احتمالات الخطأ في التعرف على المشاعر بمجرد حضور الإشارة الصوتية. واختبر الباحثان ثلاثة نماذج لغوية قادرة على معالجة الصوت عبر ثلاث قواعد بيانات تمثل أنماطًا متباينة من الكلام: الكلام التمثيلي في قاعدة «eNTERFACE'05»، والمحادثات المنظمة في «MELD»، والتعبير العفوي في «CMU-MOSEI».

تفكيك فجوة الدلالة

اعتمد الفريق منهجية تسقط النص والصوت معًا داخل فضاء إحداثي مشترك يقيس ثلاثة أبعاد نفسية: التكافؤ الوجداني، ومستوى الاستثارة، ودرجة الهيمنة (Valence-Arousal-Dominance). ومن خلال قياس المسافة الهندسية الفاصلة بين تمثيل النص وتمثيل الصوت، بنى الباحثان مقياسًا مستمرًا للتناقض يعتمد على نموذج المزيج الغاوسي ثنائي المكونات دون الحاجة إلى عتبات حدية مسبقة، وجرى التحقق من حساسية المقياس بمقارنته مع أحكام بشرية مستقلة.

وجاءت النتيجة حاسمة في كافة البيئات: مع تثبيت بنية النموذج عبر الوسائط المتعددة، زادت احتمالات الخطأ في تمييز المشاعر كلما ارتفعت درجة التناقض في وجود الصوت، وظل هذا التأثير قائمًا حتى بعد ضبط المتغيرات للتحكم في المشاعر الحقيقية المرجعية والمسافة داخل فضاء الخصائص. ولم تتغير الخلاصة حتى بعد إعادة حساب المقياس دون الاعتماد على معجم المشاعر اللفظي، ليبرهن الباحثون أنه المقياس الوحيد الخالي من التسميات التصنيفية القادر على التنبؤ بالأخطاء عبر مجموعات البيانات الثلاث مقارنة بستة بدائل أبسط.

أزمة دمج الإشارات

كشفت التجارب مفارقة تقنية في آلية المعالجة: مصنفات التعلم الخاضع للإشراف، التي دُربت على الخصائص الرقمية نفسها، تصرفت باتجاه معاكس تمامًا للنماذج اللغوية الكبيرة. ويشير هذا التباين إلى أن الخلل لا ينبع من ضعف الإشارة الخام الملتقطة في التسجيل، بل يكمن في طريقة دمج النماذج اللغوية الصوتية للأدلة واستخلاص المعنى حين تتعارض القناتان، مما يجعل القراءات المستندة إلى النص وحده غير مستقرة؛ إذ أدى استبدال النموذج القارئ للنص وحده إلى عكس اتجاه التأثير بالكامل في إحدى قواعد البيانات.

يضع هذا الكشف قيودًا تشغيلية مباشرة أمام فرق الهندسة وتطوير المنتجات في المنطقة، خصوصًا المصارف وشركات الاتصالات ومراكز الاتصال الحكومية في السعودية والإمارات التي تتجه إلى استبدال قنوات الرد الصوتي بوكلاء صوتيين مؤتمتين. فاعتماد هذه المؤسسات على النماذج الصوتية الكبيرة لقياس رضا المتعاملين أو كشف احتقان العملاء في المكالمات الحية سيواجه نسب خطأ مرتفعة متى ما استخدم العميل نبرة هادئة لتمرير شكوى قاسية، أو لجأ إلى التورية السائدة في اللهجات المحلية؛ إذ تصبح تكلفة القرار المؤتمت هنا عبئًا ماليًا وتنظيميًا يدفع الفرق الفنية إلى إعادة فصل طبقات التصنيف وعدم الاعتماد على القراءة الصوتية الموحدة وحدها.