أداء التحسين على التضمينات الاصطناعية لـ Gaussian والشجرة

جدول الروابط

نبذة مختصرة و 1. المقدمة

1. الأعمال ذات الصلة

2. تقنيات الاسترخاء المحدب لآلات المتجهات الداعمة الزائدية

   3.1 المقدمات

   3.2 الصيغة الأصلية لـ HSVM

   3.3 الصيغة شبه المحددة

   3.4 استرخاء مجموع مربعات العزم

3. التجارب

   4.1 مجموعة البيانات الاصطناعية

   4.2 مجموعة البيانات الحقيقية

4. المناقشات والشكر والمراجع

   \

أ. البراهين

ب. استخراج الحلول في الصيغة المخففة

ج. حول التسلسل الهرمي لاسترخاء مجموع مربعات العزم

د. مقياس بلات [31]

هـ. نتائج تجريبية مفصلة

و. آلة المتجهات الداعمة الزائدية القوية

4.1 مجموعة البيانات الاصطناعية

\ بشكل عام، نلاحظ مكاسب صغيرة في متوسط دقة الاختبار ودرجة F1 المرجحة من SDP وMoment مقارنة بـ PGD. والجدير بالذكر أننا نلاحظ أن Moment غالبًا ما يُظهر تحسينات أكثر اتساقًا مقارنةً بـ SDP، عبر معظم التكوينات. بالإضافة إلى ذلك، يعطي Moment فجوات مثالية 𝜂 أصغر من SDP. وهذا يتوافق مع توقعنا بأن Moment أكثر إحكامًا من SDP.

\ على الرغم من أنه في بعض الحالات، على سبيل المثال عندما 𝐾 = 5، يحقق Moment خسائر أصغر بكثير مقارنة بكل من PGD وSDP، إلا أن هذا ليس هو الحال عمومًا. نؤكد أن هذه الخسائر ليست قياسات مباشرة لقابلية تعميم الفواصل الزائدية ذات الهامش الأقصى؛ بل هي مجموعات من تعظيم الهامش والعقوبة على التصنيف الخاطئ الذي يتناسب مع 𝐶. وبالتالي، فإن الملاحظة بأن الأداء في دقة الاختبار ودرجة F1 المرجحة أفضل، على الرغم من أن الخسارة المحسوبة باستخدام الحلول المستخرجة من SDP وMoment أعلى أحيانًا من تلك من PGD، قد يكون بسبب المشهد المعقد للخسارة. وبشكل أكثر تحديدًا، يمكن أن تُعزى الزيادات الملحوظة في الخسارة إلى تعقيدات المشهد بدلاً من فعالية طرق التحسين. بناءً على نتائج الدقة ودرجة F1، تحدد طرق SDP وMoment تجريبيًا حلولاً تتعمم بشكل أفضل من تلك التي يتم الحصول عليها عن طريق تشغيل الانحدار التدريجي وحده. نقدم تحليلاً أكثر تفصيلاً حول تأثير المعاملات الفائقة في الملحق E.2 ووقت التشغيل في الجدول 4. تم تصوير حد القرار لـ Gaussian 1 في الشكل 5.

\

\ تضمين الشجرة الاصطناعي. نظرًا لأن المساحات الزائدية جيدة لتضمين الأشجار، فإننا ننشئ رسوم بيانية شجرية عشوائية ونضمنها في H2 باتباع Mishne et al. [6]. على وجه التحديد، نصنف العقد على أنها إيجابية إذا كانت أبناء عقدة محددة وسلبية بخلاف ذلك. ثم يتم تقييم نماذجنا لتصنيف الشجرة الفرعية، بهدف تحديد حد يتضمن جميع عقد الأبناء داخل نفس الشجرة الفرعية. مثل هذه المهمة لها تطبيقات عملية متنوعة. على سبيل المثال، إذا كانت الشجرة تمثل مجموعة من التوكنات، فيمكن لحد القرار تسليط الضوء على المناطق الدلالية في المساحة الزائدية التي تتوافق مع الأشجار الفرعية للرسم البياني للبيانات. نؤكد أن السمة الشائعة في مثل هذه مهمة تصنيف الشجرة الفرعية هي عدم توازن البيانات، الذي يؤدي عادةً إلى قابلية تعميم ضعيفة. لذلك، نهدف إلى استخدام هذه المهمة لتقييم أداء طرقنا في ظل هذا الإعداد الصعب. تم اختيار ثلاثة تضمينات وتصورها في الشكل 3 ويتم تلخيص الأداء في الجدول 1. يمكن العثور على وقت تشغيل الأشجار المحددة في الجدول 4. تم تصوير حد القرار للشجرة 2 في الشكل 6.

\ على غرار نتائج مجموعات بيانات Gaussian الاصطناعية، نلاحظ أداءً أفضل من SDP وMoment مقارنة بـ PGD، وبسبب عدم توازن البيانات الذي تعاني منه طرق GD عادةً، لدينا مكاسب أكبر في درجة F1 المرجحة في هذه الحالة. بالإضافة إلى ذلك، نلاحظ فجوات مثالية كبيرة لـ SDP ولكن فجوة ضيقة جدًا لـ Moment، مما يشهد على مثالية Moment حتى عندما يكون عدم التوازن الطبقي شديدًا.

\

\

:::info المؤلفون:

(1) شينغ يانغ، مدرسة جون أ. بولسون للهندسة والعلوم التطبيقية، جامعة هارفارد، كامبريدج، ماساتشوستس (shengyang@g.harvard.edu)؛

(2) بيهان ليو، مدرسة جون أ. بولسون للهندسة والعلوم التطبيقية، جامعة هارفارد، كامبريدج، ماساتشوستس (peihanliu@fas.harvard.edu)؛

(3) سنجيز بهليفان، مدرسة جون أ. بولسون للهندسة والعلوم التطبيقية، جامعة هارفارد، كامبريدج، ماساتشوستس، مركز علوم الدماغ، جامعة هارفارد، كامبريدج، ماساتشوستس، ومعهد كيمبنر لدراسة الذكاء الطبيعي والاصطناعي، جامعة هارفارد، كامبريدج، ماساتشوستس (cpehlevan@seas.harvard.edu).

:::

:::info هذه الورقة متاحة على arxiv بموجب ترخيص CC by-SA 4.0 Deed (الإسناد-المشاركة بالمثل 4.0 الدولية).

:::

\