أعلنت OpenAI عن GLIDE، الشبكة العصبية التي تعدّل الصور وفق وصف نصي
كان توليد الصور من النص من أكثر المجالات نشاطًا وإثارة في الذكاء الاصطناعي عام 2021. وفي يناير 2021 قدمت OpenAI نموذج DALL-E، وهو نسخة من نموذج اللغة GPT-3 المحوّل التابع للشركة، ويضم 12 مليار معامل، ومصمم لإنشاء صور شبيهة بالصور الفوتوغرافية باستخدام تسميات نصية بوصفها تعليمات.
لاقى DALL-E نجاحًا فوريًا في مجتمع الذكاء الاصطناعي، كما حظي أداؤه المبهر بتغطية إعلامية واسعة. وفي نوفمبر 2021 أصدرت الشركة التقنية العملاقة NVIDIA نموذج GauGAN2 المبني على GAN، واستُوحي اسمه من الفنان الفرنسي ما بعد الانطباعية بول غوغان، بينما استُوحي اسم DALL-E من الفنان السريالي سلفادور دالي.
ولعدم التخلف عن الركب، قدّم باحثو OpenAI نموذج GLIDE (Guided Language-to-Image Diffusion for Generation and Editing)، وهو شبكة عصبية تضاهي أداء DALL-E مع استخدام أقل من ثلث عدد معاملاته.
«أظهرت الأبحاث الأخيرة أن نماذج الانتشار تولّد صورًا اصطناعية عالية الجودة، لا سيما عند دمجها مع تقنية التوجيه التي تتيح الموازنة بين التنوع والدقة. نحن نستكشف نماذج الانتشار لمهمة توليف الصور المشروطة بالنص، ونقارن استراتيجيتين مختلفتين للتحكم: توجيه CLIP والتوجيه دون مصنّف. وقد وجدنا أن الأخيرة يفضّلها المقيّمون من حيث الواقعية الفوتوغرافية وتطابق التسميات، وأنها غالبًا ما تنتج عينات شبيهة بالصور الفوتوغرافية»، جاء ذلك في الدراسة المنشورة على arXiv.
رغم أن معظم الصور يسهل وصفها بالكلمات، فإن إنشاء الصور من نص مكتوب يتطلب مهارات خاصة وساعات طويلة من العمل. ويتيح دمج الذكاء الاصطناعي لإنشاء صور شبيهة بالفوتوغرافية تلقائيًا من تعليمات بلغة طبيعية للناس إمكانية إنتاج محتوى بصري غني ومتنوع بسهولة غير مسبوقة، كما يتيح تحسينًا تكراريًا أسهل وتحكمًا دقيقًا في الصور المولّدة.
أظهرت الأبحاث الحديثة أن نماذج الانتشار القائمة على الاحتمالية يمكنها أيضًا توليد صور اصطناعية عالية الجودة، لا سيما عند دمجها مع تقنية التوجيه المصممة للموازنة بين التنوع والدقة. وفي مايو 2021 قدمت OpenAI نموذجًا موجّهًا يتيح للخوارزميات الاعتماد على تسميات المصنّف.
يطوّر GLIDE هذا التقدم بتطبيق الانتشار الموجّه على مهمة توليف الصور المشروطة بالنص. وبعد تدريب نموذج GLIDE الذي يضم 3,5 مليار معامل، ويستخدم مشفّر نصوص لتحديد شروط الوصف باللغة الطبيعية، قارن الباحثون استراتيجيتين مختلفتين للتحكم: توجيه CLIP والتوجيه دون مصنّف.
CLIP هو نهج قابل للتوسع لتعلّم التمثيلات المشتركة للنص والصورة، ويوفر تقييمًا يعكس مدى قرب الصورة من التسمية. وطبّق الفريق هذا الأسلوب على نماذجه، إذ استبدل المصنّف بنموذج CLIP يقوم بـ«توجيه» الشبكة.
التوجيه دون مصنّف أسلوب للتحكم في نماذج الانتشار لا يتطلب تدريب مصنّف منفصل. ويتمتع بخاصيتين جذابتين:
- يتيح لنموذج واحد استخدام معارفه الخاصة أثناء التوجيه، بدلًا من الاعتماد على معارف نموذج تصنيف منفصل.
- يبسّط عملية التوجيه عند استخدام معلومات يصعب التنبؤ بها باستخدام مصنّف.
لاحظ الباحثون أن المقيّمين من البشر فضّلوا الصور المستخرجة دون مصنّف، سواء من حيث الواقعية الفوتوغرافية أو من حيث تطابقها مع التسميات.
في الاختبارات، أنتج GLIDE صورًا عالية الجودة تتضمن ظلالًا وانعكاسات وملمسًا واقعيًا. كما يستطيع النموذج دمج عدة مفاهيم (مثل كلب الكورجي وربطات العنق الفراشية والقبعات الاحتفالية)، مع إسناد سمات مثل الألوان إلى هذه الأشياء.
إلى جانب إنشاء الصور من النص، يمكن استخدام GLIDE أيضًا لتعديل الصور الموجودة، مثل إدراج أشياء جديدة وإضافة الظلال والانعكاسات وتنفيذ الرسم على الصور، وذلك باستخدام تعليمات نصية بلغة طبيعية.
كما يستطيع GLIDE تحويل الرسوم الخطية البسيطة إلى صور شبيهة بالفوتوغرافية، وتبدو قدرات الشبكة في الإنشاء والترميم دون أخذ عينات قوية جدًا في السيناريوهات المعقدة.
مقارنةً بـ DALL-E، فضّل المقيّمون من البشر الصور الناتجة عن GLIDE، رغم أنه نموذج أصغر بكثير (3,5 مليار معامل مقابل 12 مليار معامل). كما أنه يتطلب زمن استجابة أقل في أخذ العينات، ولا يحتاج إلى إعادة ترتيب بواسطة CLIP.
يدرك فريق الباحثين أن شبكتهم العصبية قد تسهّل على المحتالين إنشاء معلومات مضللة مقنعة أو تزييف عميق. ولتجنب مثل هذه الاستخدامات، أصدروا نسخة مصغّرة من الشبكة ونموذج CLIP مع ضوضاء، مدرّب على مجموعات بيانات مُفلترة. ويتوفر الكود المصدري على GitHub الخاص بالمشروع.
«يتيح GLIDE إنشاء صور شبيهة بالفوتوغرافية، ودمج المفاهيم بالشكل الصحيح، وتنفيذ تصور فني. ووفق تقديرات الفريق، تبدو النتائج أفضل من عينات DALL-E في 87% من الحالات»، هكذا صرّحت OpenAI.
وذكر محررو ZME Science أن جودة الصور النهائية تضاهي في كثير من الأحيان العمل الدقيق في Photoshop. ويتعامل النظام مع الطلبات المعقدة مثل «تعليق لوحة لفان غوخ على الحائط»، لكنه لا يفهم دائمًا الطلبات الغريبة مثل «سيارة بعجلات مثلثة».
