لوحة مفاتيح جوجل Gboard ستتيح قريبًا تحويل لغة الإشارة إلى نص!

تعمل جوجل على تطوير ميزة جديدة في لوحة مفاتيح جوجل Gboard لنظام أندرويد، تتيح ترجمة لغة الإشارة إلى نص مكتوب باستخدام كاميرا الهاتف وتقنيات الذكاء الاصطناعي، في خطوة قد تسهم في تسهيل التواصل والكتابة للمستخدمين من الصم وضعاف السمع.

ورُصدت الميزة، التي تحمل اسم Sign-to-Text، خلال تحليل الإصدار التجريبي 17.8.3.939743344 من تطبيق Gboard، لكنها لا تزال في مرحلة مبكرة وغير متاحة للاستخدام العام حتى الآن.

تحويل الإشارات إلى رسائل مكتوبة

وفقًا للمعلومات المكتشفة داخل التطبيق، ستستخدم الميزة كاميرا الهاتف لمتابعة حركات وإشارات المستخدم، ثم تحويلها إلى نص يمكن إدخاله مباشرة في الرسائل ورسائل البريد الإلكتروني وعمليات البحث وغيرها من التطبيقات.

وبذلك سيتمكن المستخدم من التعبير بلغة الإشارة أمام الكاميرا، بينما يتولى الذكاء الاصطناعي تفسير الحركات وكتابتها داخل حقل النص بصورة تلقائية.

ولا توجد حتى الآن أدلة مؤكدة على النموذج الذي ستعتمد عليه جوجل، لكن من المحتمل أن تستفيد الميزة من تقنيات مشابهة لنموذج SignGemma المخصص لفهم لغات الإشارة.

معالجة محلية وسحابية

يبدو أن Sign-to-Text ستعتمد على نظام معالجة هجين يجمع بين الهاتف والخوادم السحابية.

ومن المتوقع أن يتولى نموذج يعمل محليًا على الجهاز استخراج بيانات أساسية من حركة الجسم، مثل النقاط والمتجهات التي تمثل حركة اليدين والذراعين، بدلًا من إرسال تسجيل الفيديو الكامل إلى خوادم جوجل.

بعد ذلك، تُرسل بيانات الحركة إلى السحابة لإجراء عملية الترجمة وتحويلها إلى نص. وتشير رسالة الإعداد المكتشفة داخل التطبيق إلى حذف هذه البيانات فور الانتهاء من عملية التحويل.

وقد تساعد هذه الآلية في تقليل كمية البيانات الشخصية التي تتم مشاركتها، مع الاستفادة من قدرات المعالجة السحابية لتنفيذ الترجمة الأكثر تعقيدًا.

هل تعمل على جميع الهواتف؟

لا يزال من غير الواضح ما إذا كانت الميزة ستتطلب مواصفات محددة أو معالجًا يدعم قدرات متقدمة للذكاء الاصطناعي.

ورغم تنفيذ الجزء الأكبر من عملية الترجمة على خوادم جوجل، فإن تشغيل النموذج المحلي المسؤول عن تحليل الحركة قد يفرض بعض المتطلبات على الأجهزة. ومع ذلك، قد تعمل الشركة على توفير الميزة لأكبر عدد ممكن من هواتف أندرويد.

دعم لغات الإشارة المختلفة

لم تكشف جوجل حتى الآن عن لغات الإشارة التي ستدعمها الأداة، أو ما إذا كانت ستعمل عالميًا منذ إطلاقها.

ومن المحتمل أن تبدأ الميزة بدعم عدد محدود من اللغات، مثل لغة الإشارة الأمريكية ASL، قبل التوسع تدريجيًا إلى لغات أخرى، نظرًا إلى الاختلافات الكبيرة بين أنظمة الإشارة المستخدمة حول العالم.

وتكمل هذه الأداة جهود جوجل الأخيرة لتحسين ميزات إمكانية الوصول في أندرويد، إلا أن ميزة Sign-to-Text لا تزال قيد التطوير، ولا يوجد موعد رسمي لإطلاقها للمستخدمين.

المصدر