هوش مصنوعی جدید اپل قادر است داده‌های صفحه‌نمایش گوشی را درک کند

محققان اپل سیستم هوش مصنوعی جدیدی را توسعه داده‌اند که قادر است داده‌ها و ورودی‌های صفحه‌نمایش گوشی، بافت یا محتوای مکالمات و تصاویر را درک کند. این سیستم که می‌تواند تعاملات طبیعی‌تری با دستیارهای صوتی فراهم کند و بنچمارک‌های آن بهتر از مدل GPT-4 است.

این هوش مصنوعی که به نام ReALM شناخته می‌شود، از مدل‌های زبانی بزرگ برای درک ارجاعات مختلف بصری برای ارتباط طبیعی‌تر با کاربر استفاده می‌کند. این سیستم توانایی بهبود دستیار صوتی سیری را دارد.

محققان اپل تأکید می‌کنند که توانایی درک پیش‌زمینه مکالمه و تصاویر برای یک دستیار صوتی بسیار حائز اهمیت است. به عنوان مثال، در استفاده از حالت CarPlay، دستیار صوتی می‌تواند با تشخیص تصاویر در پنل نوتیفیکیشن کاربر، کارهای او را از طریق فرمان‌های صوتی بهتر انجام دهد.

در جریان یک مقاله تحقیقاتی، محققان اپل نحوه عملکرد سیستم ReALM را مفصل شرح داده‌اند. در بخشی از این مقاله آمده که سیستم فوق از داده‌های گوشی و کاربر برای ارتباط طبیعی‌تر با او استفاده می‌کند، از جمله داده‌های صفحه‌نمایش گوشی، داده‌های مکالمه و داده‌های دنیای خارج و واقعی.

با توجه به این پیشرفت‌ها، اگر اپل بتواند این سیستم را به‌درستی پیاده‌سازی کند، انتظار می‌رود دستیار صوتی بهبود قابل توجهی یابند و قدرتمندتر شوند. به نظر می‌رسد که سیستم ReALM با استفاده از پارامترهای کمتر، نسبت به مدل‌های پیشرفته امروزی بهتر عمل می‌کند.