ارائه‌ی مدل‌های زبان هوش مصنوعی گوگل با PalM

مدل‌های زبان بزرگ (LLM) جدید گوگل به نام PaLM، اولین نتیجه Pathways، معماری هوش مصنوعی جدید گوگل است که هدف آن انجام همزمان بسیاری از وظایف، یادگیری سریع وظایف جدید و درک بهتر از جهان است.

به گزارش مجله خبری آی تی و دیجیتال و به نقل از venturebeat، مدل زبان بزرگ Pathways گوگل، به اختصار PALM یک کار بزرگ با اهداف بلندپروازانه است. این معماری هوش مصنوعی جدید گوگل قادر است میلیون ها کار مختلف از جمله یادگیری و استدلال پیچیده را انجام دهد. سیستم جدید Pathways Language Model نامیده می شود که به آن PALM می گویند.

اگرچه بسیاری از جنبه‌های مدل زبان مسیرها (PaLM) نیاز به ارزیابی دارد، اما نشان‌دهنده گام جدیدی در LLM است.

در PaLM ، یک مدل ترانسفورماتور با پارامتر 540 میلیاردی، تنها با رمزگشای متراکم و با سیستم Pathways آموزش داده شده است.

نسخه‌های معماری جدید شامل PaLM 8B با 8 میلیارد پارامتر، PaLM 62B با 62 میلیارد پارامتر و PaLM 540B با 540 میلیارد پارامتر است. گوگل نسخه‌های مختلفی را ایجاد کرده است.

اولین چیزی که هنگام بحث در مورد LLM باید در نظر گرفت، کارایی فرآیند آموزش است.

آموزش PalM در بسیاری از سطوح پیشرفته است. در سطح سخت‌افزاری، PaLM 540B بر روی دو TPU v4 Pods که از طریق یک شبکه مرکز داده (DCN) متصل شده‌اند، آموزش داده می شود.

چگونه LLM را آموزش دهیم؟

مجموعه داده مورد استفاده برای آموزش PaLM ترکیبی از صفحات وب چند زبانه فیلتر شده (27%)، کتاب‌های انگلیسی (13%)، مقالات چند زبانه ویکی پدیا (4%)، مقالات خبری انگلیسی (1%)، کد منبع GitHub (5%) و مکالمات چند زبانه در رسانه‌های اجتماعی (50%) است

تقریباً 78٪ از کل منابع انگلیسی هستند، منابع آلمانی و فرانسوی با 3.5٪ و 3.2٪ و منابع دیگر در رتبه‌های بعدی قرار دارند.

به طور خلاصه، به نظر می‌رسد که PaLM می‌تواند کارهای بیشتری را در زمان کم و با منابع کمتری انجام دهد.