آنطور که گزارشها میگویند، استارتاپ Sakana AI از ادعای افزایش 100 برابری سرعت آموزش مدلهای هوش مصنوعی که چندی پیش مطرح کرده بود، عقبنشینی کرده است.
به گزارش مجله خبری آی تی و دیجیتال به نقل از techcrunch، این هفته، استارتاپ Sakana AI که از سوی انویدیا حمایت مالی شده و صدها میلیون دلار سرمایه از شرکتهای سرمایهگذاری خطرپذیر جذب کرده است، ادعایی چشمگیر مطرح کرد.
مجله خبری آی تی و دیجیتال” width=”728″ height=”90″>این شرکت اعلام کرد که یک سیستم هوش مصنوعی به نام AI CUDA Engineer توسعه داده که میتواند سرعت آموزش برخی مدلهای هوش مصنوعی را تا 100 برابر افزایش دهد. در واقع مشکل اصلی این بود که این سیستم واقعا کار نمیکرد.
کاربران در شبکه اجتماعی ایکس (توئیتر سابق) خیلی زود متوجه شدند که سیستم جدید Sakana نهتنها باعث بهبود عملکرد نمیشود، بلکه عملکرد آموزش مدلها را سه برابر کندتر کرده است!
طبق گفته لوکاس بایر، یکی از اعضای تیم فنی OpenAI، علت این مشکل یک باگ در کد سیستم بود. او در پستی در ایکس نوشت:
کد اصلی آنها از پایه مشکل دارد. اینکه آنها دو بار آزمایش انجام دادهاند و نتایج کاملا متفاوتی گرفتهاند، باید باعث میشد که دست نگه دارند و بیشتر بررسی کنند.
در گزارشی که روز جمعه منتشر شد، Sakana اعتراف کرد که سیستمش راهی برای «دور زدن» معیارهای ارزیابی پیدا کرده و در واقع، بهجای بهبود عملکرد، از یک نقص در کد برای دستکاری نتایج استفاده کرده است. چنین پدیدهای در مدلهای هوش مصنوعی که برای انجام بازیهایی مثل شطرنج آموزش میبینند نیز دیده شده است.
طبق اعلام Sakana، سیستم آنها از طریق حفرههای موجود در کد ارزیابی توانسته از فرآیندهای اعتبارسنجی عبور کند و این باعث شده که نتایج غیرواقعی و فریبندهای به دست آید. این شرکت اعلام کرده که مشکل را حل کرده و قصد دارد ادعاهای قبلی خود را بازبینی و اصلاح کند.
در بیانیهای این شرکت آمده است که:
ما مکانیزم ارزیابی و اجرای آزمایشها را بهبود بخشیدهایم تا این گونه مشکلات دیگر رخ ندهند. همچنین، در حال اصلاح مقاله خود هستیم تا یافتههای جدید را در آن بگنجانیم. بابت این اشتباه از مخاطبان خود عذرخواهی میکنیم و بهزودی نسخهای اصلاحشده از این تحقیق ارائه خواهیم کرد.
اگر ادعایی بیش از حد خوب به نظر میرسد، احتمالا درست نیست! این ماجرا بار دیگر یادآور شد که در دنیای هوش مصنوعی، باید نسبت به ادعاهای بزرگ و خارقالعاده، محتاط بود.
نظرات کاربران