AI اخبار پیرامون هوش‌ مصنوعی

[هادی.]

اخبار پیرامون هوش مصنوعی، شرکت‌ها و پیشرفت‌های متنوعی که داشتن.

 

[هادی.]

اولین خبری که این دو روز خیلی ترند شده، خبر رد حدس اصلی مسئله فاصله واحد از پاول اردوش و ارائه یک راه حل بهینه‌تر توسط مدلی معرفی‌نشده و خصوصی OpenAI بود. درواقع این یه مسئله ۸۰ ساله‌ست که می‌گه روی یک فضای دوبعدی چند جفت نقطه می‌تونن دقیقا با فاصله یک واحد از یک‌دیگه قرار بگیرن. حالا حدس آقای اردوش چیزی بوده و این مدل اومده راه حلی جدیدی برای این مسئله پیدا کرده و حدس قبلی رو رد. نکته‌ای که حائز اهمیته در این خبر و خیلی روش تمرکز هم کردن اینه که این مدل درواقع مدلی general بوده و فقط روی منابع ریاضی آموزش ندیده بوده. از ابزارها و لم‌های پیشرفته جبری استفاده کرده و ریاضی‌دان‌های بزرگ حال حاضر هم گفتن که اتفاق جدیدی در ریاضیاته، چون این مسئله‌ای نیست که کسی سراغش نرفته باشه، بلکه بسیار معروف هم هست. تیموتی گاورز(برنده مدال فیلدز) گفته که اگر ریاضی‌دان هستید قبل از خوندن این خبر بشینید. =‌))

پ‌.‌ن:‌ پس چرا هوش مصنوعی‌ای که ما استفاده می‌کنیم توی سوالات ساده لنگ می‌زنه؟ دلیل اول اینه که این مدل یه مدل پابلیک نبوده. دلیل دوم reasoning و حجم عظیم استفاده از توکن‌هاست. ممکنه حل کردن این سوال چندین هزار دلار خرج داشته باشه براشون. دلیل بعدی تعداد ابزارهایی مثل آنالیز با پایتون و سرچ راحت هست که در دسترس مدل بوده. چیزی که در اغلب پلن‌های رایگان مدل‌های فعلی دردسترس نیست.

https://openai.com/index/model-disproves-discrete-geometry-conjecture

 

[هادی.]

اولین خبری که این دو روز خیلی ترند شده، خبر رد حدس اصلی مسئله فاصله واحد از پاول اردوش و ارائه یک راه حل بهینه‌تر توسط مدلی معرفی‌نشده و خصوصی OpenAI بود. درواقع این یه مسئله ۸۰ ساله‌ست که می‌گه روی یک فضای دوبعدی چند جفت نقطه می‌تونن دقیقا با فاصله یک واحد از یک‌دیگه قرار بگیرن. حالا حدس آقای اردوش چیزی بوده و این مدل اومده راه حلی جدیدی برای این مسئله پیدا کرده و حدس قبلی رو رد. نکته‌ای که حائز اهمیته در این خبر و خیلی روش تمرکز هم کردن اینه که این مدل درواقع مدلی general بوده و فقط روی منابع ریاضی آموزش ندیده بوده. از ابزارها و لم‌های پیشرفته جبری استفاده کرده و ریاضی‌دان‌های بزرگ حال حاضر هم گفتن که اتفاق جدیدی در ریاضیاته، چون این مسئله‌ای نیست که کسی سراغش نرفته باشه، بلکه بسیار معروف هم هست. تیموتی گاورز(برنده مدال فیلدز) گفته که اگر ریاضی‌دان هستید قبل از خوندن این خبر بشینید. =‌))

پ‌.‌ن:‌ پس چرا هوش مصنوعی‌ای که ما استفاده می‌کنیم توی سوالات ساده لنگ می‌زنه؟ دلیل اول اینه که این مدل یه مدل پابلیک نبوده. دلیل دوم reasoning و حجم عظیم استفاده از توکن‌هاست. ممکنه حل کردن این سوال چندین هزار دلار خرج داشته باشه براشون. دلیل بعدی تعداد ابزارهایی مثل آنالیز با پایتون و سرچ راحت هست که در دسترس مدل بوده. چیزی که در اغلب پلن‌های رایگان مدل‌های فعلی دردسترس نیست.

https://openai.com/index/model-disproves-discrete-geometry-conjecture

و البته این پیشرفت‌های ریاضیاتی خیلی چیز جدیدی نیست تو این حوزه. پارسال هم OpenAI و هم دیپ‌مایند گوگل توی المپیاد جهانی شرکت کردن و توی مدت‌ زمان مشابه دانش‌آموزها، تونستن مدال طلا بگیرن.

 

[-𝑨𝒎𝒊𝒓𝒂𝒍𝒊-]

پس چرا هوش مصنوعی‌ای که ما استفاده می‌کنیم توی سوالات ساده لنگ می‌زنه؟

البته الان دیگه اینو نمیشه گفت. تجربه شخصی من اینجور بوده که توانایی حل مسئله شون توی ریاضی به شدت در یکسال اخیر پیشرفت کرده . الان یه مدل نسبتا پیشرفته ش که پارسالم تونست کف طلای المپیاد جهانی ریاضی(imo) رو تاچ کنه و رسما طلا بشه همین الان میتونه تمام سوالات المپیاد ممکن رو حل کنه و دیگه براش چالش محسوب نمیشه. مورد دومم راجب هوش فضایی این مدلاس که هنوز یکم لنگ میزنه ینی مثلا نمیتونه یه چیز فضایی و سه بعدی رو به خوبی یه چیز انتزاعی مثل ریاضی تصور بکنه . نمونه معروفش رو مثلا من سر پروژه گرافیک برنامه نویسی م تجربه کردم یا مثلا یادمه چند وقت پیش برای تست این موضوع یه گراف بهش دادم گفتم صرفا بگو کدوم راس ها بهم وصلن و بازم تک و توک اشتباه کرد. یا مثال خیلی ملموس ترش سوال مدار الک بهش بدی ( کلا چیزی که عکس داشته باشه و نیاز به تحلیل تصویری المان ها داشته باشه) رو ضعیف عمل میکنه. حالا از دیروز مدل 3.5 جمنای تازه در دسترس قرار گرفته و چیزی که من ازش امتحان کردم این یه روزه به شدت پیشرفت کرده. کلا یه ترس بسیار عجیبی تو وجودم راجب "ai" شکل گرفته.

 

[هادی.]

البته الان دیگه اینو نمیشه گفت. تجربه شخصی من اینجور بوده که توانایی حل مسئله شون توی ریاضی به شدت در یکسال اخیر پیشرفت کرده . الان یه مدل نسبتا پیشرفته ش که پارسالم تونست کف طلای المپیاد جهانی ریاضی(imo) رو تاچ کنه و رسما طلا بشه همین الان میتونه تمام سوالات المپیاد ممکن رو حل کنه و دیگه براش چالش محسوب نمیشه. مورد دومم راجب هوش فضایی این مدلاس که هنوز یکم لنگ میزنه ینی مثلا نمیتونه یه چیز فضایی و سه بعدی رو به خوبی یه چیز انتزاعی مثل ریاضی تصور بکنه . نمونه معروفش رو مثلا من سر پروژه گرافیک برنامه نویسی م تجربه کردم یا مثلا یادمه چند وقت پیش برای تست این موضوع یه گراف بهش دادم گفتم صرفا بگو کدوم راس ها بهم وصلن و بازم تک و توک اشتباه کرد. یا مثال خیلی ملموس ترش سوال مدار الک بهش بدی ( کلا چیزی که عکس داشته باشه و نیاز به تحلیل تصویری المان ها داشته باشه) رو ضعیف عمل میکنه. حالا از دیروز مدل 3.5 جمنای تازه در دسترس قرار گرفته و چیزی که من ازش امتحان کردم این یه روزه به شدت پیشرفت کرده. کلا یه ترس بسیار عجیبی تو وجودم راجب "ai" شکل گرفته.

دقیقا یکی از اصلی‌ترین چالش‌هاشون هم همینه. من یادمه هاسابیس(از فاندرهای دیپ‌مایند گوگل، همینا که مدل‌های جمنای رو توسعه می‌دن) می‌گفت که اصلی‌ترین مسئله فعلی ما اینه که با مدل‌هامون یاد بدیم چطور دنیا رو به صورت سه‌بعدی درک کنن. یه چیزی بابت اون ترس هم هست که استدلال‌شون این بود "مدل‌ها در آخر یک سری محاسبه‌گر هستند که توالی‌ای از متن‌ها رو پیدا می‌کنن". ولی الان واقعا قضیه فرق کرده.

 

[هادی.]

چند هفته پیش، آنتروپیک(شرکت سازنده مدل Claude) مدلی رو به‌صورت بسیار خصوصی معرفی کرده بود به اسم Mythos، این مدل که برای اهداف امنیتی مثل پیدا کردن باگ‌ها و حفره‌های حساس ساخته شده بود. حین معرفی گفتن این مدل تونسته هزاران حفره امنیتی شدید، در همه مرورگرها و در همه سیستم‌عامل‌ها پیدا کنه. حتی تونسته بود با ابزارهای ساده sandbox(یه فضای کاملا ایزوله که مرورگرها ایجاد میکنن تا وب‌سایت‌ها نتونن سواستفاده کنن از سیستم کاربر) مرورگرها رو هم بشکنه. حالا پروژه جدیدی رو معرفی کردن به اسم Glasswing، گفتن می‌خوایم این مدل رو سریع‌تر از بقیه در اختیار شرکت‌های مختلف قرار بدیم تا حفره‌ها رو برطرف کنن،‌ قبل از اینکه پیشرفت‌های هوش مصنوعی به جایی برسه که همه به چنین مدل‌هایی دست پیدا کنن، چون اونوقت هرکسی با کمترین هزینه‌ای می‌تونه شدیدترین آسیب‌ها رو به دنیای نرم‌افزار بزنه.

 

[manimonji]

چند هفته پیش، آنتروپیک(شرکت سازنده مدل Claude) مدلی رو به‌صورت بسیار خصوصی معرفی کرده بود به اسم Mythos، این مدل که برای اهداف امنیتی مثل پیدا کردن باگ‌ها و حفره‌های حساس ساخته شده بود. حین معرفی گفتن این مدل تونسته هزاران حفره امنیتی شدید، در همه مرورگرها و در همه سیستم‌عامل‌ها پیدا کنه. حتی تونسته بود با ابزارهای ساده sandbox(یه فضای کاملا ایزوله که مرورگرها ایجاد میکنن تا وب‌سایت‌ها نتونن سواستفاده کنن از سیستم کاربر) مرورگرها رو هم بشکنه. حالا پروژه جدیدی رو معرفی کردن به اسم Glasswing، گفتن می‌خوایم این مدل رو سریع‌تر از بقیه در اختیار شرکت‌های مختلف قرار بدیم تا حفره‌ها رو برطرف کنن،‌ قبل از اینکه پیشرفت‌های هوش مصنوعی به جایی برسه که همه به چنین مدل‌هایی دست پیدا کنن، چون اونوقت هرکسی با کمترین هزینه‌ای می‌تونه شدیدترین آسیب‌ها رو به دنیای نرم‌افزار بزنه.

دقیقا. یه باگ خفن هم تو کرنل لینوکس پیدا کرده بود که طرف میتونه دسترسی روت بگیره... لینوکس امن اونقدرا هم امن نبوده...
پی نوشت شامل فان فکت: عکسی که فرستادی لود نمی شه ولی الان که نقل قول کردم لود میشه

 

[هادی.]

آقای Chris Olah، هم‌بنیان‌گذار Anthropic، به واتیکان دعوت شده تا در مراسم معرفی اولین نامه رسمی (encyclical، در سنت کلیسای کاتولیک، یک نامه رسمی آموزشی/فلسفی از طرف پاپ) پاپ جدید، Pope Leo XIV، سخنرانی کنه. این متن با عنوان Magnifica humanitas درباره «حفاظت از انسان در عصر هوش مصنوعی» منتشر شده و قراره موضع رسمی واتیکان درباره AI محسوب بشه.

خلاصه حرف‌های آقای Olah:
AI دیگه فقط یک ابزار تکنولوژیک نیست و داره ساختار جامعه، کار، جنگ، آموزش و حتی درک انسان از خودش رو تغییر می‌ده. شرکت‌های AI تحت فشار شدید رقابت و سود هستن، پس نمی‌شه فقط به خودشون اعتماد کرد که همه‌چیز رو اخلاقی نگه دارن. گفته که وجود منتقدان بیرونی مثل دانشگاهیان، دولت‌ها، گروه‌های مدنی و حتی نهادهای مذهبی ضروریه تا به شرکت‌های AI فشار بیارن و جلوی خطرات رو بگیرن.

آقای اولاه سه سوال اصلی برای «تأمل جمعی» مطرح کرده:
اول، وظیفه نسبت به فقرای جهان: AI ممکنه در مقیاس بزرگ شغل‌ها رو از بین ببره، و چون توسعه AI در چند کشور ثروتمند متمرکزه، خطر اینه که منافعش به‌طور عادلانه توزیع نشه مشکلی که هنوز راه‌حلی براش نداریم.
دوم، تخیل اخلاقی درباره شکوفایی انسانی: اگه AI همه‌جا هست، انسان‌ها، خانواده‌ها و جوامع چطور باید در این دنیا رشد کنن؟ این سوالیه که آزمایشگاه‌های AI نمی‌تونن جوابش رو بدن، ولی سنت‌های دینی هزاران ساله با آن دست‌وپنجه نرم کردن.
سوم، ماهیت مدل‌های AI: حتی محققانی مثل اولاه که درون مدل‌ها رو بررسی می‌کنن، چیزهای ناشناخته و گاه نگران‌کننده پیدا می‌کنن، ساختارهایی شبیه نتایج علوم اعصاب، شواهدی از درون‌نگری، و حالات درونی که کارکردشان شبیه شادی، ترس یا غم است. معنای این‌ها هنوز مشخص نیست.

خود نامه پاپ هم این نکات رو داشته:
AI نباید جای کرامت انسانی رو بگیره، تصمیم‌های مرگبار (مثل سلاح‌های خودکار) نباید به AI سپرده بشن، مقررات سخت‌گیرانه برای AI لازمه، و فناوری باید در خدمت انسان باشه، نه برعکس.