به گزارش شهرآرانیوز؛ داده‌های تازه وبگاه «Arena.ai» تصویری چندقطبی از مرز فناوری ترسیم می‌کنند. بر همین اساس، آنتروپیک در متن، کدنویسی و عامل‌های هوشمند موقعیتی برجسته دارد، اوپن‌ای‌آی در تولید و ویرایش تصویر فاصله معناداری با رقبا ایجاد کرده، گوگل حوزه تولید ویدئو را در اختیار گرفته و بازیگران چینی مانند مون‌شات، علی‌بابا، «Z.ai»، بایت‌دنس و مینی‌مکس در بخش‌هایی از مرز عملکرد، مستقیماً با آزمایشگاه‌های آمریکایی رقابت می‌کنند.

اهمیت بنچمارک «Arena.ai» از روش ارزیابی آن ناشی می‌شود. رتبه‌بندی‌های اصلی این پلتفرم بر مقایسه‌های دوبه‌دوی پاسخ مدل‌ها و ترجیح کاربران واقعی بنا شده‌اند و امتیاز‌ها با مدل آماری مدل بردلی-تری محاسبه می‌شوند. «Arena.ai» در کنار رتبه خام، «بازه رتبه» را نیز منتشر می‌کند تا عدم قطعیت آماری آشکار بماند؛ بنابراین تفاوت چند امتیازی میان دو مدل الزاماً به معنای برتری قطعی یکی بر دیگری نیست. «Arena.ai» در سال ۲۰۲۶ شاخص «factuality» را نیز به «Text» و «Search» افزود که با استخراج و راستی‌آزمایی ادعا‌های قابل بررسی، صحت پاسخ را در کنار ترجیح انسانی اندازه‌گیری می‌کند.

بهترین هوش مصنوعی در تولید متن: کلود آنتروپیک 

در مهم‌ترین جدول عمومی «Arena.ai»، یعنی «Text Arena»، داده‌های ۲۱ اوت ۲۰۲۶ که بر بیش از ۷.۹ میلیون رأی و ۳۹۴ مدل استوار است، موقعیت بسیار قدرتمندی برای آنتروپیک نشان می‌دهد. بر همین اساس، «Claude Fable ۵» با امتیاز ۱۵۰۸ در رتبه نخست قرار دارد و «Claude Opus ۴.۶ High» با ۱۵۰۴ و «Claude Opus ۴.۷ High» با ۱۵۰۲ جایگاه‌های دوم و سوم را به خود اختصاص داده‌اند. پس از آنها «Muse Spark ۱.۲ xHigh» متعلق به متا با امتیاز ۱۴۹۸ قرار دارد. نکته تعیین‌کننده، تراکم خانواده «Claude» در صدر جدول است. چهار مدل آنتروپیک در میان شش رتبه نخست حضور دارند.

چنین آرایشی نشان می‌دهد برتری آنتروپیک در حال حاضر بیشتر به یک «خانواده توانمندی» شباهت دارد تا موفقیت یک مدل منفرد. همین الگو در زبان انگلیسی نیز تکرار می‌شود و «Claude Fable ۵» با امتیاز ۱۵۱۵ صدرنشین است. در مقابل، بهترین مدل اوپن‌ای‌آی در داده ۱۹ اوت، «GPT-۵.۶ Sol xHigh» با امتیاز ۱۴۸۲ در رتبه ۱۸ جدول کلی متن قرار گرفته بود. فاصله رتبه، هم‌زمان با هم‌پوشانی بعضی بازه‌های اطمینان، نشان می‌دهد که ترجیح کاربران «Arena.ai» در تعاملات عمومی متنی اکنون به شکل محسوسی به سمت «Claude» متمایل شده است.

بهترین هوش مصنوعی در زمینه کدنویسی: Claude و مدل‌های چینی 

برتری آنتروپیک در حوزه کدنویسی حتی واضح‌تر از بخش تولید متن دیده می‌شود. بر همین اساس، در زیرشاخه «Coding»، سه مدل «Claude Opus ۴.۶ High» و «Claude Opus ۴.۷ High» و «Claude Fable ۵» هر سه امتیاز ۱۵۵۲ کسب کرده‌اند و رتبه‌های نخست تا سوم را در اختیار دارند. همچنین، مدل «Kimi K ۳ Max»، متعلق به شرکت مون‌شات نیز با امتیاز ۱۵۴۴ در میان مدعیان اصلی قرار گرفته است.

تصویر کلی در بخش «Code Arena WebDev» نیز مشابه است، هرچند قدرت بازیگران آسیایی در این بخش آشکارتر می‌شود. بر پایه داده‌های ۲۱ اوت و بیش از ۶۰۳ هزار رأی، «Claude Opus ۵ Max» با امتیاز ۱۶۹۱ در جایگاه نخست، «Kimi K ۳ Max» با ۱۶۷۴ در رتبه دوم و «Qwen ۳.۸ Max» متعلق به علی‌بابا با ۱۶۶۹ در رتبه سوم قرار دارند. علاوه بر این، «GPT-۵.۶ Sol xHigh» نیز با سازوکار کدنویسی اختصاصی خود رتبه هفتم و امتیاز ۱۶۱۹ را به دست آورده است.

این بخش یکی از مهم‌ترین نشانه‌های تغییر ساختار صنعت است. بر همین مبنا، به نظر می‌رسد مون‌شات و علی‌بابا دیگر در سطح مدل‌های «کم‌هزینه جایگزین» ظاهر نمی‌شوند و در برخی وظایف توسعه نرم‌افزار مستقیماً در مرز عملکرد قرار گرفته‌اند. در طراحی مبتنی بر مرجع نیز «Kimi K ۳ Max» با امتیاز ۱۷۲۱ حتی بالاتر از «Claude Opus ۵ Max» ایستاده است.

بهترین مدل برای تحلیل و استدلال بصری: مدل‌های باز و Claude

در بخش «Vision Arena» که توانایی مدل‌ها برای تحلیل و استدلال روی ورودی‌های بصری را می‌سنجد، مدل «Claude Fable ۵» با امتیاز ۱۳۱۵ رتبه نخست را دارد. مدل‌های «Qwen ۳.۸ Max» و «Claude Opus ۴.۷ High» هر دو با امتیاز ۱۳۰۱ در رتبه‌های بعدی قرار گرفته‌اند. این جدول بر بیش از ۱.۱۸ میلیون رأی و ۱۴۶ مدل استوار است.

بخش متن‌باز این حوزه نیز اهمیت راهبردی دارد. در این بخش، «Kimi K ۲.۶» با امتیاز ۱۲۶۳ بهترین مدل دارای مجوز باز در «Vision Arena» است و پس از آن «Gemma ۴، ۳۱ B» گوگل، «Kimi K ۲.۵ Thinking» و «Qwen ۳.۵» قرار دارند. فاصله موجود با مدل‌های اختصاصی همچنان محسوس است، اما تراکم مدل‌های متن باز آسیایی در این رده نشان می‌دهد شکاف قابلیت به‌تدریج در حال کاهش است.

بهترین مدل هوش مصنوهی در زمینه تولید تصویر: چت‌جی‌پی‌تی اوپن‌ای‌آی

بزرگ‌ترین برتری اختصاصی یک شرکت را باید در حوزه تصویر جست‌و‌جو کرد. بر همین اساس، در بخش «Text-to-Image Arena»، مدل «GPT-Image-۲ Medium» با امتیاز ۱۳۸۱ در رتبه نخست قرار دارد و «Microsoft MAI-Image-۲.۶ Preview» با ۱۳۳۶ و «Grok Imagine Image ۲.۰» با ۱۳۱۶ در رتبه‌های بعدی ایستاده‌اند. فاصله ۴۵ امتیازی میان رتبه اول و دوم، همراه با بازه اطمینان محدود «GPT-Image-۲»، برتری نسبتاً قدرتمند شرکت اوپن‌ای‌آی را نشان می‌دهد. این رتبه‌بندی بر نزدیک به ۵.۹۲ میلیون رأی بنا شده است.

در ادامه، مزیت اوپن‌ای‌آی در ویرایش تصویر برجسته‌تر می‌شود. مدل «GPT-Image-۲ Medium» با امتیاز ۱۴۶۳ و حدود ۱۹۹ هزار رأی در صدر جدول ۱۷ اوت قرار دارد. «Grok Imagine Image ۲.۰» با ۱۴۳۹ و «MAI-Image-۲.۶ Preview» با ۱۴۲۰ در جایگاه‌های دوم و سوم هستند. حجم کل رأی‌های بخش «Image Edit Arena» نیز از ۲۹ میلیون عبور کرده است که این حوزه را به یکی از بزرگ‌ترین مجموعه‌های ترجیح انسانی «Arena.ai» تبدیل می‌کند.

بر همین مبنا، چنین به نظر می‌رسد که اوپن‌ای‌آی در رتبه‌بندی عمومی متن فعلاً صدر را به آنتروپیک واگذار کرده و در لایه تولید و ویرایش تصویر مزیت تخصصی بسیار قدرتمندی ساخته است. معماری رقابت از همین نقطه چندبعدی می‌شود. جایگاه یک شرکت را دیگر نمی‌توان با یک مدل زبانی واحد اندازه گرفت.

بهترین مدل هوش مصنوعی در زمینه تولید تصویر: جمنای گوگل  

بررسی داده‌های «Arena.ai» نشان می‌دهد که بازار تولید ویدئو ساختار متفاوتی دارد. در داده‌های ۱۴ اوت بخش «Text-to-Video Arena»، مدل «Gemini Omni Flash» گوگل با امتیاز ۱۵۱۲ صدرنشین است. همچنین، «Flux ۳ Video» متعلق به «Black Forest Labs» با ۱۴۹۴ و «Dreamina Seedance ۲.۰» از بایت‌دنس با ۱۴۸۲ در رتبه‌های دوم و سوم قرار دارند. مدل «Muse Video»، متعلق به متا و مینی‌مکس «H ۳» نیز رتبه‌های بعدی را اشغال کرده‌اند، در حالی که «Sora ۲ Pro» متعلق به اوپن‌ای‌آی با امتیاز ۱۳۶۴ در رتبه هشتم قرار گرفته است.

از سوی دیگر، جدول ویرایش ویدئو «Arena.ai» تصویر دیگری ارائه می‌دهد. بر همین اساس، مدل «Dreamina Seedance ۲.۵» متعلق به بایت‌دنس با امتیاز ۱۴۱۱ در صدر قرار دارد و مینی‌مکس «H ۳» با ۱۳۸۸ و «Gemini Omni Flash» با ۱۳۵۸ در تعقیب آن هستند؛ بنابراین زنجیره ارزش ویدئوی مولد میان چند بازیگر توزیع شده و هیچ آزمایشگاهی بر تولید و ویرایش به‌طور هم‌زمان سلطه ندارد.

کیفیت مدل‌ها در انجام کار

به عقیده کارشناسان، مهم‌ترین تحول نسل جدید ارزیابی شاید «Agent Arena» باشد. در این بخش، «Arena.ai» به جای رأی دوبه‌دو از روش «causal tracing» استفاده می‌کند و عملکرد عامل را بر مبنای موفقیت واقعی در انجام وظیفه، قابلیت هدایت، بازیابی پس از خطای ابزار و توهم در استفاده از ابزار‌ها می‌سنجد. هدف، اندازه‌گیری سهم مدل هماهنگ‌کننده در یک سامانه چندجزئی است.

در داده‌های ۱۹ اوت و بیش از ۱.۹ میلیون سشن پاسخ از مدل‌های مختلف هوش مصنوعی، مدل «Claude Opus ۵ High» رتبه نخست را با روند اصلاح و بهبود حدود ۱۲.۴۷ درصد در اختیار دارد و نسخه «Max» و «Claude Fable ۵ High» پس از آن قرار گرفته‌اند. اگر رتبه‌بندی در سطح آزمایشگاه بررسی شود، آنتروپیک نخست، مون‌شات با «Kimi K ۳ Max» دوم و اوپن‌ای‌آی با «GPT-۵.۶ Sol xHigh» سوم است. همچنین، مدل «Kimi» در این میان از منظر اقتصاد استفاده نیز جالب توجه است و هزینه میانه آن حدود ۰.۶۵ دلار برای هر وظیفه گزارش شده، در حالی که هزینه مدل پرچم‌دار آنتروپیک بیش از دو دلار برای هر وظیفه است.

بهترین مدل در جست‌وجوی وب: کلود آنتریوپیک

در بخش «Search Arena»، مدل «Claude Opus ۴.۶ Search» با امتیاز ۱۲۵۳ رتبه نخست را دارد و «GPT-۵.۵ Search» با ۱۲۴۰ دوم است. علاوه بر این، مدل «Claude Fable ۵» و «Claude Opus ۴.۷» و «Ernie ۵.۱» از شرکت بایدو جایگاه‌های بعدی را در اختیار دارند. این جدول بر حدود ۹۴۰ هزار رأی استوار است و مشخصاً مدل‌های دارای جست‌وجوی وب یکپارچه را ارزیابی می‌کند.

اهمیت این بخش فراتر از رتبه‌بندی است. «Arena.ai» گزارش کرده که پاسخ‌های بخش «Search Arena» به‌طور متوسط نزدیک به ۱۰ ادعای واقعی دارند و وجود ادعا‌های قابل بررسی در ۸۸ درصد مقایه‌های این حوزه مشاهده شده است. از همین روی، کیفیت بازیابی، انتخاب منبع و صحت ادعا به مؤلفه‌ای مستقل از توانایی زبانی مدل تبدیل شده است.

منبع: مهر