Автори:

Юлія Поліковська

Компанія Meta випустила нову модель штучного інтелекту Llama 3.1 з відкритим кодом, яка, як вона заявляє, перевершує можливості найновіших ШІ-моделей GPT-4o від OpenAI та Claude 3.5 Sonnet від Anthropic, повідомило The Verge.

Велика мовна модель Llama 3.1 значно складніша за попередню Llama 3, яку випустили кілька місяців тому. Нова ШІ-модель має 405 млрд параметрів і навчалася на понад 16 тис. наддорогих графічних процесорах Nvidia H100. Meta не розкриває вартості розробки Llama 3.1, але, виходячи з самої вартості чипів Nvidia, можна з упевненістю припустити, що йдеться про сотні мільйонів доларів.

Чому Meta, враховуючи вартість, роздає Llama з ліцензією, яка вимагає лише схвалення компаніями із сотнями мільйонів користувачів? Цукерберг у блозі компанії написав, що, на його думку, моделі штучного інтелекту з відкритим вихідним кодом випередять — і вже вдосконалюються швидше, ніж власницькі моделі, подібно до того, як Linux стала операційною системою з відкритим кодом, яка працює на більшості телефонів, серверів і гаджетів сьогодні.

Він порівняв інвестиції компанії у штучний інтелект з відкритим вихідним кодом з її попереднім проєктом Open Compute, який, за його словами, заощадив компанії «мільярди» завдяки тому, що сторонні компанії, такі як HP, допомогли покращити й стандартизувати проєкти центрів обробки даних Meta, коли компанія нарощувала власні потужності. Заглядаючи наперед, він очікує, що така ж динаміка буде з ШІ.

«Я вважаю, що випуск Llama 3.1 стане переломним моментом у галузі, де більшість розробників починають переважно використовувати відкрите програмне забезпечення», — написав Марк Цукерберг.

Щоб вивести Llama 3.1 у світ, Meta співпрацює з більш ніж двома десятками компаній, включаючи Microsoft, Amazon, Google, Nvidia та Databricks, щоб допомогти розробникам розгорнути власні версії. При цьому Meta стверджує, що запуск у виробництво Llama 3.1 оцінюється вдвічі дешевше, ніж коштував запуск GPT-4o для OpenAI.

Meta оприлюднила порівняльні тести Llama 3.1 з конкурентними моделями. ШІ-модель Gemini не включали у тестування, оскільки компанія мала труднощі з використанням API Google.

Для того, щоб компанії могли навчати свої моделі на основі Llama 3.1 і налаштовувати їх відповідно до власних потреб, Meta оприлюднила вагові коефіцієнти моделі.

Компанія заявила, що використовувала синтетичні дані й дані, згенеровані моделлю, а не людьми, щоб покращити версію Llama 3.1 з 405 млрд параметрів. Віцепрезидент Meta з генеративного ШІ Ахмад Аль-Дале прогнозує, що Llama 3.1 буде популярною серед розробників як «учитель для менших моделей, які потім розгортатимуть економніше».

Ширшої інформації про те, які дані використовувалися для навчання Llama 3.1, компанія не надає, посилаючись на комерційну таємницю, однак критики кажуть, що це тактика відтермінування неминучого натиску судових позовів про авторські права.

На питання, чи погоджується Meta з усе більш поширеним твердженням про те, що галузі не вистачає якісних навчальних даних для моделей, Аль-Дейл відповів, що «стеля» наближається, хоча вона може бути набагато вище, ніж думає дехто.

«Ми точно вважаємо, що у нас є ще кілька [тренувальних] заїздів. Точно важко сказати», — пояснив він.

Фото: генеральний директор Meta Марк Цукерберг / Getty Images