Штучны інтэлект цяпер паўсюль – у чат-ботах, тэкставых генератарах і, вядома, у інструментах для распрацоўшчыкаў. Кампаніі кшталту OpenAI і Anthropic з энтузіязмам сцвярджаюць: маўляў, AI-дапаможнікі кшталту ChatGPT ці Claude могуць істотна паскорыць напісанне кода. Але калі пазіраем не на рэкламу, а на рэальнасць, то карціна ўжо не такая ружовая.

Міжнародная даследчая група METR (Model Evaluation and Threat Research) правяла эксперымент з удзелам 16 дасведчаных распрацоўшчыкаў, якія працуюць з вялікімі опенсорснымі праектамі. Ім далі 246 розных заданняў – выпраўленні памылак, новыя функцыі, рэфактарынг – і падзялілі гэтыя заданні на дзве часткі: з выкарыстаннем AI-інструментаў і без. Атрымалася, што праца з AI замест чаканых плюс 20% да хуткасці дала мінус 19%. Так, замест "кодзіць не перакодзіць", атрымалі "марудзіць не перамарудзіць".

Эксперты і самі распрацоўшчыкі чакалі эканоміі часу, якой не было, калі інструменты штучнага інтэлекту былі рэальна выкарыстаны

Чаму так здарылася?

AI сапраўды трошкі паскарае напісанне кода. Але гэты зэканомлены на наборы сінтаксісу час распрацоўшчыкі трацяць на нешта іншае: фармулююць запыты, чакаюць адказаў, правяраюць, ці не згенераваў AI нешта зусім левае. Часам нават проста задуменна ўтыкаюцца ў экран, чакаючы натхнення.

Час, зэканомлены на такіх рэчах, як актыўнае кадаванне, быў перагружаны часам, неабходным для промтаў, чакання адказу і праверкі вынікаў

У выніку менш за палову прапанаванага AI кода прымалася без зменаў. Астатняе патрабавала правак, і час на гэтыя правкі таксама ішоў у агульны залік.

Атрымліваецца, што AI – гэта кепска?

Не зусім. Проста ў складаных рэальных праектах, дзе ў кодзе ўжо шмат радкоў і дзе патрабаванні не толькі "каб працавала", але і "каб прыгожа, каб з дакументацыяй, каб прайшло ўсе тэсты" – штучны інтэлект пакуль не спраўляецца. Ён не ведае пра негалосныя правілы, не чытаў старую перапіску ў камітах, не памятае, чаму нейкая функцыя зроблена менавіта так, а не інакш. А вось праграміст, які працуе з гэтым кодам ужо некалькі гадоў, гэта ўсё памятае.

Што далей?

Даследчыкі не губляюць аптымізму. Яны адзначаюць, што новыя версіі AI-інструментаў ужо выглядаюць перспектыўней. Магчыма, у будучыні з’явяцца інструменты, якія лепш разумеюць кантэкст, працуюць хутчэй і не прапануюць чарговы while(true){} замест нармальнага алгарытму.

Але пакуль што, калі ваш праект выглядае як старая гаражная шафа з інструментамі, дзе кожная шруба мае сваю гісторыю, то давяраць гэтую шафу штучнаму інтэлекту трэба з асцярожнасцю. Ён, канешне, і малаток патрымае, і адвёртку пакажа, але гайкай можа і ў вока трапіць.

Мараль?

AI не чарадзей. Ён можа быць карысным інструментам, але не заменіць досвед, інтуіцыю і кантэкст чалавека.