Добре дошли отново във втората част на нашата завладяваща дискусия с ChatGPT. В начален сегмент от нашия разговор, обсъдихме ролята на събирането на данни, анотацията и значението на Human-in-the-loop при обучението на големи езикови модели. Сега ще говорим за предизвикателствата, пристрастията, с които се сблъскваме при обучението на AI модели, тяхното приложение и как усъвършенстваните AI модели влияят на хората като цяло.
- Системи, базирани на правила: Те включват създаване на специфични правила, които машината следва, за да коментира данни. Например, правило може да бъде етикетирането на всеки текст, който изглежда като имейл адрес (напр. съдържа символа „@“) като „Имейл“.
- Модели на машинно обучение: Предварително обучени модели за машинно обучение могат да се използват за анотиране на нови данни. Например, предварително обучен модел за разпознаване на именуван обект може да се използва за идентифициране и етикетиране на обекти в текст.
- Активно обучение: При този метод моделът за машинно обучение първоначално се обучава с малка партида ръчно анотирани данни. След това моделът анотира данните, за които е най-сигурен, и тези анотации се проверяват и коригират от човешки анотатори. Моделът се преквалифицира с този по-голям набор от данни и процесът се повтаря.
- Слаб надзор: Тук се използват множество слаби анотатори (които могат да бъдат системи, базирани на правила, краудсорсинг, евристика и т.н.) за етикетиране на данни. Въпреки че всеки слаб анотатор е несъвършен, техните комбинирани етикети могат да осигурят добро приближение за обучение на първоначален модел.
- Трансферно обучение: Този подход използва модел, който е обучен за една задача и го прилага към друга свързана задача. Например, модел, обучен да разпознава обекти в изображения, може да се използва като отправна точка за модел, предназначен да разпознава специфични типове обекти.
Въпреки че автоматизираната анотация може да бъде мощен инструмент, важно е да запомните, че тя не винаги е перфектна и качеството може да варира в зависимост от използвания метод и сложността на задачата. Възможно е да има грешки, дължащи се на пристрастия в първоначалните правила или комплекта за обучение, а сложните задачи често все още изискват човешки надзор. По този начин комбинацията от автоматизирано и ръчно анотиране (полу-контролирано обучение) често е най-добрият подход за големи, сложни набори от данни.
- Разнообразие на данните и представителност: Гарантирането, че събраните данни обхващат различни сценарии и точно представят условията в реалния свят, е предизвикателство. Например моделът за разпознаване на изображения изисква изображения с различно осветление, ориентация и фон.
- Поверителност на данните и етика: Зачитането на правото на поверителност и спазването на етичните насоки при събирането на данни е от решаващо значение. Анонимизирането на пациентските данни в AI в здравеопазването гарантира поверителност, без да компрометира полезността му за обучение на модели.
- Качество на данните: Висококачествените данни са от съществено значение; шумни, неподходящи или неправилни данни могат да повлияят отрицателно на производителността на модела. Данните от социалните медии, с жаргон, правописни грешки и непоследователна употреба на езика, поставят предизвикателства за обучението по анализ на настроенията.
- Качество и последователност на анотацията: Осигуряването на точни и последователни анотации е сложно. При класифицирането на изображения различни анотатори, етикетиращи един и същи обект по различен начин, могат да объркат модела по време на обучението.
- Време и цена: Ръчното анотиране отнема време и е скъпо, особено за големи набори от данни. За обработка на естествен език анотаторите изискват значително време и лингвистична експертиза, за да разберат контекста на текста.
- скалируемост: Мащабирането на процеса на анотиране при запазване на качеството е предизвикателство. Езиковите модели често изискват милиарди примери, което налага координация между голям екип от анотатори и осигуряване на последователност в анотациите.
- Неяснота при етикетиране: Правилните етикети могат да бъдат субективни и отворени за тълкуване. Анотаторите може да имат различни мнения относно задачите за анализ на настроението, което води до различни присвоявания на етикети за един и същ текст.
- Чувствителни данни: Работата с чувствителни данни, като медицински или финансови досиета, изисква допълнителни предпазни мерки. Анотаторите може да се нуждаят от специализирано обучение или сертифициране, за да обработват тези данни по подходящ начин и да осигурят тяхната защита.
Справянето с тези предизвикателства често изисква комбинация от добро планиране на проекта, ясни насоки за събирачите на данни и анотаторите, използване на автоматизирани инструменти, където е възможно, и стабилна система за контрол на качеството.
- Балансирайте набора от данни: Коригирайте набора от данни, за да имате еднакво представяне на различни класове.
- Използвайте алгоритми за намаляване на пристрастията: Използвайте техники, предназначени да намалят отклоненията в прогнозите на модела.
- Прилагане на диференциална поверителност: Добавете шум към данните, за да защитите чувствителните атрибути.
- Извършване на фина настройка на модела, съобразен с отклоненията: Коригирайте модела, като вземете предвид намаляването на отклонението.
- Използвайте човешки преглед и насоки: Рецензентите следват указания, които инструктират да не предпочитат никоя група по време на фина настройка.
- Установяване на непрекъснат цикъл на обратна връзка: Редовното взаимодействие с рецензентите позволява непрекъснато обучение и корекция на пристрастията.
Не забравяйте, че пълното премахване на пристрастията е предизвикателство, но тези стъпки могат да помогнат за намаляването им.
- Генериране на съдържание: Те могат да помогнат при генерирането на съдържание като статии, доклади и имейли.
- Обслужване на клиенти: Те могат да се използват в чатботове и виртуални асистенти за автоматизиране на поддръжката на клиенти.
- Езиков превод: Те могат да помогнат при превода на текст между различни езици.
- обучение: Те могат да предоставят обяснения по различни теми, помагайки в обучението.
- Писане на код: Те могат да помогнат при писането на код, подпомагайки разработката на софтуер.
- Маркетинг и реклама: Те могат да генерират креативно съдържание за маркетингови кампании.
- Достъпност: Те могат да помогнат при генерирането на реч за приложения за синтез на реч.
- Автоматизация на работата: Рутинните и ежедневни задачи, особено в сектори като производство, логистика и чиновническа работа, могат да бъдат автоматизирани, което да доведе до изместване на работа.
- Създаване на нови работни места: От положителна гледна точка възходът на AI ще създаде нови роли, които не са съществували преди, като специалисти по AI, анализатори на данни, инженери по машинно обучение и роли в етиката и политиката на AI.
- Трансформация на работа: Много работни места ще бъдат трансформирани, вместо да бъдат премахнати, като AI ще поеме рутинните аспекти на работата, освобождавайки служителите да се съсредоточат върху по-сложни и творчески задачи.
- Промяна на търсенето на умения: Ще има повишено търсене на цифрови умения и разбиране на AI, което може да доведе до недостиг на умения в краткосрочен план.
Така че, докато AI несъмнено ще наруши пазарите на труда, той също така предоставя възможности за нови работни места и повишена производителност.
- Липса на разбиране: AI моделите не разбират контекста или концепциите по същия начин, по който хората. Те идентифицират модели в данните, но не разбират основното значение.
- Зависимост от данни: Те изискват големи количества данни за обучение. Ако данните са пристрастни, непълни или с лошо качество, производителността на модела може да бъде значително засегната.
- Обобщение: Моделите, обучени за конкретни задачи или набори от данни, често се борят да обобщят своето обучение към нови, невиждани сценарии.
- Обяснимост: Често е трудно да се разбере защо определени модели (особено модели за задълбочено обучение) са взели конкретни решения, което води до липса на прозрачност или интерпретируемост.
- Здравина: AI моделите могат да бъдат чувствителни към малки промени във входните данни (шум, изкривяване) и може да не работят надеждно при всички условия.
- Етични опасения: Приложенията с изкуствен интелект могат да доведат до проблеми с поверителността, потенциална злоупотреба или неволно пристрастие, което поражда етични и правни опасения.
Към моето прекъсване на знанията през септември 2021 г. AI направи значителни крачки в разбирането на контекста, особено с разработването на сложни езикови модели като GPT-3 и GPT-4. Тези модели могат да генерират текст, подобен на човешки, въз основа на въведените данни, които получават, и тяхното вътрешно разбиране за връзките между думи и понятия.
Въпреки това е важно да се отбележи, че това „разбиране“ е различно от човешкото разбиране. Системите с изкуствен интелект, както съществуват сега, не притежават съзнание, самосъзнание или същата дълбочина на емпирично познание, което хората имат. Те интерпретират контекст въз основа на модели в данните, а не на жив опит или интуитивно схващане на нюанси. Следователно тяхното разбиране за контекста е коренно различно от нашето.
Например, докато AI може да генерира отговор на въпрос за лично преживяване, като „как се чувствахте на първия си учебен ден?“, той прави това въз основа на модели в данните, върху които е бил обучен, а не на каквито и да било личен опит или емоции, които има. AI няма чувства или лични преживявания.
По отношение на бъдещето е трудно да се каже. Напредъкът в изследванията и развитието на ИИ продължава с бързи темпове, но скокът от разпознаване на модели към истинско човешко разбиране и съзнание е огромен и все още не знаем дали е възможно или как ще бъде постигнат. Дори ако AI системите станат по-сложни при интерпретирането на контекста, това няма да означава непременно, че имат подобно на човека разбиране за него.
- Подобрено разбиране и генериране на естествен език: По-човешки разговорен AI и по-добри автоматизирани преводи.
- AI справедливост, обяснимост и прозрачност: Техники за разбиране на вземането на решения с AI, осигуряване на справедливост и насърчаване на прозрачност.
- AI в здравеопазването: Подобрена диагностика на заболяването, прогнозиране на изхода на пациента и персонализирано лечение чрез AI.
- Обучение за подсилване и общ AI: По-адаптивни AI системи, които могат да научат различни задачи и да се адаптират към нови ситуации.
- AI и квантово изчисление: Повишена изчислителна мощност, позволяваща по-сложни модели и по-бързо време за обучение.
- Федерално обучение: Запазващо поверителността машинно обучение, което обучава модели на множество устройства, без да споделя данни.
