Най-добрият набор от данни за NLP, който ще ви помогне да заредите моделите си за машинно обучение

Наборите от данни за естествен език (NLP) са гръбнакът на много проекти за обработка на естествен език, предлагайки гъвкавост за широк спектър от задачи, като например класификация на текст, анализ на настроенията и отговаряне на въпроси. Корпусът за авторство на блогове, например, съдържа над 681,000 20,000 публикации в блогове от близо XNUMX XNUMX блогъри, което го прави богат ресурс за изучаване на стилове на писане, идентифициране на автори и други.

За тези, които се интересуват от академични изследвания, наборът от данни за научни статии arXiv предоставя достъп до огромна колекция от научни статии в множество дисциплини, поддържайки усъвършенствани задачи по естествен език, като анализ на цитати и класификация на документи. Наборът от данни на Федералния център за данни за обществени поръчки е друг ценен ресурс, предлагащ подробна информация за федералните договори – идеален за проекти, включващи правителствени данни и разпознаване на организации.

Тези NLP набори от данни се използват широко за обучение и оценка на модели за машинно обучение, помагайки на изследователи и разработчици да подобрят производителността на своите системи при различни NLP задачи. Независимо дали работите с публикации в блогове, научни статии или правителствени данни, тези набори от данни осигуряват основата за надеждни и гъвкави NLP приложения.

Какво е НЛП?

NLP (Обработка на естествен език) помага на компютрите да разберат човешкия език. Това е като да научите компютрите да четат, разбират и отговарят на текст и реч по начина, по който хората го правят.

Какво може да направи НЛП?

• Превърнете разхвърляния текст в организирани данни
• Разберете дали коментарите са положителни или отрицателни
• Превеждайте между езици
• Създавайте резюмета на дълги текстове
• И още много!
• Първи стъпки с НЛП:

За да изградите добри НЛП системи, имате нужда от много примери, за да ги обучите – точно както хората учат по-добре с повече практика. Добрата новина е, че има много безплатни ресурси, където можете да намерите тези примери: Прегърнато лице, Kaggle намлява GitHub. Наборите от данни от тези платформи са лесно достъпни, което ускорява разработването на NLP проекти.

Размер и растеж на пазара на НЛП:

Към 2023 г. пазарът на обработка на естествен език (NLP) се оценява на около 26 милиарда долара. Очаква се да нарасне значително, с комбиниран годишен темп на растеж (CAGR) от около 30% от 2023 г. до 2030 г. Този растеж се дължи на нарастващото търсене на NLP приложения в индустрии като здравеопазване, финанси и обслужване на клиенти.

Как да изберете добър NLP набор от данни, вземете предвид следните фактори:

• уместност: Уверете се, че наборът от данни съответства на вашата конкретна задача или домейн.
• Размер: По-големите набори от данни обикновено подобряват производителността на модела, но балансират размера и качеството.
• разнообразие: Търсете набори от данни с разнообразни езикови стилове и контексти, за да подобрите устойчивостта на модела.
• Качество: Проверете за добре етикетирани и точни данни, за да избегнете въвеждането на грешки.
• Достъпност: Уверете се, че наборът от данни е достъпен за използване и помислете за всички лицензионни ограничения.
• Предварителна обработка: Определете дали наборът от данни изисква значително почистване или предварителна обработка.
• Подкрепа от Общността: Популярните набори от данни често имат повече ресурси и подкрепа от общността, което може да бъде полезно.

Чрез оценка на тези фактори можете да изберете набор от данни, който най-добре отговаря на нуждите на вашия проект. Изборът на правилните набори от данни е от съществено значение за постигане на оптимални резултати в NLP проекти, тъй като те пряко влияят върху производителността на модела и ефективността на обучението.

Топ 33, които трябва да видите отворени набори от данни за НЛП

Общи

• Спамбаза на UCI (Връзка)

  Spambase, създадена в Hewlett-Packard Labs, има колекция от спам имейли от потребителите, целяща да разработи персонализиран спам филтър. Той има повече от 4600 наблюдения от имейл съобщения, от които близо 1820 са спам.

• Набор от данни на Enron (Връзка)

  Наборът от данни на Enron разполага с огромна колекция от анонимизирани „реални“ имейли, достъпни за обществеността за обучение на техните модели за машинно обучение. Той се гордее с повече от половин милион имейла от над 150 потребители, предимно висше ръководство на Enron. Този набор от данни е достъпен за използване както в структуриран, така и в неструктуриран формат. За да се подобрят неструктурираните данни, трябва да се прилагат техники за обработка на данни.

• Набор от данни на Recommender Systems (Връзка)

  Наборът от данни на Recommender System е огромна колекция от различни набори от данни, съдържащи различни функции, като например,

  • Мнения за продукта
  • Звездни оценки
  • Проследяване на фитнес
  • Данни за песента
  • Социални мрежи
  • Показване на времето
  • Взаимодействия потребител/артикул
  • GPS данни

• Пен Трийбанк (Връзка)

  Този корпус от Wall Street Journal е популярен за тестване на модели за етикетиране на последователности.

• NLTK (Връзка)

  Тази библиотека на Python предоставя достъп до над 100 корпуса и лексикални ресурса за НЛП. Тя включва и книгата NLTK, обучителен курс за използване на библиотеката. NLTK включва достъп до WordNet, голяма лексикална база данни на английски език, където думи като съществителни, глаголи, прилагателни и наречия са групирани в синсетове въз основа на споделени значения. NLTK предоставя и анотиран списък с корпуси и лексикални ресурси за НЛП изследвания.

• Универсални зависимости (Връзка)

  UD предоставя последователен начин за анотиране на граматиката, с ресурси на над 100 езика, 200 дървета и поддръжка от над 300 членове на общността.

Набори от данни за анализ на настроението

• Речници за филми и финанси (Връзка)

  
  Наборът от данни за речници за филми и финанси предоставя специфични за домейни речници за положителна или отрицателна полярност в пълнежите за финанси и ревютата на филми. Тези речници са извлечени от попълнения на IMDb и US Form-8.

• Чувство 140 (Връзка)

  Sentiment 140 има повече от 160,000 6 туита с различни емотикони, категоризирани в XNUMX различни полета: дата на туит, полярност, текст, потребителско име, ID и заявка. Този набор от данни ви дава възможност да откриете настроенията на марка, продукт или дори тема въз основа на дейност в Twitter. Тъй като този набор от данни се създава автоматично, за разлика от други анотирани от хора туитове, той класифицира туитове с положителни емоции и отрицателни емоции като неблагоприятни.

• Набор от данни за многодомейн настроения (Връзка)

  Този набор от данни за настроения в няколко домейна е хранилище на прегледи на Amazon за различни продукти. Някои продуктови категории, като например книги, имат хиляди отзиви, докато други имат само няколкостотин отзива. Освен това рецензиите със звезди могат да бъдат конвертирани в двоични етикети.

• Standford Sentiment TreeBank (Връзка)

  Този NLP набор от данни от Rotten Tomatoes включва по-дълги фрази и по-подробни текстови примери.

• Авторският корпус на блога (Връзка)

  Тази колекция съдържа публикации в блогове с близо 1.4 милиона думи, всеки блог е отделен набор от данни.

• OpinRank набор от данни (Връзка)

  300,000 XNUMX отзива от Edmunds и TripAdvisor, организирани по модел кола или туристическа дестинация и хотел.