Czym jest uczenie maszynowe z udziałem człowieka? Lepsze dane, skuteczniejsze modele

Uczenie maszynowe typu „człowiek i maszyna w pętli” wykorzystuje informacje zwrotne od człowieka w celu wyeliminowania błędów w danych treningowych i zwiększenia dokładności modeli.

Czym jest uczenie maszynowe z udziałem człowieka? Lepsze dane, skuteczniejsze modele

Thinkstock

Modele uczenia maszynowego są często dalekie od doskonałości. W przypadku wykorzystywania przewidywań modelu do celów, które mają wpływ na życie ludzi, takich jak klasyfikacja zatwierdzenia kredytu, wskazane jest, aby człowiek przejrzał przynajmniej część przewidywań: te, które mają niski poziom zaufania, te, które są poza zakresem, oraz losową próbkę dla kontroli jakości.

Dodatkowo, brak dobrych, oznaczonych (anotowanych) danych często sprawia, że uczenie nadzorowane jest trudne do bootstrapowania (chyba, że jest się profesorem, którego studenci nie mają co robić). Jednym ze sposobów implementacji półnadzorowanego uczenia się na nieoznakowanych danych jest oznaczenie przez ludzi niektórych danych w celu zasiania modelu, zastosowanie przewidywań o wysokiej pewności modelu tymczasowego (lub modelu uczenia się przez transfer) do oznaczenia większej ilości danych (auto-etykietowanie) i wysłanie przewidywań o niskiej pewności do weryfikacji przez człowieka (aktywne uczenie). Proces ten może być iterowany i w praktyce ma tendencję do poprawiania się z przejścia na przejście.

Zobacz również:

  • Alexa Amazona ma naśladować głos dowolnej osoby
  • Co firmy robią źle w kwestii transformacji danych
  • Rosyjski Yandex otwiera publiczny dostęp do dużego modelu językowego AI

W skrócie, uczenie maszynowe w pętli ludzkiej opiera się na informacji zwrotnej od człowieka w celu poprawy jakości danych używanych do trenowania modeli uczenia maszynowego. Ogólnie rzecz biorąc, proces uczenia maszynowego z udziałem człowieka polega na próbkowaniu dobrych danych, które człowiek może oznaczyć (anotacja), wykorzystaniu tych danych do trenowania modelu oraz wykorzystaniu modelu do próbkowania większej ilości danych w celu ich anotacji. Dostępnych jest wiele usług umożliwiających zarządzanie tym procesem.

Amazon SageMaker Ground Truth

Amazon SageMaker oferuje dwie usługi etykietowania danych: Amazon SageMaker Ground Truth Plus i Amazon SageMaker Ground Truth. Obie opcje umożliwiają identyfikację surowych danych, takich jak obrazy, pliki tekstowe i wideo, oraz dodanie etykiet informacyjnych w celu utworzenia wysokiej jakości zbiorów danych treningowych dla modeli uczenia maszynowego. W opcji Ground Truth Plus eksperci firmy Amazon konfigurują w imieniu użytkownika przepływy pracy związane z etykietowaniem danych, a w procesie tym stosowane jest uczenie wstępne i walidacja maszynowa etykietowania przez człowieka.

Amazon Augmented AI

Podczas gdy Amazon SageMaker Ground Truth zajmuje się wstępnym etykietowaniem danych, Amazon Augmented AI (Amazon A2I) zapewnia ludzką weryfikację przewidywań o niskim poziomie ufności lub losowych próbek przewidywań z wdrożonych modeli. Augmented AI zarządza zarówno tworzeniem przepływu pracy przeglądu, jak i ludzkimi recenzentami. Integruje się z usługami AWS AI i uczenia maszynowego, a także z modelami wdrożonymi w punkcie końcowym Amazon SageMaker.

DataRobot - człowiek w pętli

DataRobot posiada funkcję Humble AI, która pozwala na ustawienie reguł wykrywających niepewne przewidywania, odstające dane wejściowe i regiony o niskiej obserwacji. Reguły te mogą wyzwalać trzy możliwe działania: brak działania (tylko monitorowanie); unieważnienie prognozy (zazwyczaj z ‘bezpieczną” wartością); lub zwrócenie błędu (odrzucenie prognozy). DataRobot napisał dokumenty o human-in-the-loop, ale nie znalazłem na ich stronie żadnej implementacji poza regułami pokory.

Google Cloud Human-in-the-Loop

Google Cloud oferuje Human-in-the-Loop (HITL) przetwarzanie zintegrowane z jego usługi Document AI, ale jak w przypadku tego pisania, nic dla obrazu lub przetwarzania wideo. Obecnie Google obsługuje przepływ pracy przeglądu HITL dla następujących procesorów:

Procesory zamówień:

Faktury

Pokwitowania

Procesory pożyczkowe:

1003 Parser

1040 Parser

Parser 1040 Schedule C

1040 Schedule E Parser

Parser 1099-DIV

1099-G Parser

Parser 1099-INT

Parser 1099-MISC

Parser wyciągów bankowych

Parser Oświadczenie HOA Parser

Wyciąg z hipoteki Parser

Odcinek wypłaty Parser

Oświadczenie emerytalne/inwestycyjne Parser

Parser W2

Parser W9

Oprogramowanie do obsługi przez człowieka

Ludzka anotacja obrazu, taka jak klasyfikacja obrazu, wykrywanie obiektów i segmentacja semantyczna, może być trudna do skonfigurowania w celu etykietowania zbiorów danych. Na szczęście istnieje wiele dobrych narzędzi open source i komercyjnych, z których mogą korzystać osoby zajmujące się tagowaniem.

Humans in the Loop, firma, która opisuje siebie jako „przedsiębiorstwo społeczne, które dostarcza etycznych rozwiązań w zakresie siły roboczej do zasilania przemysłu AI”, co jakiś czas publikuje posty na blogu na temat swoich ulubionych narzędzi do anotacji. W najnowszym z tych wpisów, wymieniają oni 10 narzędzi open source do anotacji dla wizji komputerowej: Label Studio, Diffgram, LabelImg, CVAT, ImageTagger, LabelMe, VIA, Make Sense, COCO Annotator i DataTurks. Narzędzia te są najczęściej używane do wstępnej anotacji zbiorów treningowych, a niektóre z nich mogą zarządzać zespołami anotatorów.

Przykładowo, Computer Vision Annotation Tool (CVAT), dysponuje potężnymi i aktualnymi funkcjonalnościami i działa w Chrome. Nadal jest jednym z głównych narzędzi, których zarówno my, jak i nasi klienci używają do etykietowania, biorąc pod uwagę, że jest znacznie szybsze niż wiele dostępnych na rynku narzędzi”.

CVAT README na GitHubie pisze „CVAT jest darmowym, internetowym, interaktywnym narzędziem do adnotacji wideo i obrazów dla wizji komputerowej. Jest używany przez nasz zespół do adnotacji milionów obiektów o różnych właściwościach. Wiele decyzji dotyczących UI i UX opiera się na opiniach profesjonalnych zespołów zajmujących się anotacją danych. Wypróbuj go online na cvat.org”. Do uruchomienia demo koniecznie jest utworzenie loginu.

CVAT został udostępniony jako open source na licencji MIT. Większość aktywnych committerów pracuje dla Intela w Niżnym Nowogrodzie w Rosji. Film wprowadzający do CVAT ukazuje jak przebiega proces tagowania.

Czym jest uczenie maszynowe z udziałem człowieka? Lepsze dane, skuteczniejsze modele

IDG

Jak widać, przetwarzanie w pętli przez człowieka może przyczynić się do procesu uczenia maszynowego w dwóch punktach: początkowe tworzenie tagowanych zbiorów danych dla uczenia nadzorowanego oraz przegląd i korekta potencjalnie problematycznych przewidywań podczas uruchamiania modelu. Pierwszy przypadek użycia pomaga w bootstrapowaniu modelu, a drugi w dostrajaniu modelu.

Źródło: InfoWorld

W celu komercyjnej reprodukcji treści Computerworld należy zakupić licencję. Skontaktuj się z naszym partnerem, YGS Group, pod adresem [email protected]

TOP 200