Nowe narzędzia Lenovo przyspieszą wdrażanie i rozwój sztucznej inteligencji w środowiskach biznesowych oraz HPC


Projekty prowadzone w obszarze sztucznej inteligencji dla wielu przedsiębiorstw i organizacji badawczych mają obecnie charakter priorytetowy. Osobiście mam to szczęście, że jestem w samym centrum akcji - współpracuję z organizacjami na całym świecie. Chociaż klienci mają już pierwsze sukcesy w prototypowaniu, to jednak - jeśli chcą osiągnąć ostateczne cele realizowanych projektów sztucznej inteligencji - wszyscy muszą się zmierzyć z podobnymi wyzwaniami.

Oto kilka przykładów wyzwań w obszarze sztucznej inteligencji, o których dowiedziałem się od klientów:

Renomowana firma finansowa z siedzibą w Nowym Jorku, musi sprostać wyzwaniom związanym z zaspokojeniem wymagań różnych zespołów programistycznych, mających własne preferencje względem frameworków i wersji.

Renomowana organizacja z branży ochrony zdrowia w USA, zmaga się z zarządzaniem wieloma projektami sztucznej inteligencji we współdzielonym środowisku klastrowym.

Klient z branży produkcyjnej w Japonii ,ma trudności z ograniczeniem czasu potrzebnego na szkolenie modeli głębokiego uczenia się.

Częstym wyzwaniem dla wielu organizacji z różnych branż jest brak wysoce doświadczonych analityków danych lub inżynierów wyspecjalizowanych w sztucznej inteligencji. Braki wykwalifikowanego personelu sprawiają, że zasoby te są bardzo cenne (a zatrudnienie kosztowne). Przy tym potrzebne są również narzędzia, które pozwolą im uzyskać jak największą produktywność.

Od czasu do czasu klienci napotykają na te same wyzwania. Zatem jeśli wyzwania są podobne w różnych branżach, w jaki sposób można się z nimi uporać, aby pomyślnie zrealizować projekty sztucznej inteligencji?

Jednym z wyraźnych aspektów sztucznej inteligencji w porównaniu do innych aplikacji dla przedsiębiorstw jest to, że bazuje głównie na technologiach open source. W związku z tym nie ma prawie żadnych gotowych ofert sztucznej inteligencji, którymi IT potrafiłoby w efektywny sposób zarządzać lub skalować w miarę wzrostu zapotrzebowania. Mając to na uwadze Lenovo postanowiło wykorzystać swoje doświadczenia i wiodącą pozycję w obszarze wysokowydajnych komputerów (HPC), aby stworzyć odpowiednie rozwiązania sztucznej inteligencji - zarówno dla klientów korporacyjnych, jak i HPC.

LiCO: środowisko programistyczne dla sztucznej inteligencji

Przedstawiamy Lenovo intelligent Computing Orchestration (LiCO), platformę zaprojektowaną, aby rozwiązać kluczowe problemy klientów korporacyjnych wdrażających sztuczną inteligencję. To jednak nie jedyne jej zastosowanie. Sprawdzi się ona doskonale także w innych środowiskach wieloużytkowych, takich jak instytucje akademickie lub badawcze używające klastrów do obsługi przepływów zadań HPC i rozwoju sztucznej inteligencji.

LiCO upraszcza zarządzanie zasobami i ułatwia uruchamianie zadań treningowych sztucznej inteligencji w klastrach. LiCO obsługuje obecnie wiele frameworków sztucznej inteligencji, w tym TensorFlow, Caffe, Intel Caffe i MXNet. Ponadto ułatwia utrzymanie i zarządzanie wieloma wersjami tych frameworków przy pomocy kontenerów Singularity. W konsekwencji zapewnia to menedżerom IT elastyczność niezbędną do wspierania prac programistycznych dla wielu użytkowników i aplikacji jednocześnie.

W miarę jak coraz więcej projektów sztucznej inteligencji trafia pod skrzydła IT, wiele organizacji rozważa wdrożenia skalowalne horyzontalnie. W ten sposób chcą zapewnić elastyczność i najlepszy całkowity koszt posiadania (TCO). Osiągnięcie tego wymaga posiadania dodatkowych komplementarnych narzędzi do zarządzania projektami programistycznymi w obszarze sztucznej inteligencji w środowiskach skalowalnych horyzontalnie. Tu właśnie LiCO może pokazać wszystkie zalety. Zapewnia elastyczność pozwalającą na uruchomienie zarówno na procesorach Intel Xeon Scalable oraz procesorach graficznych NVIDIA - w tym na najnowszej wersji Tesla V100. To klient decyduje, którą platformę sprzętową wybierze mając na uwadze posiadane obciążenia. W efekcie możliwe jest obniżenia TCO nawet o 35% w porównaniu do dedykowanych systemów skalowanych wertykalnie.

Dzięki funkcjom zarządzania rozproszonym treningiem można w prosty sposób uruchomić zadanie treningowe w LiCO i podzielić je na wiele serwerów. Ta zaleta redukuje czas oczekiwania na zakończenie treningu i pozwala na szybsze eksperymentowanie - dzięki efektywnemu skalowaniu zasobów obliczeniowych w klastrach.

LiCO pozwala na transfer uczenia z wykorzystaniem wstępnie wytrenowanych modeli. To zmniejsza wymagania obliczeniowe w porównaniu ze szkoleniem modeli od zera.

Włączamy programowanie sztucznej inteligencji

Specjaliści zajmujący się danymi i inżynierowie sztucznej inteligencji potrzebują narzędzi, które upraszczają ich pracę poprzez zautomatyzowaną obsługę powtarzalnych zadań, takich jak strojenie hiperparametrowe lub konfigurowanie modelu w oparciu o dobrze znane topologie sieciowe. Dodatkowo, monitorowanie zadań treningowych z poziomu linii poleceń może być zarówno czasochłonne, jak i częściej generować błędy. LiCO zaspokaja niektóre z tych krytycznych potrzeb, wprowadzając intuicyjne przepływy pracy prezentowane w interfejsie graficznym a także narzędzia do monitorowania, które mogą skrócić czas konfigurowania modeli nawet o 25-50%.

Naukowcy z North Carolina State University (NCSU) używają LiCO do rozwoju modeli sztucznej inteligencji, na potrzeby analizowania dużych ilości danych geoprzestrzennych w celu mapowania rozmaitych funkcji. Dr Raju Vatsavai, odpowiedzialny za te działania, wyjaśnia, w jaki sposób LiCO rozwiązuje wyzwania głębokiego uczenia:

Jeśli chodzi o stosowanie zaawansowanych rozwiązań sztucznej inteligencji, takich jak głębokie uczenie się, naukowcy odpowiedzialni za aplikacje zmagają się z dwoma wyzwaniami: (i) jaki framework wykorzystać i (ii) jak skonfigurować środowisko treningowe (strojenie parametrów i infrastruktura komputerowa). Te dwa problemy uniemożliwiające szerszą adaptacje zostały efektywnie ograniczone przez Lenovo dzięki frameworkowi LiCO. W rezultacie naukowcy z różnych dziedzin mogą teraz skoncentrować się na uzyskiwaniu cennych informacji w krótszym czasie analizując ich wielkie zbiory danych. Jednocześnie nie tracą czasu na integrowanie skomplikowanych rozwiązań open source w celu rozwiązania swoich problemów - lub co gorsza, nie korzystają w ogóle z najlepszego rozwiązania.

Większej wartość dzięki naszym partnerom

Pracujemy również z wieloma partnerami nad inicjatywami w obszarze sztucznej inteligencji, które zapewnią klientom praktyczne rozwiązania. Łącząc zróżnicowane doświadczenia z zakresu analizy danych z głęboką wiedzą branżową dotyczącą różnych segmentów rynku, w tym opieki zdrowotnej, nauk przyrodniczych, energii i produkcji, jesteśmy w stanie zaproponować rozwiązania, które dostarczą odpowiedzi na najbardziej aktualne pytania dręczące klientów. Nasza współpraca z partnerami takimi jak Intel, NVIDIA, Mark III systems i byteLAKE znacznie rozszerza zasoby i wiedzę, którą możemy zaoferować.

Bazując na ogromnych zasobach i wiedzy naszych partnerów, a także zespołów badawczych i technologicznych Lenovo, opracowaliśmy sprawdzone koncepcje sztucznej inteligencji, które pomagają wykrywać nowotwory rozwijające się w wątrobie. Tym samym pomagamy dostawcom usług medycznych i doskonalimy kontrolę jakości dla producentów wykorzystujących modele rozpoznawania obrazu.

Intel jest głęboko przekonany, że potencjał sztucznej inteligencji we wszystkich branżach będzie realizowany poprzez demokratyzację technologii i ułatwienie jej wdrażania. Jesteśmy dumni z tego, że współpracujemy z Lenovo we wprowadzaniu na rynek LiCO. Ta platforma oferuje holistyczne podejście do rozwiązań – obejmujące sprzęt i oprogramowanie. Połączenie wiedzy eksperckiej od Intela i Lenovo zapewnia klientom prostą ścieżkę do rozpoczęcia pracy. To z kolei przekłada się na większą oszczędność czasu i zwrot z inwestycji, ponieważ projekty sztucznej inteligencji przynoszą realne efekty”. - Carlos Morales, szef Deep Learning Systems, AI Products w Intelu.

Jak zacząć?

Firma Lenovo od niedawna realizuje kompleksowe, przyspieszone podejście do tematu sztucznej inteligencji. Obejmuje ono m.in. budowę centrów innowacji w USA, Niemczech i Chinach, aby umożliwić klientom przyspieszenie ich projektów na wszystkich etapach - od prototypowania do wdrażania. Te globalne centra innowacji zapewniają klientom możliwość bezpośredniego zapoznania się z LiCO i oceny, w jaki sposób platforma może pomóc w rozwiązaniu problemów związanych z działaniami programistycznymi.

Dowiedz się więcej o LiCO tutaj.

Zapisz się na bezpłatny newsletter. Dowiesz się o webinarach, nowych case study oraz white paperach.