Deep learning i architektury sieci neuronowych

Deep learning obejmuje projektowanie i trenowanie wielowarstwowych sieci neuronowych do zadań klasyfikacji, predykcji i generowania danych. Na początku warto sprawdzić jakość danych, dobrać typ architektury do problemu oraz przygotować pipeline uczenia, walidacji i monitorowania metryk. Przykładowo do klasyfikacji obrazów stosuje się CNN, do analizy sekwencji LSTM lub GRU, a do predykcji szeregów czasowych modele rekurencyjne z odpowiednim oknem wejściowym.
Jeśli chcesz przećwiczyć to krok po kroku, zobacz: Deep learning (DL/N).

TensorFlow i PyTorch to najczęściej używane frameworki do budowy modeli deep learning, ale różnią się ergonomią pracy i typowymi scenariuszami użycia. Przy wyborze warto porównać sposób definiowania modeli, dostępność narzędzi do monitorowania treningu, wsparcie dla wdrożeń oraz zgodność z obecnym stosem technologicznym zespołu. Przykładowo TensorFlow często wybierają zespoły budujące uporządkowane pipeline’y z TensorBoard i Keras, a PyTorch dominuje w eksperymentach badawczych, modelach generatywnych i implementacjach SOTA.
Ten temat przerabiamy praktycznie na szkoleniu: Uczenie maszynowe z TensorFlow (DL/TF).

Dobór architektury zależy od struktury danych, celu zadania i ograniczeń obliczeniowych, a nie od samej popularności modelu. Należy sprawdzić, czy dane mają charakter przestrzenny, sekwencyjny, wielomodalny albo nienadzorowany, a następnie dobrać sposób reprezentacji wejścia, funkcję straty i metody ewaluacji. Przykładowo CNN sprawdzają się w obrazach, RNN i ich warianty w sekwencjach, Transformery w zadaniach tekstowych i wielomodalnych, a autoenkodery w kompresji, imputacji i uczeniu reprezentacji bez etykiet.
To jedno z zagadnień omawianych podczas szkolenia: Deep learning (DL/N).

Modele generatywne uczą się rozkładu danych, dzięki czemu potrafią tworzyć nowe próbki, modyfikować obrazy lub interpolować przestrzeń latentną. W praktyce trzeba sprawdzić jakość i jednorodność zbioru, sposób etykietowania lub promptowania, wymagania GPU oraz metody kontroli stabilności uczenia i jakości wyników. Przykładowo VAE nadają się do pracy na reprezentacjach latentnych, GAN do generowania ostrych obrazów, a Stable Diffusion i FLUX do sterowanego generowania oraz fine-tuningu z użyciem LoRA.
Dokładnie ten zestaw narzędzi i workflow ćwiczymy podczas szkolenia: Metody i algorytmy sztucznej inteligencji w generowaniu obrazów (AI/GEN-IMG).

Autoenkodery to sieci neuronowe uczące kompresji i rekonstrukcji danych, dzięki czemu tworzą użyteczne reprezentacje bez potrzeby stosowania etykiet. Przy ich projektowaniu warto sprawdzić rozmiar przestrzeni ukrytej, typ funkcji straty, wariant architektury oraz to, czy celem jest denoising, imputacja, detekcja anomalii czy generowanie danych. Przykładowo denoising autoencoders usuwają szum z wejścia, VAE modelują rozkład latentny, a Wasserstein AutoEncoders pomagają uzyskać bardziej uporządkowaną przestrzeń reprezentacji.
Wersję warsztatową (z konfiguracją i przykładami) znajdziesz w programie szkolenia: Nienadzorowana reprezentacja, autoenkodery i modele generatywne (DL/NRAMG).

Wdrażanie modeli SOTA wymaga połączenia jakości predykcji z kontrolą rozmiaru modelu, opóźnień i zużycia pamięci. Najpierw należy sprawdzić dostępność przetrenowanych wag, format danych wejściowych, możliwość redukcji parametrów oraz ograniczenia środowiska produkcyjnego. Przykładowo w NLP stosuje się Transformery z optymalizacją rozmiaru, w danych grafowych sieci grafowe, a w danych 3D architektury do chmur punktów i podejścia takie jak NeRF.
Ten temat przerabiamy praktycznie na szkoleniu: Zastosowania SOTA w przetwarzaniu konkretnych danych (DL/SOTA).