http://www.grzenow.com/pl/categories/uczenie-maszynowe/Recent content in Uczenie Maszynowe on grzenowHugoplWed, 15 Jan 2025 00:00:00 +0000http://www.grzenow.com/pl/projects/deep-neural-networks/Wed, 15 Jan 2025 00:00:00 +0000http://www.grzenow.com/pl/projects/deep-neural-networks/<p>Jest to zbiór projektów zrealizowanych w ramach przedmiotu Głebokie Sieci Neuronowe, obejmujący:</p> <ol> <li><strong>Perceptrony wielowarstwowe</strong>: <ul> <li>Implementacja algorytmu <em>ProxyProp</em> (Proximal Backpropagation), opisanego w tej <a href="https://arxiv.org/pdf/1706.04638v3" class="external-link" target="_blank" rel="noopener">pracy</a>.</li> </ul> </li> <li><strong>Rozpoznawanie obrazów</strong>: <ul> <li>Implementacja kilku transformacji oraz metod <a href="https://arxiv.org/pdf/1911.09665" class="external-link" target="_blank" rel="noopener"><em>AdvProp</em></a> i <a href="https://openreview.net/pdf?id=QzcZb3fWmW" class="external-link" target="_blank" rel="noopener"><em>SparseTopK</em></a>.</li> </ul> </li> <li><strong>Przetwarzanie języka naturalnego</strong>: <ul> <li>Implementacja <a href="https://arxiv.org/pdf/2002.05202v1" class="external-link" target="_blank" rel="noopener"><em>SwiGLU</em></a> i <a href="https://arxiv.org/pdf/2410.05258" class="external-link" target="_blank" rel="noopener"><em>Differential Attention</em></a> dla architektury Transformera opartego wyłącznie na dekoderze.</li> </ul> </li> <li><strong>Uczenie ze wzmocnieniem</strong>: <ul> <li>Implementacja <em>Proximal Policy Optimization</em> (PPO) oraz <em>Random Network Distillation</em> (RND) dla środowisk <a href="https://github.com/facebookresearch/minihack" class="external-link" target="_blank" rel="noopener">MiniHack</a>.</li> </ul> </li> </ol> <p><a href="https://github.com/grzenow4/DNN" class="external-link" target="_blank" rel="noopener">Kod źródłowy</a></p>