RTX 5090 a lokalne AI w 2026: czy 32 GB GDDR7 to nadal najlepszy wybór?

W świecie lokalnych modeli językowych (LLM) kupowanie karty graficznej wyłącznie na podstawie liczby teraflopów jest jak wybieranie samochodu wyścigowego do przewożenia mebli. Nie ma znaczenia, jak potężny masz silnik, jeśli wrota bagażnika mają 20 centymetrów szerokości. Nvidia GeForce RTX 5090 z 32 GB pamięci GDDR7 i przepustowością blisko 1,8 TB/s rozbiła „szklany sufit 24 GB” i wniosła poważne modele prosto na biurko. Półtora roku później sytuacja wygląda jednak inaczej, niż zapowiadały premierowe recenzje — zmieniły się modele, zmieniły się alternatywy i, delikatnie mówiąc, zmieniła się cena.

Kwantyzacja Q4: Dlaczego 4 bity rządzą lokalnym AI?

Oryginalne modele językowe trenowane są w precyzji 16-bitowej (FP16 lub BF16). Oznacza to, że każdy pojedynczy parametr modelu zajmuje 2 bajty pamięci VRAM. Jeśli chcesz uruchomić model o rozmiarze 70 miliardów parametrów w surowej postaci, potrzebujesz około 140 GB pamięci wideo. Dla pojedynczej stacji roboczej to koszmar inwestycyjny.

Tutaj do gry wkracza kwantyzacja Q4 (4-bit) (w formatach GGUF, EXL2 czy AWQ). Działa ona jak inteligentna kompresja: wagi modelu są zaokrąglane z 16 bitów do 4 bitów na parametr. Co najważniejsze, degradacja jakości rozumowania i tzw. perplexity przy nowoczesnych kwantyzacjach (np. Q4_K_M) jest praktycznie niezauważalna w codziennych zadaniach biznesowych czy programistycznych.

Święty Graal LLM: Przepustowość pamięci (Memory Bandwidth)

Dlaczego generowanie tekstu w modelach językowych bywa wolne? W przeciwieństwie do tradycyjnego renderowania grafiki 3D czy trenowania sieci neuronowych, wnioskowanie (tzw. auto-regressive token generation) jest w praktyce ograniczone przez przepustowość pamięci (ang. Memory Bandwidth Bound).

Aby wygenerować jeden jedyny wyraz (token), procesor graficzny musi pobrać z pamięci VRAM i przepchnąć przez swoje rdzenie wszystkie aktywne wagi modelu. Zatem prędkość generowania tekstu opiera się na banalnie prostym wzorze:

Zwróć uwagę na słowo „aktywnych” — w 2026 roku to ono robi całą różnicę. Ale najpierw spójrzmy, jak wygląda skok przepustowości między generacjami kart:

• Nvidia RTX 3090 (24 GB GDDR6X): ~936 GB/s
• Nvidia RTX 4090 (24 GB GDDR6X): ~1008 GB/s
• Nvidia RTX 5090 (32 GB GDDR7, szyna 512-bit): ~1792 GB/s (wzrost o blisko 78%!)

„RTX 5090 nie tylko daje o 8 GB więcej przestrzeni na model. Nowa szyna 512-bit i pamięci GDDR7 podwajają prędkość transferu danych. To jak zamiana 8-pasmowej autostrady na 16-pasmową arterię szybkiego ruchu.”

— Architektura sprzętowa Otoro

Zmiana zasad gry: modele MoE, czyli koniec dyktatu VRAM-u

To najważniejsza aktualizacja tego artykułu i rzecz, której premierowe recenzje 5090 nie mogły przewidzieć. Przez lata obowiązywała prosta zasada: cały model musi zmieścić się w VRAM, inaczej jest dramat. Modele MoE (Mixture of Experts) tę zasadę mocno rozmiękczyły.

Model gęsty (dense) działa jak firma, w której nad każdym e-mailem od klienta pochyla się cały czterdziestoosobowy zespół. Model MoE to firma z recepcjonistką, która czyta zapytanie i przekazuje je dwóm właściwym specjalistom — reszta w tym czasie pije kawę. Efekt: model ma 30 miliardów parametrów „na papierze”, ale przy generowaniu każdego tokena pracują tylko 3 miliardy.

Konsekwencje dla Twojego portfela są konkretne:

• Prędkość skacze dramatycznie: Qwen3-30B-A3B ma 30 mld parametrów, ale tylko 3 mld aktywnych. W Q4 zajmuje ~18 GB VRAM, a generuje z prędkością bliższą modelowi 3B niż 30B. Na 5090 to poziom, przy którym tekst leci szybciej, niż nadążasz go czytać.
• Offload przestał być wyrokiem śmierci: dawniej zrzucenie połowy modelu do RAM-u ścinało wydajność do 3–5 t/s. Przy MoE przez wolną szynę PCIe przechodzi tylko ułamek wag, więc gpt-oss-120b (117 mld parametrów, ok. 5 mld aktywnych) potrafi być użyteczny nawet wtedy, gdy nie mieści się w całości na karcie.
• Wzór trzeba czytać inaczej: dzielisz przepustowość przez rozmiar aktywnych wag, nie wszystkich. Dlatego „ile GB VRAM” przestało być jedyną liczbą, która się liczy.

Nie znaczy to, że VRAM przestał mieć znaczenie — MoE nadal musi mieć gdzie trzymać wszystkie wagi, a KV Cache przy długim kontekście rośnie tak samo. Znaczy to, że 32 GB w 2026 roku kupuje więcej realnej inteligencji niż kupowało w dniu premiery karty.

Jakie modele realnie obsłuży RTX 5090 w 2026 roku?

Modele, od których zaczynała ta karta — Llama 3.3 70B czy Qwen 2.5 32B — są dziś eksponatami muzealnymi. Oto, co faktycznie warto na niej uruchamiać:

1. Codzienny koń roboczy: Qwen3-30B-A3B-Instruct

MoE z 3 mld aktywnych parametrów i natywnym kontekstem sięgającym 262 tysięcy tokenów. W kwantyzacji Q4 zajmuje ~18 GB, zostawiając ponad 12 GB na KV Cache. To obecnie najlepszy stosunek „inteligencji na wat” dla pojedynczej karty konsumenckiej — świetny do zadań agentowych, podsumowań i pracy z długimi dokumentami.

2. Programowanie: Qwen3-Coder-30B-A3B i gpt-oss-20b

Jeśli programujesz z lokalnym asystentem AI (Continue.dev w VS Code, Cline, Zed), RTX 5090 zapewnia praktycznie zerowy czas oczekiwania na podpowiedź. Wieloplikowe analizy kodu wpadają do bufora w ułamku sekundy. gpt-oss-20b od OpenAI jest tu ciekawy z osobnego powodu: został wytrenowany natywnie w formacie MXFP4 i mieści się w ~14 GB, więc zostaje ogromny zapas na kontekst całego repozytorium.

3. Waga ciężka: Llama 4 Scout i gpt-oss-120b

Llama 4 Scout to 109 mld parametrów przy 17 mld aktywnych (16 ekspertów). W agresywnej kwantyzacji nie zmieści się w całości w 32 GB, ale — dzięki architekturze MoE — częściowy offload nie zabija już wydajności tak, jak zabijał modele gęste. To scenariusz „da się i jest sensownie”, a nie dawne „da się i płaczesz”.

Modele gęste 70B w wariantach 3-bitowych (IQ3_M, EXL2 3.25 bpw) nadal wchodzą w 29–31 GB i działają w całości na karcie, ale w 2026 roku coraz trudniej znaleźć powód, żeby wybrać je zamiast dobrego MoE.

Porównanie: RTX 5090 vs alternatywy w sierpniu 2026

Rok temu ta tabela miała jedną oczywistą odpowiedź. Dziś nie ma:

Słoń w pokoju: ile ta karta naprawdę kosztuje w 2026?

Tu muszę zepsuć nastrój. RTX 5090 zadebiutowała z ceną katalogową 1 999 USD i przy tej cenie była okazją stulecia. Problem w tym, że przy tej cenie właściwie nie da się jej kupić.

Globalny kryzys pamięci — napędzany przez centra danych wykupujące produkcję układów DRAM — wywindował udział pamięci w koszcie produkcji kart graficznych do poziomów niewidzianych wcześniej. Mediana ceny detalicznej RTX 5090 w USA przekroczyła w połowie 2026 roku 4 300–4 700 USD, a najdroższe oferty przebijają 5 000 USD. Do tego doszły cięcia produkcji u partnerów Nvidii, więc restocki znikają w kilka minut.

Co to zmienia w rachunku dla firmy? Wszystko. Przy 2 000 USD lokalny stack AI zwracał się w kilka miesięcy w porównaniu z abonamentami chmurowymi. Przy 4 700 USD za samą kartę trzeba policzyć to uczciwie — i czasem wyjdzie, że Ryzen AI Max+ 395 za 1 800 USD albo po prostu API w chmurze będzie rozsądniejszą decyzją biznesową. Chyba że Twoim głównym powodem jest prywatność danych — wtedy równanie wygląda zupełnie inaczej, bo za nieprzesyłanie dokumentacji medycznej czy umów do zewnętrznej korporacji nie ma cennika.

Blackwell i FP4: obietnica, która się spełniła

Przy premierze pisało się o sprzętowym wsparciu dla formatu FP4 w rdzeniach Tensor 5. generacji układu Blackwell GB202 jako o czymś, co „kiedyś zaprocentuje”. Zaprocentowało.

Modele gpt-oss od OpenAI zostały wytrenowane z natywną kwantyzacją MXFP4 wag MoE — nie skwantyzowane po fakcie, tylko od razu w tym formacie. Wsparcie sprzętowe obejmuje architektury od Hoppera wzwyż, czyli również całą rodzinę RTX 50. W praktyce oznacza to, że 5090 dostała zastrzyk wydajności i pojemności wyłącznie dzięki temu, jak dziś publikuje się modele. To rzadki przypadek, w którym sprzęt kupiony półtora roku temu staje się lepszy z czasem.

Okiem praktyka: 5090 w codziennej pracy z lokalnym AI

Praca z modelami lokalnymi to nie tylko benchmarki, ale przede wszystkim wygoda środowiska pracy. Oto kluczowe wnioski z perspektywy wdrożeniowej:

• Koniec z udręką podwójnych kart (Dual GPU): dotychczasowy standard domowego AI (2× używany RTX 3090) oznaczał walkę z liniami PCIe na płytach głównych (podział x8/x8), opóźnieniami komunikacji między kartami bez NVLink oraz generowaniem piekielnych ilości ciepła. RTX 5090 rozwiązuje ten problem w ramach pojedynczego slotu.
• KV Cache dla głębokiego RAG: przy analizie długich dokumentów PDF, umów prawnych czy całych baz wiedzy w architekturze RAG bufor kontekstu potrafi zająć dodatkowe 4–8 GB pamięci. 32 GB daje bezpieczny margines, bez ryzyka błędu CUDA Out of Memory w połowie generowania odpowiedzi. Jeśli budujesz taką bazę, zobacz też, jak zorganizować lokalną wiedzę w Obsidianie.
• Wymagania zasilania i chłodzenia: TGP na poziomie 575 W wymaga porządnego, markowego zasilacza standardu ATX 3.1 ze złączem 12V-2×6 oraz obudowy z nienagannym przepływem powietrza. To potężna grzałka, ale odwdzięcza się kulturą pracy przy mniejszych modelach.
• Ekosystem to nadal główny argument: llama.cpp, vLLM, Ollama, Transformers, ExLlamaV2 — wszystko celuje najpierw w CUDA. Alternatywy z pamięcią zunifikowaną kuszą pojemnością, ale to Nvidia dostaje wsparcie w dniu premiery nowego modelu, a nie trzy miesiące później.
• 100% prywatności i zero opłat abonamentowych: dla firm przetwarzających poufne dane klientów, tajemnice handlowe czy dokumentację medyczną lokalny stack (np. Ollama + Open WebUI + RTX 5090) uniezależnia biznes od awarii i zmian cenników zewnętrznych chmur. To jest dziś najmocniejszy powód, żeby w ogóle iść w lokalne AI — mocniejszy niż koszt.

Najczęstsze pytania

Czy RTX 5090 to nadal najlepszy wybór do lokalnego AI w 2026 roku?

Do najszybszego generowania tokenów na pojedynczej karcie — tak, nadal nie ma sobie równych w segmencie konsumenckim. Ale „najlepszy” zależy od zadania: jeśli potrzebujesz uruchamiać modele większe niż 32 GB, Mac Studio M5 Ultra lub maszyna ze 128 GB pamięci zunifikowanej dowiozą to, czego 5090 nie dowiezie za żadne pieniądze.

Ile VRAM potrzebuję, żeby uruchomić model 32B lokalnie?

Model 32B w kwantyzacji Q4 zajmuje około 18–20 GB wag, do czego trzeba doliczyć 4–8 GB na bufor kontekstu (KV Cache) przy dłuższych dokumentach. Realne minimum to 24 GB, a komfortowo pracuje się od 32 GB wzwyż.

Czym różni się model MoE od zwykłego i dlaczego to ważne przy zakupie GPU?

Model MoE aktywuje przy każdym tokenie tylko część swoich parametrów (np. 3 z 30 miliardów), więc generuje tekst znacznie szybciej, niż sugeruje jego rozmiar. Przy zakupie GPU oznacza to, że przepustowość pamięci liczy się względem parametrów aktywnych, a nie wszystkich — i że częściowy offload do RAM-u przestał być katastrofą wydajnościową.

Czy lokalne AI opłaca się firmie bardziej niż API w chmurze?

Przy obecnych cenach kart graficznych czysta kalkulacja kosztowa często wypada na korzyść chmury. Lokalne AI wygrywa tam, gdzie w grę wchodzi prywatność danych — dokumentacja medyczna, umowy, dane osobowe klientów, tajemnice handlowe — oraz tam, gdzie potrzebna jest niezależność od zmian cenników i dostępności zewnętrznych usług.

Podsumowanie: dla kogo ta karta ma dziś sens?

RTX 5090 nadal robi to, co obiecywała: 32 GB GDDR7 i przepustowość 1792 GB/s dają najszybsze generowanie tokenów, jakie da się kupić w pojedynczym slocie PCIe. Architektura MoE sprawiła, że te 32 GB są dziś warte więcej niż w dniu premiery, a natywne FP4 dorzuciło bonus, za który nikt nie zapłacił.

Ale „bezdyskusyjny król” to już przesada. Wybierz 5090, jeśli zależy Ci na maksymalnej prędkości odpowiedzi, pracujesz w ekosystemie CUDA, a modele do ~32 GB Ci wystarczają. Rozważ alternatywę z pamięcią zunifikowaną, jeśli potrzebujesz pojemności ponad wszystko albo cena 4 700 USD za samą kartę nie mieści się w budżecie. A zostań w chmurze, jeśli nie masz twardego wymogu prywatności — bo w 2026 roku to prywatność, a nie koszt, jest najlepszym argumentem za lokalnym AI.

Jeśli zastanawiasz się, jak takie lokalne modele wpiąć w realne procesy firmowe, zajrzyj do artykułu o budowaniu pętli agentowych — sprzęt to dopiero połowa układanki.