Qwen3.8-27B-Uncensored-MLX na Apple Silicon: jak wybrać swoją kompilację, wczytać ją w LM Studio lub mlx-vlm i okiełznać kontekst 262K

Najbardziej przydatną rzeczą, jaką należy wiedzieć o orcarouter/Qwen3.8-27B-Uncensored-MLX, jest to, że nie musisz wybierać podfolderu, aby go uruchomić. Abliterowana wersja Qw​en/Qwen3.8-27B na Apple Silicon od OrcaRouter — opublikowana na Hugging Face 17 sierpnia 2026 roku, więc nie jest nowa, tylko słabo udokumentowana — przechowuje kopię wersji 4-bitowej w katalogu głównym repozytorium, specjalnie po to, aby narzędzia, które traktują jedno repozytorium jako jeden model, przede wszystkim LM Studio, ładowały go bez żadnej konfiguracji. Ta jedna decyzja sprawiła, że ta karta zdobyła w ostatnim miesiącu około 83 000 pobrań, podczas gdy porównywalne konwersje MLX uzyskują jedynie ich ułamek. Wszystko inne w tym modelu to prawdziwy wybór: która z czterech precyzji pasuje do pamięci zunifikowanej twojego Maca, jakiego runnera używasz, czy funkcje widzenia i wywoływania narzędzi działają przy twojej szerokości bitowej oraz czy okno kontekstu o 262 144 tokenach jest warte tego, co kosztuje na twoim sprzęcie. Ten runbook przeprowadzi cię przez te decyzje w kolejności. To dokumentacja z pierwszej ręki — rozmiary, precyzje i wskaźniki wierności poniżej są własnymi pomiarami OrcaRouter, wykonanymi na tym dokładnie wydaniu, a każda liczba pochodząca od społeczności jest odpowiednio oznaczona.

Co dokładnie znajduje się w tym repo

To jest abliterowany build modelu Qw​en/Qwen3.8-27B — gęsty model 27B z hybrydowym mechanizmem uwagi (liniowa uwaga Gated DeltaNet plus pełna uwaga), natywnie wizyjno-językowy, z kontrolą myślenia, wywoływaniem narzędzi, głowicą wielotokenowego przewidywania (MTP) i oknem kontekstowym o długości 262 144 tokenów. Abliteracja usuwa zachowanie odmowy modelu poprzez ortogonalizację kierunku odmowy ze strumienia rezydualnego; jeśli to dla Ciebie nowość, nasze wprowadzenie do tej techniki jest lepszym punktem wyjścia niż ta strona, która dotyczy uruchamiania tego buildu, a nie metody. Wagi są na licencji Apache-2.0, odziedziczone od modelu bazowego.

Nie myl tego repozytorium z qwen-3-8-27b-mlx, które jest tym samym modelem bazowym w formacie MLX bez abliteracji. Czytelnicy rutynowo pobierają jedno, gdy mieli na myśli drugie: to jest wersja badawcza z usuniętą odmową; tamto to zwykły Qw​en/Qwen3.8-27B na Apple Silicon. Sprawdź nazwę repozytorium, zanim poświęcisz czas na pobieranie.

Jeden szczegół strukturalny ma większe znaczenie, niż się wydaje: wieża wizyjna, wszystkie normalizacje i conv1d uwagi liniowej pozostają w BF16, a tylko warstwy liniowe modelu językowego — w tym embed_tokens i lm_head — są skwantyzowane. Dlatego rozumienie obrazu przetrwa kwantyzację, a także dlatego podane poniżej rozmiary na dysku są nieco większe niż naiwne oszacowanie "27B przy N bitach": fragment modelu nigdy nie jest kompresowany.

Decyzja: która kompilacja pasuje do którego Maca

Cztery precyzje są dostarczane jako podfoldery — 8-bit/, 6-bit/, 4-bit/, 2-bit/ — wszystkie z kwantyzacją afiniczną MLX przy rozmiarze grupy 64. Wersja 4-bitowa jest dodatkowo zdublowana w katalogu głównym repozytorium. Wybieraj najpierw według pamięci zunifikowanej Maca, a jakość na drugim miejscu:

• 8-bit — ~27,5 GB na dysku, wymaga Maca z 64 GB (maszyna z 32 GB może go wczytać, ale zostaje wtedy mało miejsca na cokolwiek innego). Zmierzona wierność cosinusowa względem źródła BF16: 0,9997, praktycznie bezstratne. Wybierz go, gdy jakość jest najważniejsza, a pamięci jest pod dostatkiem.

• 6-bit — ~22 GB, odpowiedni dla Maców z 24–32 GB. Wierność 0,9996 — doskonała. Najlepszy stosunek jakości do gigabajta dla większości posiadaczy Maców z 48 GB.

• 4-bit — ~15 GB, wygodnie na Macu z 24 GB. Wierność 0.996, bardzo dobra. To nasza zalecana wersja domyślna i dlatego to właśnie ta kopia znajduje się w głównym katalogu repozytorium.

• 2-bit — ~8,7 GB, mieści się na Macu z 16 GB. Wierność 0,92, a przy 27B mocno zdegradowany: zapętlone powtórzenia, zniekształcony tekst, kod i chiński, częściowe widzenie. Karta mówi to wprost — tylko archiwalnie, nie do prawdziwej pracy. Mac z 16 GB technicznie może go załadować; to nie czyni go użytecznym.

Rozmiar na dysku to nie to samo co zajętość pamięci. Wagi muszą zmieścić się w pamięci zunifikowanej razem z macOS, pamięcią podręczną KV i buforami roboczymi Metal, więc zostaw zapas. Przeprowadzony przez społeczność test wersji 4-bitowej na Macu M1 Pro 32 GB wykazał ~16 GB wag na dysku, ale szczytowe zużycie podczas wnioskowania wyniosło 18,5–21,7 GB; uruchomienia społecznościowe wersji 8-bitowych MLX raportują szczyty w okolicach 34–36 GB nawet przy wagach ~29,5 GB. Robocze wytyczne z tego samego testu społecznościowego są następujące: 16 GB nie jest realną opcją dla modelu 27B, przy 24 GB można spróbować kwantyzacji 4-bitowej z krótkim kontekstem, a 32 GB to komfortowy punkt startowy. Nasz artykuł o planowaniu pamięci VRAM przeprowadza te same obliczenia dla całej rodziny.

Ponieważ całe repozytorium zajmuje łącznie około 94 GB we wszystkich precyzjach, pobierz tylko potrzebny podfolder za pomocąhf download orcarouter/Qwen3.8-27B-Uncensored-MLX --include "4-bit/*" --local-dir ./Qwen3.8-27B-Uncensored-MLX — podstawiając wybraną precyzję. Kopia 4-bit w katalogu głównym jest duplikatem podfolderu 4-bit, więc nigdy nie musisz pobierać obu.

Ścieżka pierwsza — LM Studio, zero konfiguracji

Kopia 4-bitowa w katalogu głównym istnieje po to, aby LM Studio mogło traktować całe repozytorium jako jeden model. Wyszukaj identyfikator modelu, wybierz interesującą Cię precyzję (kopia główna to 4-bit), a aplikacja zajmie się resztą. Trzy pułapki, wszystkie z naszej karty, i to one stanowią całą różnicę między tym, czy to działa, czy zawodzi:

• Dostęp do repozytorium jest ograniczony.Anonimowe pobieranie zwraca HTTP 401. Zaakceptuj warunki na stronie modelu, a następnie wklej token do odczytu Hugging Face w LM Studio: Settings → Integrations → Hugging Face. Jeśli to pominiesz, ładowanie po prostu się nie powiedzie.

• Wyłącz kwantyzację pamięci podręcznej KV. Modele wizyjne MLX nie obsługują jej na tej architekturze, a ładowanie kończy się niepowodzeniem podczas inicjalizacji, jeśli jest włączona (śledzone jako mlx-engine#286). Jest to przeciwieństwo zalecenia dla wersji GGUF, gdzie kwantyzacja pamięci podręcznej K/V jest uzasadnioną oszczędnością pamięci VRAM — te dwa formaty nie są tutaj wymienne.

• Zaktualizuj środowisko uruchomieniowe. qwen3_5 to architektura, dla której obsługa pojawiła się w mlx-vlm 0.6.x; starsze dołączone środowisko uruchomieniowe w ogóle nie może załadować tych wag. Odznaka „Likely too large" w LM Studio to natomiast tylko ostrzeżenie o pamięci RAM, a nie błąd — zignoruj ją, jeśli twoja pamięć zunifikowana spełnia powyższe zalecenia.

Która precyzja w LM Studio: 8-bit to ~29,5 GB na dysku i wymaga Maca z 64 GB; 6-bit ~22 GB pasuje do maszyny z 48 GB; 4-bit przy ~16 GB to właściwy wybór na Macu z 32 GB. Jeśli chcesz skorzystać ze ścieżki llama.cpp / Ollama na innym sprzęcie, nasz przewodnik po lokalnym uruchamianiu modelu bez cenzury opisuje tę drogę osobno.

Ścieżka druga — mlx-vlm i mlx-lm z podfolderu

Ścieżka wiersza poleceń zapewnia precyzję bezpośrednio oraz serwer zgodny z Open​AI dla narzędzi agentowych. Wymagania: pip install -U mlx-vlm (mlx-vlm ≥ 0.6.13 i mlx ≥ 0.32; backend Metal jest wybierany automatycznie na Apple Silicon). Po pobraniu powyższego podfolderu:

python -m mlx_vlm generate --model ./Qwen3.8-27B-Uncensored-MLX/4-bit --prompt "Wyjaśnij splątanie kwantowe w jednym zdaniu." --max-tokens 256

Dodaj --image path/to/image.png jako wejście wizyjne lub serwuj go:

python -m mlx_vlm server --model ./Qwen3.8-27B-Uncensored-MLX/4-bit --port 8080

For agent frameworks that speak Open​AI-compatible APIs, mlx_lm.server is the lighter path — uv tool install mlx-lm then mlx_lm.server --model "orcarouter/Qwen3.8-27B-Uncensored-MLX", which serves at http://localhost:8080/v1 with api type openai-completions. Our card carries self-reported community configs pointing Pi, Hermes and OpenClaw at that endpoint. Those are user-supplied setups we have not reproduced, so treat them as starting points, not guarantees.

Wizja przetrwa kwantyzację

Ponieważ wieża wizyjna i conv1d pozostają w BF16, rozumienie obrazu jest zachowane przy 4/6/8 bitach. Na naszym obrazie testowym — kształty, kolory, położenie, tło oraz tekst w obrazie — wersje 4/6/8-bitowe poprawnie opisywały wszystko; wersja 2-bitowa była tylko częściowa. Jeśli wybierasz build i zależy Ci na wizji, 4-bit to najniższy poziom, jaki powinieneś wybrać. Nie opublikowaliśmy przepustowości wizyjnej specyficznej dla Apple Silicon dla tego builda, więc nie ufaj wartości tok/s, chyba że pochodzi z nazwanego uruchomienia na Twojej własnej klasie chipów.

Zachowana wieża wizyjna również należy do powierzchni ryzyka i warto powiedzieć to wprost: model po ablacji, który potrafi także czytać obrazy, nie jest wyłącznie problemem bezpieczeństwa tekstowego.

Wywoływanie narzędzi i korzystanie z agentów

Wywoływanie narzędzi to funkcja modelu bazowego, która pozostaje po abliteracji, co czyni ten build naprawdę przydatnym do red teamingu systemów agentowych — ale też naprawdę niebezpiecznym, jeśli zostanie skierowany na realne usługi. Standardowa konfiguracja to powyższy punkt końcowy mlx_lm.server, z którego może skorzystać dowolny agent zgodny z Open​AI. Jeśli faktycznie uruchomisz go jako agenta, zdaj sobie sprawę, co włączasz: model bez mechanizmów odmowy z wywoływaniem funkcji i kontekstem 262K to zupełnie inny profil bezpieczeństwa niż model czatu — i właśnie dlatego karta modelu opisuje go jako przeznaczonego wyłącznie do badań.

Kontekst 262K i ile naprawdę kosztuje

Architektura zapewnia temu modelowi wyjątkowo tani długi kontekst. Hybrydowa uwaga oznacza tutaj 48 warstw uwagi liniowej (Gated DeltaNet) przeplatanych z 16 warstwami pełnej uwagi, a tylko te 16 warstw pełnej uwagi ma klasyczną pamięć podręczną KV — warstwy liniowe utrzymują natomiast zwarty stan rekurencyjny. Dzięki temu 262 144 tokenów kosztuje znacznie mniej, niż kosztowałoby w modelu 27B z pełną uwagą. To strukturalna cecha modelu bazowego, a nie obietnica dotycząca twojego Maca.

W praktyce okno jest możliwością, a nie darmowym poziomem. Społecznościowy test długiego kontekstu na M4 Max zmierzył z grubsza 63 tok/s przy krótkim kontekście, spadając do około 11 tok/s przy 31K tokenów — dekodowanie gwałtownie się pogarsza w miarę zapełniania pamięci podręcznej, a czas do pierwszego tokena przy bardzo długich promptach jest zwykle większą przeszkodą niż surowa przepustowość. Spekulatywne i oparte na ANE prefillowanie poprawia przetwarzanie wejściowe, a nie dekodowanie. Nasze własne dane kosztów KV-cache dla Apple-Silicon w tej kompilacji nie zostały opublikowane; jeśli potrzebujesz konkretnych liczb dla swojego sprzętu, społecznościowe testy są rzetelnym źródłem, a konsensus społeczności jest taki, aby traktować pełne 262K jako coś, po co sięgasz świadomie, a nie jako domyślne ustawienie, które zostawiasz włączone.

Prędkość — co tak naprawdę jest mierzone

Publikujemy dokładnie jeden wynik prędkości dla tej kompilacji i nie jest to Apple Silicon: ~32–37 tok/s w stanie ustalonym na pojedynczym H200 przez backend MLX CUDA, co potwierdza, że wagi działają również poza macOS. Na Macach nasza karta celowo nie publikuje tok/s, ponieważ zależy to od układu, precyzji i runnera. Liczby praktyków, które warto znać, wszystkie oznaczone jako takie:

• Ta dokładna kompilacja, 4-bit, M1 Pro 32 GB: ~8,7 tok/s generowania i ~41,7 tok/s prefill w krótkim teście (test społeczności, sierpień 2026). Starszy chip, ale realistyczne minimum.

• oMLX z natywnym MTP na M4 Max, standardowy nieabliterowany checkpoint: 53,3 tok/s prozy i 72,1 tok/s kodu, z prefilmem ~273,7 tok/s przy 4K; surowa dekodacja bez MTP ~24,6 tok/s. Pomiar wykonany przez praktyka na innym checkpointie i środowisku uruchomieniowym, więc traktuj to jako górną granicę, do której mogą zbliżyć się abliterowane wagi, a nie obietnicę.

• prefill oMLX dual-ANE na M3 Ultra, abliterated oQ4e-MTP: prefill wyższy o ~17,7% przy 16K i ~18,9% przy 32K, a dekodowanie przez Lightning MTP do ~75 tok/s przy 16K. Zastrzeżenia są jak najbardziej realne: wykorzystuje prywatne interfejsy runtime Apple oraz przybliżone wagi INT8, dodaje około 4 GB szczytowego zużycia pamięci i wydłuża czas ładowania modelu z ~3,4 s do ~28 s. To optymalizacja wczytywania promptu, a nie akcelerator generowania.

Głowica MTP — darmowe przyspieszenie, jeśli twój runner ją obsługuje

Ta kompilacja dostarcza drafter wielotokenowego przewidywania modelu bazowego w podfolderze mtp/ (architektura qwen3_5_mtp), i działa z dowolną precyzją główną. Akceptacja jest bezstratna — przy zachłannym dekodowaniu wynik jest identyczny z uruchomieniem bez draftera — więc to realne przyspieszenie bez utraty jakości, gdy zadziała. Dwie uwagi dotyczące konfiguracji z naszej karty: wymaga wersji mlx-vlm, która zawiera qwen3_5_mtp drafter (gałąź main) i musisz podać oba --draft-model ./Qwen3.8-27B-Uncensored-MLX/mtp oraz --draft-kind mtp. Ustawienie mtp_enabled samo nic nie robi. Jeśli Twój runner nie obsługuje draftera, jest on ignorowany i model działa normalnie — nic się nie psuje.

Bezpieczeństwo — przeczytaj to przed uruchomieniem, nie po.

Zastrzeżenie samej karty modelu jest niezwykle bezpośrednie i ta strona nie zamierza go łagodzić. Dopasowanie bezpieczeństwa tej wersji zostało w znacznym stopniu usunięte. Model będzie realizować szkodliwe, nieetyczne, obraźliwe lub nielegalne prośby, których bazowy Qw​en/Qwen3.8-27B by odmówił, i nie ma żadnych znaczących wbudowanych zabezpieczeń. Jest udostępniany wyłącznie do legalnych badań — interpretowalności, bezpieczeństwa AI i badania mechanizmów odmowy, red teamingu, oceny odporności oraz kontrolowanych eksperymentów. Jeśli nie to jest tym, co robisz, to jest to niewłaściwy model.

Dwa ostrzeżenia z karty zasługują na podkreślenie. Po pierwsze, ataki jailbreak i sondy bezpieczeństwa „udają się” trywialnie na modelu poddanym abliteracji, ale to nie jest zaliczenie ewaluacji bezpieczeństwa — to oczekiwane zachowanie modelu, któremu usunięto kierunek odmowy. Brak odmów nie jest dowodem bezpieczeństwa. Po drugie, zachowane funkcje wizyjne, wywoływanie narzędzi i kontekst 262K poszerzają powierzchnię ataku o rozumienie obrazów i zastosowania agentowe: model bez cenzury, który potrafi czytać zrzuty ekranu i wywoływać narzędzia, stanowi większe ryzyko niż wersja tylko do czatu z usuniętymi odmowami. Niskobitowa kwantyzacja dodaje trzecią warstwę niestabilności — przy 2 bitach zniekształcone wyjście można nawet pomylić z odmową, co jest swoistym rodzajem mylącej awarii.

Bierzesz na siebie pełną odpowiedzialność i ponosisz odpowiedzialność prawną za korzystanie z modelu i jego wyniki. Licencja Apache-2.0 jest dziedziczona po modelu bazowym i tego nie zmienia: zezwala na użycie, nie czyni Twojego wdrożenia bezpiecznym. Każdy, kto wdraża ten model dla użytkowników końcowych, nieletnich lub w jakimkolwiek środowisku produkcyjnym, musi najpierw dodać własne warstwy moderacji, bezpieczeństwa i zapobiegania nadużyciom oraz przestrzegać obowiązującego prawa. Dla naukowców faktycznie uruchamiających model praktyczne zabezpieczenia to: izolowane, najlepiej offline, środowisko; narzędzia agentowe niekierowane na prawdziwe usługi; brak dostępu dla użytkowników końcowych; oraz przegląd wyników, zanim trafią gdziekolwiek.

Gdy lokalne nie jest rozwiązaniem.

Lokalność jest sednem tej kompilacji — wagi leżą na Twoim dysku, nie ma kosztu za token i nic nie opuszcza maszyny. Ale lokalność to także sufit: działa tylko na Apple Silicon, musisz żyć z jakością kwantyzacji i nie ma redundancji, gdy maszyna jest zajęta. Jeśli potrzebujesz nie-abliterowanego modelu klasy 27B przez API do rzeczywistego obciążenia albo chcesz porównać w teście A/B tę lokalną kompilację z modelem hostowanym przy użyciu tych samych promptów, to właśnie tę lukę wypełnia warstwa routingu. OrcaRouter udostępnia 200+ modeli za jednym kluczem API po cenie listowej dostawcy, z automatycznym failover i DSL do routingu — obniżka ceny u dostawcy wchodzi w życie po naszej stronie tego samego dnia, w którym zostanie ogłoszona, ponieważ przekazujemy cenę listową dalej. Jedno API, jedna integracja i możesz porównać niesprawdzony lokalny setup z modelem hostowanym bez zakładania drugiego konta. Nie hostujemy tej kompilacji MLX — to z założenia lokalne wagi — więc API jest ścieżką uzupełniającą, a nie substytutem.

Szybki przewodnik decyzyjny

• 16 GB Mac — szczerze mówiąc, nie ten model. 2-bit mieści się i jest tylko do archiwizacji; i tak będziesz walczyć z pamięcią. Spójrz na mniejszy model bez cenzury lub na społecznościową mieszaną konwersję 3/6-bitową stworzoną dla maszyn z 18–24 GB pamięci.

• 24 GB Mac — 4-bit, i trzymaj kontekst krótki; nie uruchamiaj jednocześnie vision i długiego kontekstu.

• 32 GB Mac — 4-bit to optymalny wybór; 6-bit, jeśli trzymasz kontekst w ryzach.

• 48 GB Mac — 6-bit z zapasem; 8-bit, jeśli nie przesuniesz okna.

• 64 GB i więcej — 8-bit, prawie bezstratny i kontekst 262K w zasięgu, z powyższymi zastrzeżeniami.

To jest cały runbook. Model pochodzi z 17 sierpnia 2026 r., to nie jest wiadomość o premierze i nie musi być: 83 000 pobrań miało miejsce, ponieważ ludzie chcieli poradnika, a ta strona jest tym poradnikiem. Zacznij od katalogu głównego repozytorium, wczytaj wersję 4-bitową w LM Studio, a domyślną kompilację opuść dopiero, gdy wiesz, czym płacisz za jakość. Jeśli pochodzisz ze strony rodziny GGUF lub FP8, powiązane przewodniki opisują te ścieżki — framework decyzyjny jest tutaj taki sam, matematyka kwantyzacji już nie.

To nie jest kolejna wersja tego modelu — Qwen3.8-Flash-Next-Uncensored to osobne wydanie: wynik abliteracji Qwen3.8-Flash-Next, zapowiedzi architektury Qwen4 w wariancie mixture-of-experts o 176B zapisanych / 6B aktywnych parametrów. Ta sama technika abliteracji, inne wagi, własna kolekcja.

Wszystkie sześć kompilacji 27B — BF16, GGUF, MLX, FP8, INT8 i NVFP4 — są zebrane w kolekcji Qwen3.8-27B-Uncensored na Hugging Face.

Te wagi są z założenia tylko lokalne. Aby mieć hostowany punkt odniesienia do porównania builda abliterated, Qwen3.8-27B jest serwowany na OrcaRouter po cenie katalogowej dostawcy z 0% marżą — standardowy model, z zachowanymi zabezpieczeniami.