- Opublikowano dnia
Lokalny RAG w fabryce: Phi-4 + sqlite-vec na Jetson Orin — asystent MES bez wycieku danych do chmury
Po roku eksperymentów z GPT-4 i Claude w fabrykach wraca uczciwe pytanie: czy naprawdę musimy wysyłać dane procesowe do chmury, żeby mieć asystenta MES? W 2025–2026 odpowiedź to „nie". Phi-4 (14B, Microsoft, MIT) w kwantyzacji 4-bit mieści się w 8 GB VRAM, sqlite-vec daje wektorowe wyszukiwanie w jednym pliku bez serwera, a Jetson Orin NX/AGX dostarcza 100–275 TOPS na hali. Artykuł pokazuje konkretną architekturę, benchmarki tokenów na sekundę, roczny TCO vs OpenAI API i co to znaczy dla AI Act, NIS2 i utrzymania ruchu IT w zakładzie.