Nano vLLMNano-vLLM A lightweight vLLM implementation built from scratch. Key Features π Fast offline inference - Comparable inference speeds to vLLM π Readable codebase - Clean implementation in ~ 1,200 lines of Python code β‘ Optimization Suite - Prefix caching, Tensor Parallelism, Torch compilation, CUDA graph, etc. Installation pip install git+https://github.com/GeeeekExplorer/nano-vllm.git Manual Download If you prefer to download the model weights manually, use the following command: huggβ¦
Π‘ΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΡ F6 ΠΈΠ·ΡΡΠΈΠ»ΠΈ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½Π½ΡΡ Π²Π΅ΡΡΠΈΡ DeliveryRAT. Π’ΡΠΎΡΠ½ ΠΌΠ°ΡΠΊΠΈΡΡΠ΅ΡΡΡ ΠΏΠΎΠ΄ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠ΅ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ Π΄Π»Ρ Π΄ΠΎΡΡΠ°Π²ΠΊΠΈ Π΅Π΄Ρ, ΠΌΠ°ΡΠΊΠ΅ΡΠΏΠ»Π΅ΠΉΡΡ, Π±Π°Π½ΠΊΠΎΠ²ΡΠΊΠΈΠ΅ ΡΠ΅ΡΠ²ΠΈΡΡ ΠΈ ΡΡΠ΅ΠΊΠΈΠ½Π³ ΠΏΠΎΡΡΠ»ΠΎΠΊ. ΠΠΎΠ²Π°Ρ Π²Π΅ΡΡΠΈΡ ΠΏΠΎΠ»ΡΡΠΈΠ»Π° ΡΡΠ΄ Π½ΠΎΠ²ΡΡ ΡΡΠ½ΠΊΡΠΈΠΉ, Π²ΠΊΠ»ΡΡΠ°Ρ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ DDoS-Π°ΡΠ°ΠΊ ΠΈ Π·Π°ΠΏΡΡΠΊ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΡΡ Π°ΠΊΡΠΈΠ²Π½ΠΎΡΡΠ΅ΠΉ Π΄Π»Ρ ΠΊΡΠ°ΠΆΠΈ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΡ .
Π‘ΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Zimperium ΠΏΡΠ΅Π΄ΡΠΏΡΠ΅ΠΆΠ΄Π°ΡΡ ΠΎ ΡΠΎΡΡΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° NFC-ΠΌΠ°Π»Π²Π°ΡΠΈ Π΄Π»Ρ Android Π² ΠΠΎΡΡΠΎΡΠ½ΠΎΠΉ ΠΠ²ΡΠΎΠΏΠ΅. ΠΠ° ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΠ΅ ΠΌΠ΅ΡΡΡΡ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΠΈ ΠΎΠ±Π½Π°ΡΡΠΆΠΈΠ»ΠΈ Π±ΠΎΠ»Π΅Π΅ 760 ΡΠ°ΠΊΠΈΡ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΠΈΡ NFC-Π°ΡΠ°ΠΊΠΈ Π΄Π»Ρ ΠΊΡΠ°ΠΆΠΈ ΠΏΠ»Π°ΡΠ΅ΠΆΠ½ΡΡ Π΄Π°Π½Π½ΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ.
ΠΠ½ΠΎΠ½ΠΈΠΌΠ½ΡΠΉ ΠΈΠ½ΡΠ°ΠΉΠ΄Π΅Ρ, ΡΠΊΡΡΠ²Π°ΡΡΠΈΠΉΡΡ ΠΏΠΎΠ΄ Π½ΠΈΠΊΠΎΠΌ rogueFed, ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» ΡΠΊΡΠΈΠ½ΡΠΎΡΡ Ρ Π·Π°ΠΊΡΡΡΠΎΠ³ΠΎ Π±ΡΠΈΡΠΈΠ½Π³Π° ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Cellebrite Π΄Π»Ρ ΠΏΡΠ°Π²ΠΎΠΎΡ ΡΠ°Π½ΠΈΡΠ΅Π»ΡΠ½ΡΡ ΠΎΡΠ³Π°Π½ΠΎΠ². ΠΠ° ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡΡ Π²ΠΈΠ΄Π½ΠΎ, ΠΊΠ°ΠΊΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡΠΌΠ°ΡΡΡΠΎΠ½ΠΎΠ² Google Pixel ΡΡΠ·Π²ΠΈΠΌΡ Π΄Π»Ρ Π²Π·Π»ΠΎΠΌΠ° ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ°ΠΌΠΈ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ. ΠΠ°ΠΊ Π²ΡΡΡΠ½ΠΈΠ»ΠΎΡΡ, ΠΊΠ°ΡΡΠΎΠΌΠ½Π°Ρ GrapheneOS Π·Π°ΡΠΈΡΠ°Π΅Ρ ΡΡΡΡΠΎΠΉΡΡΠ²Π° Π»ΡΡΡΠ΅, ΡΠ΅ΠΌ ΡΡΠΎΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Google.
ΠΠ»Π°Π²Π° ΠΈΡΠ°Π»ΡΡΠ½ΡΠΊΠΎΠΉ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Memento Labs (Π±ΡΠ²ΡΠ°Ρ Hacking Team) ΠΠ°ΠΎΠ»ΠΎ ΠΠ΅ΡΡΠΈ (Paolo Lezzi) ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠ΄ΠΈΠ» Π‘ΠΠ, ΡΡΠΎ ΡΠΏΠΈΠΎΠ½ΡΠΊΠΎΠ΅ ΠΠ Dante, Π½Π΅Π΄Π°Π²Π½ΠΎ ΠΎΠ±Π½Π°ΡΡΠΆΠ΅Π½Π½ΠΎΠ΅ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠ°ΠΌΠΈ Β«ΠΠ°Π±ΠΎΡΠ°ΡΠΎΡΠΈΠΈ ΠΠ°ΡΠΏΠ΅ΡΡΠΊΠΎΠ³ΠΎΒ» Π² ΡΠ΅Π°Π»ΡΠ½ΡΡ Π°ΡΠ°ΠΊΠ°Ρ , Π΄Π΅ΠΉΡΡΠ²ΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΏΡΠΈΠ½Π°Π΄Π»Π΅ΠΆΠΈΡ Π΅Π³ΠΎ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ. ΠΡΠΈ ΡΡΠΎΠΌ ΠΠ΅ΡΡΠΈ ΠΎΠ±Π²ΠΈΠ½ΠΈΠ» ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΠΈΠ· Π³ΠΎΡΡΠ΄Π°ΡΡΡΠ²Π΅Π½Π½ΡΡ ΠΊΠ»ΠΈΠ΅Π½ΡΠΎΠ² Π² ΡΠ°ΡΠΊΡΡΡΠΈΠΈ ΡΠΏΠ°ΠΉΠ²Π°ΡΠΈ, Π·Π°ΡΠ²ΠΈΠ², ΡΡΠΎ ΡΠΎΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π» ΡΡΡΠ°ΡΠ΅Π²ΡΡΡ Π²Π΅ΡΡΠΈΡ.
ΠΠΌΠ΅ΡΠΈΠΊΠ°Π½ΡΠΊΠ°Ρ ΡΠ΅Π»Π΅ΠΊΠΎΠΌΠΌΡΠ½ΠΈΠΊΠ°ΡΠΈΠΎΠ½Π½Π°Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ Ribbon Communications ΡΠΎΠΎΠ±ΡΠΈΠ»Π° ΠΎ ΠΊΠΎΠΌΠΏΡΠΎΠΌΠ΅ΡΠ°ΡΠΈΠΈ ΡΠ²ΠΎΠ΅ΠΉ ΠΠ’-ΡΠ΅ΡΠΈ, ΠΊ ΠΊΠΎΡΠΎΡΠΎΠΉ ΠΌΠΎΠ³Π»ΠΈ Π±ΡΡΡ ΠΏΡΠΈΡΠ°ΡΡΠ½Ρ Ρ Π°ΠΊΠ΅ΡΡ, ΡΠ°Π±ΠΎΡΠ°ΡΡΠΈΠ΅ Π² ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ°Ρ ΠΈΠ½ΠΎΡΡΡΠ°Π½Π½ΠΎΠ³ΠΎ Π³ΠΎΡΡΠ΄Π°ΡΡΡΠ²Π°. ΠΠ½ΡΠΈΠ΄Π΅Π½Ρ Π½Π°ΡΠ°Π»ΡΡ Π΅ΡΠ΅ Π² Π΄Π΅ΠΊΠ°Π±ΡΠ΅ 2024 Π³ΠΎΠ΄Π°, ΠΎΠ΄Π½Π°ΠΊΠΎ Π±ΡΠ» ΠΎΠ±Π½Π°ΡΡΠΆΠ΅Π½ Π»ΠΈΡΡ Π΄Π΅Π²ΡΡΡ ΠΌΠ΅ΡΡΡΠ΅Π² ΡΠΏΡΡΡΡ β Π² ΡΠ΅Π½ΡΡΠ±ΡΠ΅ 2025 Π³ΠΎΠ΄Π°.
ΠΠ»Ρ ΠΏΠΎΠ΄ΠΏΠΈΡΡΠΈΠΊΠΎΠ²Π‘Π΅Π³ΠΎΠ΄Π½Ρ Ρ ΠΏΠΎΠΊΠ°ΠΆΡ, ΠΊΠ°ΠΊΒ ΠΌΠΎΠΆΠ½ΠΎ Π²ΡΠΉΡΠΈ ΠΈΠ·Β Windows Subsystem for Linux, Π΅ΡΠ»ΠΈ ΠΌΡ ΠΏΠΎΠ»ΡΡΠΈΠ»ΠΈ Π΄ΠΎΡΡΡΠΏ ΡΠΎΠ»ΡΠΊΠΎ ΠΊΒ ΡΡΠΎΠΌΡ ΠΎΠΊΡΡΠΆΠ΅Π½ΠΈΡ. Π’Π°ΠΊΠΆΠ΅ ΡΠ°ΡΡΠΈΡΡΡΠ΅ΠΌ Π΄ΠΎΠΊΡΠΌΠ΅Π½Ρ, Π²ΠΎΡΡΡΠ°Π½ΠΎΠ²ΠΈΠΌ ΡΡΠ΅ΡΠ½ΡΡ Π·Π°ΠΏΠΈΡΡ ΠΈΠ·Β ΠΊΠΎΡΠ·ΠΈΠ½Ρ Active Directory ΠΈΒ ΠΈΠ·Π²Π»Π΅ΡΠ΅ΠΌ Π΄Π°Π½Π½ΡΠ΅ DPAPI Π΄Π»ΡΒ ΠΏΠΎΠ»ΡΡΠ΅Π½ΠΈΡ ΡΡΠ΅ΡΠΊΠΈ.
Π ΠΏΠ»Π°Π³ΠΈΠ½Π΅ Anti-Malware Security and Brute-Force Firewall Π΄Π»Ρ WordPress ΠΎΠ±Π½Π°ΡΡΠΆΠΈΠ»ΠΈ ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΡ, ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΠΌ Ρ ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡΠ½ΡΠΌΠΈ ΠΏΡΠΈΠ²ΠΈΠ»Π΅Π³ΠΈΡΠΌΠΈ ΡΠΈΡΠ°ΡΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ»ΡΠ½ΡΠ΅ ΡΠ°ΠΉΠ»Ρ Π½Π° ΡΠ΅ΡΠ²Π΅ΡΠ΅. ΠΠ»Π°Π³ΠΈΠ½ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½ Π±ΠΎΠ»Π΅Π΅ ΡΠ΅ΠΌ Π½Π° 100 000 ΡΠ°ΠΉΡΠ°Ρ , ΠΎΠ΄Π½Π°ΠΊΠΎ ΠΏΠΎΠΊΠ° ΠΏΠ°ΡΡ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½ ΡΠΎΠ»ΡΠΊΠΎ Π½Π° ΠΏΠΎΠ»ΠΎΠ²ΠΈΠ½Π΅ ΠΈΠ· Π½ΠΈΡ .
Π‘Π²ΡΠ·Π°Π½Π½Π°Ρ Ρ ΠΠΈΡΠ°Π΅ΠΌ Ρ Π°ΠΊ-Π³ΡΡΠΏΠΏΠ° UNC6384 (ΠΎΠ½Π° ΠΆΠ΅ Mustang Panda) ΠΏΡΠΎΠ²ΠΎΠ΄ΠΈΡ ΠΌΠ°ΡΡΡΠ°Π±Π½ΡΡ ΠΊΠΈΠ±Π΅ΡΡΠΏΠΈΠΎΠ½ΡΠΊΡΡ ΠΊΠ°ΠΌΠΏΠ°Π½ΠΈΡ, Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½Π½ΡΡ Π½Π° Π΅Π²ΡΠΎΠΏΠ΅ΠΉΡΠΊΠΈΠ΅ Π΄ΠΈΠΏΠ»ΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΠΈ ΠΏΡΠ°Π²ΠΈΡΠ΅Π»ΡΡΡΠ²Π΅Π½Π½ΡΠ΅ ΡΡΡΡΠΊΡΡΡΡ. ΠΠΎ Π΄Π°Π½Π½ΡΠΌ Arctic Wolf ΠΈ StrikeReady, Ρ Π°ΠΊΠ΅ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π½Π΅ΠΈΡΠΏΡΠ°Π²Π»Π΅Π½Π½ΡΡ ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΡ Π² Windows, ΡΠ²ΡΠ·Π°Π½Π½ΡΡ Ρ ΡΡΠ»ΡΠΊΠ°ΠΌΠΈ LNK.