High-speed Large Language Model Serving on PCs with Consumer-grade GPUsPowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU TL;DR PowerInfer is a CPU/GPU LLM inference engine leveraging activation locality for your device. Demo π₯ powerinfer-live-demo.mp4 PowerInfer v.s. llama.cpp on a single RTX 4090(24G) running Falcon(ReLU)-40B-FP16 with a 11x speedup! Both PowerInfer and llama.cpp were running on the same hardware and fully utilized VRAβ¦
ΠΠΌΠ΅ΡΠΈΠΊΠ°Π½ΡΠΊΠΈΠΉ Π³ΠΈΠ³Π°Π½Ρ Π² ΡΡΠ΅ΡΠ΅ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΡΡΠ²Π° ΠΎΠ΄Π΅ΠΆΠ΄Ρ ΠΈ ΠΎΠ±ΡΠ²ΠΈ, VF Corporation, ΠΊΠΎΡΠΎΡΠΎΠΌΡ ΠΏΡΠΈΠ½Π°Π΄Π»Π΅ΠΆΠ°Ρ ΡΠ°ΠΊΠΈΠ΅ Π±ΡΠ΅Π½Π΄Ρ, ΠΊΠ°ΠΊ Supreme, Vans, Timberland ΠΈ The North Face, ΡΠΎΠΎΠ±ΡΠΈΠ» ΠΎ ΠΊΠΈΠ±Π΅ΡΠ°ΡΠ°ΠΊΠ΅, ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΡΠΈΠ²Π΅Π»Π° ΠΊ ΠΏΠ΅ΡΠ΅Π±ΠΎΡΠΌ Π² ΡΠ°Π±ΠΎΡΠ΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ.
ΠΡΠ°Π²ΠΎΠΎΡ ΡΠ°Π½ΠΈΡΠ΅Π»ΠΈ Π·Π°ΡΠ²ΠΈΠ»ΠΈ, ΡΡΠΎ Π²Π·Π»ΠΎΠΌΠ°Π»ΠΈ ΡΠ΅ΡΠ²Π΅ΡΡ Π²ΡΠΌΠΎΠ³Π°ΡΠ΅Π»ΡΡΠΊΠΎΠΉ Π³ΡΡΠΏΠΏΠΈΡΠΎΠ²ΠΊΠΈ BlackCat (ALPHV), Π° ΡΠ°ΠΊΠΆΠ΅ ΡΠΎΠ·Π΄Π°Π»ΠΈ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½Ρ Π΄Π»Ρ ΡΠ°ΡΡΠΈΡΡΠΎΠ²ΠΊΠΈ Π΄Π°Π½Π½ΡΡ , ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ ΠΏΠΎΡΡΡΠ°Π΄Π°Π²ΡΠΈΠΌ Π²ΠΎΡΡΡΠ°Π½ΠΎΠ²ΠΈΡΡ ΡΠ²ΠΎΠΈ ΡΠ°ΠΉΠ»Ρ.
ΠΡΠ΅Π΄ΠΎΠ½ΠΎΡ QakBot (ΠΎΠ½ ΠΆΠ΅ Qbot, Quakbot ΠΈ Pinkslipbot) ΡΠ½ΠΎΠ²Π° ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΠ΅ΡΡΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΡΠΈΡΠΈΠ½Π³Π°, Ρ ΠΎΡΡ ΠΌΠΈΠ½ΡΠ²ΡΠΈΠΌ Π»Π΅ΡΠΎΠΌ Π±ΠΎΡΠ½Π΅Ρ ΡΠΊΠΎΠ±Ρ Π±ΡΠ» Π»ΠΈΠΊΠ²ΠΈΠ΄ΠΈΡΠΎΠ²Π°Π½ ΠΏΡΠ°Π²ΠΎΠΎΡ ΡΠ°Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠΌΠΈ ΠΎΡΠ³Π°Π½Π°ΠΌΠΈ Π² ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΠ΅ ΠΌΠ°ΡΡΡΠ°Π±Π½ΠΎΠΉ ΠΌΠ΅ΠΆΠ΄ΡΠ½Π°ΡΠΎΠ΄Π½ΠΎΠΉ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΈ Β«Π£ΡΠΈΠ½Π°Ρ ΠΎΡ ΠΎΡΠ°Β» (Duck Hunt). Microsoft ΠΏΡΠ΅Π΄ΡΠΏΡΠ΅ΠΆΠ΄Π°Π΅Ρ, ΡΡΠΎ Qbot ΡΠ½ΠΎΠ²Π° Π°ΠΊΡΠΈΠ²Π΅Π½ ΠΈ ΡΠΊΡΡΠ²Π°Π΅ΡΡΡ Π² ΠΏΠΈΡΡΠΌΠ°Ρ , ΠΌΠ°ΡΡΠΈΡΡΡΡΠΈΡ ΡΡ ΠΏΠΎΠ΄ ΡΠΎΠΎΠ±ΡΠ΅Π½ΠΈΡ ΠΎΡ ΠΠ°Π»ΠΎΠ³ΠΎΠ²ΠΎΠΉ ΡΠ»ΡΠΆΠ±Ρ Π‘Π¨Π.
Π‘ΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ FACCT Π·Π°ΡΠΈΠΊΡΠΈΡΠΎΠ²Π°Π»ΠΈ Π½ΠΎΠ²ΡΠ΅ Π°ΡΠ°ΠΊΠΈ ΡΠΏΠΈΠΎΠ½ΡΠΊΠΎΠΉ Π³ΡΡΠΏΠΏΡ Cloud Atlas, Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½Π½ΡΠ΅ Π½Π° ΡΠΎΡΡΠΈΠΉΡΠΊΠΎΠ΅ Π°Π³ΡΠΎΠΏΡΠΎΠΌΡΡΠ»Π΅Π½Π½ΠΎΠ΅ ΠΏΡΠ΅Π΄ΠΏΡΠΈΡΡΠΈΠ΅ ΠΈ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΡΠΊΡΡ Π³ΠΎΡΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ.
ΠΠ»Ρ ΠΏΠΎΠ΄ΠΏΠΈΡΡΠΈΠΊΠΎΠ²Π§ΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΡΠΈΡΠΈΠ½Π³, Π·Π½Π°Π΅Ρ ΠΈΒ ΡΡΠ°Ρ ΠΈΒ ΠΌΠ»Π°Π΄, Π½ΠΎΒ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΠΈ Π²ΡΠ΅ ΡΠ°Π²Π½ΠΎ ΠΏΡΠΎΠ΄ΠΎΠ»ΠΆΠ°ΡΡ ΠΏΠΎΠΏΠ°Π΄Π°ΡΡΡΡ Π½Π°Β ΡΠ»ΠΎΠ²ΠΊΠΈ Π·Π»ΠΎΡΠΌΡΡΠ»Π΅Π½Π½ΠΈΠΊΠΎΠ². ΠΒ ΡΡΠΎΠΉ ΡΡΠ°ΡΡΠ΅ ΠΌΡ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ ΡΠΈΡΠΈΠ½Π³ΠΎΠ²ΡΠ΅ ΡΡΡΠ»ΠΊΠΈ, Π°Β ΡΠΎΡΠ½Π΅Π΅, ΡΠΏΠΎΡΠΎΠ±Ρ ΠΈΡ ΠΌΠ°ΡΠΊΠΈΡΠΎΠ²ΠΊΠΈ ΡΒ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΎΡΠΈΡΠΈΠ°Π»ΡΠ½ΡΡ ΡΠ°ΠΉΡΠΎΠ² ΠΈΠ·Π²Π΅ΡΡΠ½ΡΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΉ ΠΈΒ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ².
Π ΡΡΠ΅Π΄Ρ, 27 Π΄Π΅ΠΊΠ°Π±ΡΡ 2023 Π³ΠΎΠ΄Π° (Π² 19:15 ΠΏΠΎ ΠΌΠΎΡΠΊΠΎΠ²ΡΠΊΠΎΠΌΡ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ), ΠΏΡΠΎΠΉΠ΄Π΅Ρ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡΠ΅Π»ΡΠ½ΡΠΉ Π²Π΅Π±ΠΈΠ½Π°Ρ, ΠΏΠΎΡΠ²ΡΡΠ΅Π½Π½ΡΠΉ ΠΎΡΠ½ΠΎΠ²Π°ΠΌ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΡΡΡΡΠΎΠΉΡΡΠ² IoT. ΠΠ΅Π΄ΡΡΠΈΠΌ Π²Π΅Π±ΠΈΠ½Π°ΡΠ° Π²ΡΡΡΡΠΏΠΈΡΒ ΠΠΈΠΊΒΡΠΎΡ ΠΠ°ΠΏΠ΅ΡΠ½ΠΎ, ΠΏΡΠΎΠ²Π΅ΡΠ΅Π½Π½ΡΠΉ ΠΏΡΠ΅ΠΏΠΎΠ΄Π°Π²Π°ΡΠ΅Π»Ρ, ΡΠ΅ΡΡΠΈΡΠΈΡΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ ΠΏΠ΅Π΄Π°Π³ΠΎΠ³ Π»ΠΈΡΠ΅Ρ ΠΠΊΠ°Π΄Π΅ΠΌΠΈΠΈ Β«Π―Π½Π΄Π΅ΠΊΡΒ», ΠΎΠΏΡΡΠ½ΡΠΉ ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊ ΡΠΎΠ±ΠΎΡΠΎΠ² ΠΈ ΡΠΌΠ½ΡΡ ΡΡΡΡΠΎΠΉΡΡΠ².
ΠΠΎ ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°Π½ΠΈΡ Ρ ΡΠ΅Ρ Π½Π°ΡΡ, Π·Π°ΠΊΠΎΠ½ΡΠΈΠ» ΠΈΠ½ΡΡΠΈΡΡΡ Π°ΡΡΠΎΠΊΠΎΡΠΌΠΈΡΠ΅ΡΠΊΠΈΡ ΠΊΠΎΠ½ΡΡΡΡΠΊΡΠΈΠΉ, ΠΏΠΎΡΡΠΎΠΌΡ Π² ΠΌΠ°ΡΠ΅ΡΠΈΠ°Π»Π΅ Π±ΡΠ΄Π΅Ρ ΠΌΠ½ΠΎΠ³ΠΎ ΡΠΈΡΡ. ΠΠΎ Π΄Π΅Π»ΠΎ Π²ΡΠ΅ΠΉ ΠΌΠΎΠ΅ΠΉ ΠΆΠΈΠ·Π½ΠΈ β ΡΡΠΎ Π΄Π΅ΡΡΠΊΠΈΠ΅ Π»Π°Π³Π΅ΡΡ, ΡΠ°ΠΌ Ρ ΡΠΆΠ΅ 23 Π³ΠΎΠ΄Π°. Π 2022 Ρ Π½Π°ΡΠ°Π» ΡΠ΅ΠΊΠΎΠ½ΡΡΡΡΠΊΡΠΈΡ Π·Π°Π±ΡΠΎΡΠ΅Π½Π½ΠΎΠ³ΠΎ ΠΏΠΈΠΎΠ½Π΅ΡΠ»Π°Π³Π΅ΡΡ ΠΠΈΡΠ½ΡΠΉ. ΠΠ½ΡΡΡΠΈ: ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠ»ΡΡ Π΄Π΅ΡΡΠΊΠΈΠΉ ΠΎΡΠ΄ΡΡ Π³ΠΎΡΡΠ΄Π°ΡΡΡΠ²Ρ ΡΠ°Π½ΡΡΠ΅, ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΎΠ±Ρ ΠΎΠ΄ΠΈΡΡΡ ΡΠ΅ΠΉΡΠ°Ρ ΡΠΎΠ΄ΠΈΡΠ΅Π»Ρ ΠΈ ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΌΠ½Π΅. ΠΡ ΠΈ ΠΊΠΎΠ½Π΅ΡΠ½ΠΎ Π΄ΠΎ-ΠΏΠΎΡΠ»Π΅ ΠΎΡ ΡΡΠΈΠ½ πΏ ΠΊ ΡΡΡΠ°ΠΌ. ΠΠ°Π³Π΅ΡΡ Π² Π‘ΠΎΡΠ·Π΅ ΠΈ ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΠΉ Π»Π°Π³Π΅ΡΡΠ‘ΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΠ΅:ΠΠ°ΠΊ ΠΈΠ·ΠΌΠ΅Π½ΠΈΠ»ΠΈΡΡ Π΄Π΅ΡΡΠΊΠΈΠ΅ Π»Π°Π³Π΅ΡΡ1. Π Π°ΡΠΏΠΎΡΡΠ΄ΠΎΠΊ Π΄Π½Ρ2. ΠΠ±ΡΠ΅ΡΡΠ²Π΅Π½Π½ΠΎΠ΅ ΠΏβ¦
Β«ΠΠ΄Π΅-ΡΠΎ Π² ΠΠΎΡΠΊΠ²Π΅, Π³Π΄Π΅ ΠΌΠ½ΠΎΠ³ΠΎ ΡΡΠ°ΠΆΠ΅ΠΉ, ΠΊΠ°ΡΠ΅ΡΠ΅ΠΊ ΠΈ ΠΎΡΠΈΡΠΎΠ², Π° Π½Π° Π²Ρ ΠΎΠ΄Π΅ Π»ΠΎΠ³ΠΎΡΠΈΠΏ, Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ ΠΏΠ°ΠΏΠΈΠ½Π° ΡΠ°Π±ΠΎΡΠ°. ΠΠ±ΡΡΠ½ΠΎ ΠΏΠ°ΠΏΠΈΠ½ Π΄Π΅Π½Ρ Π²ΡΠ³Π»ΡΠ΄ΠΈΡ ΠΊΠ°ΠΊ ΠΏΠΎΠ΄ΡΡΠΌ, ΠΊΠΎΡΠ΅, ΠΎΠ½ ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠ΅ΡΠ°ΡΠ°Π΅Ρ ΠΈ ΡΠΎΡ ΡΠ°Π½ΡΠ΅Ρ ΡΠ°ΠΉΠ»Ρ, ΠΈ ΡΠ°ΠΊ Π΄ΠΎ Π²Π΅ΡΠ΅ΡΠ°. Π’Π°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΏΠ°ΠΏΠ° ΡΠ»ΡΡΡΠ°Π΅Ρ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΡ Π΄Π»Ρ Π·Π°ΡΠΈΡΡ ΡΠ΅Π»Π΅ΡΠΎΠ½ΠΎΠ² ΠΈ ΠΊΠΎΠΌΠΏΡΡΡΠ΅ΡΠΎΠ²Β».Π’Π°ΠΊ ΡΠ΅Π±ΡΠ½ΠΎΠΊ ΠΎΠΏΠΈΡΠ°Π» ΡΠ°Π±ΠΎΡΡ ΡΠ²ΠΎΠ΅Π³ΠΎ ΠΏΠ°ΠΏΡ β ΡΡΠ°ΡΡΠ΅Π³ΠΎ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΡΡΠ°ΡΡΠ²ΡΠ΅Ρ Π² ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ΅ PT XDR.Β ΠΠ΅Π΄Π°Π²Π½ΠΎ ΠΌΡ ΡΠ΅ΡΠΈΠ»ΠΈ ΡΠ°Π·ΡΠ·Π½Π°ΡΡ, ΡΠ΅ΠΌ ΠΆΠ΅ Π½Π° ΡΠ°ΠΌΠΎΠΌ Π΄Π΅Π»Π΅ Π·Π°Π½ΠΈΠΌΠ°Π΅ΠΌΡΡ. Π ΠΎΡΠΏΡΠ°Π²ΠΈΠ»ΠΈΡΡ Π·Π° ΠΎΡΠ²Π΅ΡΠΎΠΌ ΠΊ ΡΠ°ΠΌΠΎΠΌΡ Π΄ΠΎΡΡΠΎΠ²Π΅ΡΠ½ΠΎΠΌΡ ΠΈΡΡΠΎΡΠ½ΠΈΠΊΡ β Π½Π°Ρβ¦