π Efficient implementations of state-of-the-art linear attention models π₯ Flash Linear Attention This repo aims at providing a collection of efficient Triton-based implementations for state-of-the-art linear attention models. All implementations are written purely in PyTorch and Triton, making them platform-agnostic. Currently verified platforms include NVIDIA, AMD, and Intel. Any pull requests are welcome! News Models Installation Usage Token Mixing Fused Modules Generation Hybrid Mβ¦
ΠΠ° ΡΡΠΎΠΉ Π½Π΅Π΄Π΅Π»Π΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ Microsoft Π²ΡΠΏΡΡΡΠΈΠ»Π° ΡΠ΅Π½ΡΡΠ±ΡΡΡΠΊΠΈΠ΅ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΡΡΡΠ°Π½ΠΈΠ»ΠΈ 81 ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΡ Π² ΠΏΡΠΎΠ΄ΡΠΊΡΠ°Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ. Π‘ΡΠ΅Π΄ΠΈ Π½ΠΈΡ Π±ΡΠ»ΠΈ Π΄Π²Π΅ ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΠΈ Π½ΡΠ»Π΅Π²ΠΎΠ³ΠΎ Π΄Π½Ρ, ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ ΠΊΠΎΡΠΎΡΡΡ Π±ΡΠ»Π° ΡΠ°ΡΠΊΡΡΡΠ° Π΄ΠΎ Π²ΡΡ ΠΎΠ΄Π° ΠΈΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠΉ.
ΠΠΎΠΌΠΏΠ°Π½ΠΈΡ Google ΡΠΎΠΎΠ±ΡΠΈΠ»Π°, ΡΡΠΎ ΠΈΠ½ΡΠ΅Π³ΡΠΈΡΡΠ΅Ρ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΡ C2PA Content Credentials Π² ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΠΊΠ°ΠΌΠ΅ΡΡ Pixel 10 ΠΈ Google Photos, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΠΈ ΠΌΠΎΠ³Π»ΠΈ ΠΎΡΠ»ΠΈΡΠ°ΡΡ ΠΏΠΎΠ΄Π»ΠΈΠ½Π½ΡΠ΅ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ ΠΎΡ ΡΠ΅Ρ , ΡΡΠΎ Π±ΡΠ»ΠΈ ΡΠΎΠ·Π΄Π°Π½Ρ ΠΈΠ»ΠΈ ΠΎΡΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½Ρ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΈΡΠΊΡΡΡΡΠ²Π΅Π½Π½ΠΎΠ³ΠΎ ΠΈΠ½ΡΠ΅Π»Π»Π΅ΠΊΡΠ°.
Π‘ΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΡ F6 ΠΈ RuStore ΡΠΎΠΎΠ±ΡΠ°ΡΡ, ΡΡΠΎ ΠΎΠ±Π½Π°ΡΡΠΆΠΈΠ»ΠΈ ΠΈ Π·Π°Π±Π»ΠΎΠΊΠΈΡΠΎΠ²Π°Π»ΠΈ 604 Π΄ΠΎΠΌΠ΅Π½Π°, ΠΊΠΎΡΠΎΡΡΠ΅ Π²Ρ ΠΎΠ΄ΠΈΠ»ΠΈ Π² ΠΈΠ½ΡΡΠ°ΡΡΡΡΠΊΡΡΡΡ Ρ Π°ΠΊΠ΅ΡΠΎΠ², Π·Π°ΡΠ°ΠΆΠ°Π²ΡΠΈΡ ΠΌΠΎΠ±ΠΈΠ»ΡΠ½ΡΠ΅ ΡΡΡΡΠΎΠΉΡΡΠ²Π° ΡΡΠΎΡΠ½ΠΎΠΌ DeliveryRAT. ΠΡΠ΅Π΄ΠΎΠ½ΠΎΡ ΠΌΠ°ΡΠΊΠΈΡΠΎΠ²Π°Π»ΡΡ ΠΏΠΎΠ΄ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠ΅ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ Π΄Π»Ρ Π΄ΠΎΡΡΠ°Π²ΠΊΠΈ Π΅Π΄Ρ, ΠΌΠ°ΡΠΊΠ΅ΡΠΏΠ»Π΅ΠΉΡΡ, Π±Π°Π½ΠΊΠΎΠ²ΡΠΊΠΈΠ΅ ΡΠ΅ΡΠ²ΠΈΡΡ ΠΈ ΡΡΠ΅ΠΊΠΈΠ½Π³ ΠΏΠΎΡΡΠ»ΠΎΠΊ.
ΠΠ΅Π½Π°Π·Π²Π°Π½Π½Π°Ρ Π΅Π²ΡΠΎΠΏΠ΅ΠΉΡΠΊΠ°Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ, ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΡΡΡΠ°ΡΡΡ Π½Π° Π·Π°ΡΠΈΡΠ΅ ΠΎΡ DDoS-Π°ΡΠ°ΠΊ, ΡΠ°ΠΌΠ° ΡΡΠ°Π»Π° ΠΆΠ΅ΡΡΠ²ΠΎΠΉ ΡΠ°ΠΊΠΎΠΉ Π°ΡΠ°ΠΊΠΈ, ΠΌΠΎΡΠ½ΠΎΡΡΡ ΠΊΠΎΡΠΎΡΠΎΠΉ Π΄ΠΎΡΡΠΈΠ³Π»Π° 1,5 ΠΌΠ»ΡΠ΄ ΠΏΠ°ΠΊΠ΅ΡΠΎΠ² Π² ΡΠ΅ΠΊΡΠ½Π΄Ρ (PPS). Π‘ΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΡ FastNetMon, ΠΊΠΎΡΠΎΡΡΠ΅ Π·Π°Π½ΠΈΠΌΠ°Π»ΠΈΡΡ ΠΎΡΡΠ°ΠΆΠ΅Π½ΠΈΠ΅ΠΌ DDoS, ΡΠΎΠΎΠ±ΡΠΈΠ»ΠΈ, ΡΡΠΎ Π°ΡΠ°ΠΊΠ° ΠΈΡΡ ΠΎΠ΄ΠΈΠ»Π° ΠΎΡ ΡΡΡΡΡ IoT-ΡΡΡΡΠΎΠΉΡΡΠ² ΠΈ ΡΠΎΡΡΠ΅ΡΠΎΠ² MikroTik.
ΠΠΎ Π΄Π°Π½Π½ΡΠΌ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ Atlantic Council, ΠΈΠ½Π΄ΡΡΡΡΠΈΡ ΡΠΏΠΈΠΎΠ½ΡΠΊΠΎΠ³ΠΎ ΠΠ ΠΏΠ΅ΡΠ΅ΠΆΠΈΠ²Π°Π΅Ρ Π±ΡΠΌ, ΠΏΠΎΡΠΊΠΎΠ»ΡΠΊΡ ΠΈΠ½Π²Π΅ΡΡΠΎΡΡ Π²ΡΠ΅ ΡΠ°ΡΠ΅ ΠΎΠ±ΡΠ°ΡΠ°ΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π½Π° ΡΡΡ ΡΡΠΈΡΠ΅ΡΠΊΠΈ ΡΠΎΠΌΠ½ΠΈΡΠ΅Π»ΡΠ½ΡΡ, Π½ΠΎ Π²Π΅ΡΡΠΌΠ° ΠΏΡΠΈΠ±ΡΠ»ΡΠ½ΡΡ ΠΎΠ±Π»Π°ΡΡΡ. ΠΡΠΈ ΡΡΠΎΠΌ Π±ΠΎΠ»ΡΡΡΡ ΡΠ°ΡΡΡ ΡΡΠ΅Π΄ΡΡΠ² ΠΏΠΎΠ»ΡΡΠ°ΡΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Π² Π‘Π¨Π ΠΈ ΠΠ·ΡΠ°ΠΈΠ»Π΅, Π° Π°ΠΌΠ΅ΡΠΈΠΊΠ°Π½ΡΠΊΠΈΠ΅ ΠΈΠ½Π²Π΅ΡΡΠΈΡΠΈΠΈ Π² ΡΠΏΠΈΠΎΠ½ΡΠΊΠΎΠ΅ ΠΠ ΡΡΡΠΎΠΈΠ»ΠΈΡΡ Π·Π° ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΠΉ Π³ΠΎΠ΄.
ΠΠ»Ρ ΠΏΠΎΠ΄ΠΏΠΈΡΡΠΈΠΊΠΎΠ²ΠΠ°ΠΊ ΡΠ°ΡΡΠΈΡΠΈΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΠΈ C2-ΠΌΠ°ΡΠΊΠ°, Π½Π΅Β ΠΏΠ΅ΡΠ΅ΠΏΠΈΡΡΠ²Π°Ρ Π΅Π³ΠΎ ΠΊΠΎΠ΄ ΠΈΒ Π½Π΅ ΠΏΠΎΠ΄ΡΡΠ°Π²Π»ΡΡΡΡ ΠΏΠΎΠ΄Β Π°Π½ΡΠΈΠ²ΠΈΡΡΡΡ? ΠΒ ΡΡΠ°ΡΡΠ΅ ΡΠ°Π·Π±ΠΈΡΠ°Π΅ΠΌ Beacon Object FilesΒ β Π»Π΅Π³ΠΊΠΈΠΉ ΠΌΠΎΠ΄ΡΠ»ΡΠ½ΡΠΉ ΡΠΏΠΎΡΠΎΠ± Π΄ΠΎΠ±Π°Π²Π»ΡΡΡ Π½ΠΎΠ²ΡΠ΅ ΡΡΠ½ΠΊΡΠΈΠΈ ΠΏΡΡΠΌΠΎ Π½Π°Β Π»Π΅ΡΡ. Π‘Β ΠΏΠΎΠΌΠΎΡΡΡ BOF ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡΠΎΠ²ΠΎΠ΄ΠΈΡΡ ΠΏΠΎΡΡΡΠΊΡΠΏΠ»ΡΠ°ΡΠ°ΡΠΈΡ, Π·Π°ΠΊΡΠ΅ΠΏΠ»Π΅Π½ΠΈΠ΅, ΡΠΊΡΡΠΈΠ»ΡΡΡΠ°ΡΠΈΡ ΠΈΒ Π²ΡΠΏΠΎΠ»Π½ΡΡΡ Π»ΡΠ±ΡΠ΅ ΠΊΠ°ΡΡΠΎΠΌΠ½ΡΠ΅ Π·Π°Π΄Π°ΡΠΈ Π±Π΅Π·Β Π΄ΠΎΡΠ°Π±ΠΎΡΠΊΠΈ ΡΠ°ΠΌΠΎΠ³ΠΎ ΠΌΠ°ΡΠΊΠ°.
ΠΠ±Π½Π°ΡΡΠΆΠ΅Π½Π° Π΅ΡΠ΅ ΠΎΠ΄Π½Π° Π°ΡΠ°ΠΊΠ° Π½Π° ΡΠ΅ΠΏΠΎΡΠΊΡ ΠΏΠΎΡΡΠ°Π²ΠΎΠΊ, ΠΏΠΎΠ»ΡΡΠΈΠ²ΡΠ°Ρ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ GhostAction. ΠΡΠ΅Π΄ΠΎΠ½ΠΎΡΠ½Π°Ρ ΠΊΠ°ΠΌΠΏΠ°Π½ΠΈΡ Π±ΡΠ»Π° Π½Π°ΡΠ΅Π»Π΅Π½Π° Π½Π° GitHub ΠΈ ΠΏΡΠΈΠ²Π΅Π»Π° ΠΊ ΠΊΠΎΠΌΠΏΡΠΎΠΌΠ΅ΡΠ°ΡΠΈΠΈ 3325 ΡΠ΅ΠΊΡΠ΅ΡΠΎΠ², Π²ΠΊΠ»ΡΡΠ°Ρ ΡΠΎΠΊΠ΅Π½Ρ PyPI, npm, DockerHub, GitHub, API-ΠΊΠ»ΡΡΠΈ Cloudflare ΠΈ AWS.
ΠΠΎΠΌΠΏΠ°Π½ΠΈΡ Google ΡΡΡΡΠ°Π½ΠΈΠ»Π° ΠΊΡΠΈΡΠΈΡΠ΅ΡΠΊΡΡ ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΡ ΡΠΈΠΏΠ° use-after-free Π² Π±ΡΠ°ΡΠ·Π΅ΡΠ΅ Chrome, ΠΊΠΎΡΠΎΡΠ°Ρ ΠΌΠΎΠ³Π»Π° ΠΏΡΠΈΠ²Π΅ΡΡΠΈ ΠΊ Π²ΡΠΏΠΎΠ»Π½Π΅Π½ΠΈΡ ΠΊΠΎΠ΄Π°. ΠΠ±Π½Π°ΡΡΠΆΠΈΠ²ΡΠΈΠΉ Π΅Π΅ ΠΠ-ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡ ΠΏΠΎΠ»ΡΡΠΈΠ» Π²ΠΎΠ·Π½Π°Π³ΡΠ°ΠΆΠ΄Π΅Π½ΠΈΠ΅ ΠΏΠΎ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ΅ bug bounty Π² ΡΠ°Π·ΠΌΠ΅ΡΠ΅ 43 000 Π΄ΠΎΠ»Π»Π°ΡΠΎΠ² Π‘Π¨Π.