VILA - a multi-image visual language model with training, inference and evaluation recipe, deployable from cloud to edge (Jetson Orin and laptops) VILA: On Pre-training for Visual Language Models VILA arxiv / VILA Demo / VILA Huggingface π‘ Introduction VILA is a visual language model (VLM) pretrained with interleaved image-text data at scale, enabling video understanding and multi-image understanding capabilities. VILA is deployable on the edge by AWQ 4bit quantization and TinyChat frameβ¦
ΠΡΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΠΈ Cisco Talos Π·Π°ΡΠ²ΠΈΠ»ΠΈ, ΡΡΠΎ ΠΎΠ±Π½Π°ΡΡΠΆΠΈΠ»ΠΈ Π²ΠΎΡΠ΅ΠΌΡ ΡΡΠ·Π²ΠΈΠΌΠΎΡΡΠ΅ΠΉ Π² ΡΡΠ΄Π΅ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΠΉ Microsoft Π΄Π»Ρ macOS, Π²ΠΊΠ»ΡΡΠ°Ρ Teams, Outlook, Word, PowerPoint, OneNote ΠΈ Excel. ΠΠΎ ΡΠ»ΠΎΠ²Π°ΠΌ ΡΠΊΡΠΏΠ΅ΡΡΠΎΠ², ΡΡΠΈ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡΡ Π·Π»ΠΎΡΠΌΡΡΠ»Π΅Π½Π½ΠΈΠΊΡ ΠΏΠΎΠ»ΡΡΠΈΡΡ Π΄ΠΎΡΡΡΠΏ ΠΊ Β«ΠΌΠΈΠΊΡΠΎΡΠΎΠ½Ρ, ΠΊΠ°ΠΌΠ΅ΡΠ΅, ΠΏΠ°ΠΏΠΊΠ°ΠΌ, Π·Π°ΠΏΠΈΡΠΈ ΡΠΊΡΠ°Π½Π°, ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΡΠΊΠΎΠΌΡ Π²Π²ΠΎΠ΄Ρ ΠΈ ΠΌΠ½ΠΎΠ³ΠΎΠΌΡ Π΄ΡΡΠ³ΠΎΠΌΡΒ».
ΠΠ½Π°Π»ΠΈΡΠΈΠΊΠΈ SentinelOne ΡΠ°ΡΡΠΊΠ°Π·Π°Π»ΠΈ, ΡΡΠΎ Π·Π»ΠΎΡΠΌΡΡΠ»Π΅Π½Π½ΠΈΠΊΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½Ρ Xeon Sender Π΄Π»Ρ ΠΏΡΠΎΠ²Π΅Π΄Π΅Π½ΠΈΡ ΠΌΠ°ΡΡΡΠ°Π±Π½ΡΡ Π°ΡΠ°ΠΊ, SMS-ΡΠΈΡΠΈΠ½Π³Π° ΠΈ ΡΠΏΠ°ΠΌ-ΠΊΠ°ΠΌΠΏΠ°Π½ΠΈΠΉ, Π·Π»ΠΎΡΠΏΠΎΡΡΠ΅Π±Π»ΡΡ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡΠΌΠΈ Π»Π΅Π³ΠΈΡΠΈΠΌΠ½ΡΡ ΡΠ΅ΡΠ²ΠΈΡΠΎΠ².
ΠΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΠΈ ΠΌΠ°ΡΡΠΎΠ²ΠΎ ΡΠΎΠΎΠ±ΡΠ°ΡΡ ΠΎ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ°Ρ Ρ ΠΌΡΠ»ΡΡΠΈΠ·Π°Π³ΡΡΠ·ΠΊΠΎΠΉ (dual boot), Π²ΠΎΠ·Π½ΠΈΠΊΡΠΈΡ ΠΏΠΎΡΠ»Π΅ Π°Π²Π³ΡΡΡΠΎΠ²ΡΠΊΠΎΠ³ΠΎ Β«Π²ΡΠΎΡΠ½ΠΈΠΊΠ° ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉΒ». ΠΠ·-Π·Π° ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΠΉ ΡΡΡΡΠΎΠΉΡΡΠ²Π° Ρ Π²ΠΊΠ»ΡΡΠ΅Π½Π½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠ΅ΠΉ Secure Boot, Π½Π° ΠΊΠΎΡΠΎΡΡΡ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Ρ Windows ΠΈ Linux, ΠΏΠΎΠΏΡΠΎΡΡΡ ΠΏΠ΅ΡΠ΅ΡΡΠ°ΡΡ ΡΠ°Π±ΠΎΡΠ°ΡΡ.
ΠΠ·Π²Π΅ΡΡΠ½Π°Ρ Ρ 2018 Π³ΠΎΠ΄Π° Π³ΡΡΠΏΠΏΠΈΡΠΎΠ²ΠΊΠ° BlindEagle ΠΎΠ±Π½ΠΎΠ²Π»ΡΠ΅Ρ ΡΠ²ΠΎΠΈ ΠΊΠΈΠ±Π΅ΡΡΠΏΠΈΠΎΠ½ΡΠΊΠΈΠ΅ ΠΊΠ°ΠΌΠΏΠ°Π½ΠΈΠΈ, Π² ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΌ Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½Π½ΡΠ΅ Π½Π° ΡΠ°ΡΡΠ½ΡΡ Π»ΠΈΡ ΠΈ ΠΎΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΠΈ ΠΈΠ· ΠΠΎΠ»ΡΠΌΠ±ΠΈΠΈ. Π’Π°ΠΊ, ΡΠ΅ΠΏΠ΅ΡΡ Ρ Π°ΠΊΠ΅ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡ Π½ΠΎΠ²ΡΠΉ ΠΏΠ»Π°Π³ΠΈΠ½ ΠΈ Π·Π°Π΄Π΅ΠΉΡΡΠ²ΡΡΡ Π² Π°ΡΠ°ΠΊΠ°Ρ Π»Π΅Π³ΠΈΡΠΈΠΌΠ½ΡΠ΅ Π±ΡΠ°Π·ΠΈΠ»ΡΡΠΊΠΈΠ΅ ΡΠ°ΠΉΠ»ΠΎΠΎΠ±ΠΌΠ΅Π½Π½ΠΈΠΊΠΈ.
ΠΠ»Ρ ΠΏΠΎΠ΄ΠΏΠΈΡΡΠΈΠΊΠΎΠ²IDORΒ β ΡΠ°ΠΌΡΠΉ ΠΎΠΏΠ°ΡΠ½ΡΠΉ Π·Π²Π΅ΡΡ Π²Β Π»Π΅ΡΡ OWASP. ΠΠ°ΠΆΠ΅ ΠΎΠ΄ΠΈΠ½ ΡΠΊΠ·Π΅ΠΌΠΏΠ»ΡΡ, ΠΏΠΎΠΏΠ°Π²ΡΠΈΠΉ Π½Π΅Β Π² ΡΠ΅ ΡΡΠΊΠΈ, ΠΌΠΎΠΆΠ΅Ρ Π΄ΠΎΡΠΎΠ³ΠΎ ΠΎΠ±ΠΎΠΉΡΠΈΡΡ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Π½Π°ΡΠ΅Π³ΠΎ ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠ°, ΠΏΠΎΡΡΠΎΠΌΡ ΠΎΠ½ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Π²ΡΠ΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΠΈ, Π΄ΠΎΡΡΡΠΏΠ½ΡΠ΅ Π²Β Π΅Π³ΠΎ Π±Π΅Π»ΠΎΠΌ ΡΡΠΈΠΊΠ΅, ΡΡΠΎΠ±Ρ ΠΎΠ±ΠΎΠ³Π½Π°ΡΡ Π½Π°Β ΡΡΠΎΠΉ ΠΎΡ ΠΎΡΠ΅ ΠΏΠ΅Π½ΡΠ΅ΡΡΠ΅ΡΠΎΠ², Π±Π°Π³Ρ Π°Π½ΡΠ΅ΡΠΎΠ² ΠΈΒ Π·Π»ΠΎΡΠΌΡΡΠ»Π΅Π½Π½ΠΈΠΊΠΎΠ².
22-23 Π°Π²Π³ΡΡΡΠ° 2024 Π³ΠΎΠ΄Π° Π² ΠΠΎΡΠΊΠ²Π΅ ΠΏΡΠΎΠΉΠ΄Π΅Ρ ΠΏΡΡΠ°Ρ ΠΊΠΎΠ½ΡΠ΅ΡΠ΅Π½ΡΠΈΡ ΠΏΠΎ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΠΊΠΈΠ±Π΅ΡΠ±Π΅Π·ΠΎΠΏΠ°ΡΠ½ΠΎΡΡΠΈ OFFZONE. ΠΠ΄Π΅ΠΌ ΡΠ΅Π±Ρ Π½Π° ΡΡΠ΅Π½Π΄Π΅ Β«Π₯Π°ΠΊΠ΅ΡΠ°Β», Π³Π΄Π΅ ΡΡ ΡΠΌΠΎΠΆΠ΅ΡΡ ΠΏΠΎΠ»ΡΡΠΈΡΡ Π½Π°Π±ΠΎΡ ΡΡΠΈΠΊΠ΅ΡΠΎΠ², ΠΏΡΠΈΠΎΠ±ΡΠ΅ΡΡΠΈ Π½Π°Ρ ΠΌΠ΅ΡΡ, Π° ΡΠ°ΠΊΠΆΠ΅ Π²ΡΠΏΠΈΡΡ ΠΊΠΎΡΠ΅ ΠΈ ΠΏΠΎΠΎΠ±ΡΠ°ΡΡΡΡ Ρ ΠΎΡΠ½ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΌ ΠΈΠ·Π΄Π°Π½ΠΈΡ ΠΠΈΠΌΠΎΠΉ ΠΠ³Π°ΡΡΠ½ΠΎΠ²ΡΠΌ ΠΈ Π²Π΅Π΄ΡΡΠΈΠΌ ΡΠ΅Π΄Π°ΠΊΡΠΎΡΠΎΠΌ ΠΠ°Π»Π΅Π½ΡΠΈΠ½ΠΎΠΌ Π₯ΠΎΠ»ΠΌΠΎΠ³ΠΎΡΠΎΠ²ΡΠΌ.
ΠΠΌΠ΅ΡΠΈΠΊΠ°Π½ΡΠΊΠΈΠΉ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»Ρ ΠΌΠΈΠΊΡΠΎΡΡ Π΅ΠΌ Microchip Technology Incorporated ΡΠΎΠΎΠ±ΡΠΈΠ», ΡΡΠΎ Π² ΠΌΠΈΠ½ΡΠ²ΡΠΈΠ΅ Π²ΡΡ ΠΎΠ΄Π½ΡΠ΅ Π½Π° Π΅Π³ΠΎ ΡΠΈΡΡΠ΅ΠΌΡ Π±ΡΠ»Π° ΡΠΎΠ²Π΅ΡΡΠ΅Π½Π° ΠΊΠΈΠ±Π΅ΡΠ°ΡΠ°ΠΊΠ°, Π½Π°ΡΡΡΠΈΠ²ΡΠ°Ρ ΡΠ°Π±ΠΎΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΈΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΡΡΠ²Π΅Π½Π½ΡΡ ΠΎΠ±ΡΠ΅ΠΊΡΠΎΠ².
ΠΠΎΠΏΡΠ»ΡΡΠ½ΡΠΉ ΡΠ΅ΡΠ²ΠΈΡ Π΄Π»Ρ ΠΎΡΡΠ»Π΅ΠΆΠΈΠ²Π°Π½ΠΈΡ ΠΏΠΎΠ»Π΅ΡΠΎΠ² FlightAware ΠΏΡΠ΅Π΄ΡΠΏΡΠ΅Π΄ΠΈΠ» ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ, ΡΡΠΎ ΠΏΠΎ Π½Π΅ΠΎΡΡΠΎΡΠΎΠΆΠ½ΠΎΡΡΠΈ ΡΠ°ΡΠΊΡΡΠ²Π°Π» ΠΈΡ Π»ΠΈΡΠ½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅ Π½Π° ΠΏΡΠΎΡΡΠΆΠ΅Π½ΠΈΠΈ ΡΡΠ΅Ρ Π»Π΅Ρ.