A colab gradio web UI for running Large Language Modelsπ£ Please follow me for new updates https://twitter.com/camenduru π₯ Please join our discord server https://discord.gg/k5BwmmvJJU π₯³ Please join my patreon community https://patreon.com/camenduru π¦ WIP π¦ π¦ Colab colab Info - Model Page vicuna-13b-GPTQ-4bit-128g https://vicuna.lmsys.org vicuna-13B-1.1-GPTQ-4bit-128g https://vicuna.lmsys.org stable-vicuna-13B-GPTQ-4bit-128g https://huggingface.co/CarperAI/stable-vicuna-13b-deβ¦
Run Llama 2 locally with gradio UI on GPU or CPU from anywhere (Linux/Windows/Mac). Supporting Llama-2-7B/13B/70B with 8-bit, 4-bit. Supporting GPU inference (6 GB VRAM) and CPU inference.llama2-webui Running Llama 2 with gradio web UI on GPU or CPU from anywhere (Linux/Windows/Mac). Supporting Llama 2 7B, 13B, 70B with 8-bit, 4-bit mode. Supporting GPU inference with at least 6 GB VRAM, and CPU inference with at least 6 GB RAM. Features Supporting models: Llama-2-7b/13b/70b, all Llama-2-GPTβ¦
Inference Llama 2 in one file of pure Cllama2.c With the code in this repo you can train the Llama 2 LLM architecture from scratch in PyTorch, then export the weights to a binary file, and load that into one ~simple 500-line C file (run.c) that inferences the model. Alternatively, you can load, finetune, and inference Meta's Llama 2 (but this is still being actively fleshed out). Hence, this repo is a "fullstack" train + inference solution for Llama 2 LLM, with a focus on minimalisβ¦
Google ΡΠΎΠΎΠ±ΡΠ°Π΅Ρ, ΡΡΠΎ ΡΠΎΠ·Π΄Π°Π»Π° red team, ΠΊΠΎΡΠΎΡΠ°Ρ Π±ΡΠ΄Π΅Ρ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡΡΡ Π½Π° Β«ΡΠ»ΠΎΠΆΠ½ΡΡ ΡΠ΅Ρ Π½ΠΈΡΠ΅ΡΠΊΠΈΡ Π°ΡΠ°ΠΊΠ°Ρ Π½Π° ΡΠΈΡΡΠ΅ΠΌΡ ΠΠΒ». Π‘ΡΠ΅Π΄ΠΈ ΠΏΡΠΈΠΌΠ΅ΡΠΎΠ² ΡΠ°ΠΊΠΈΡ Π°ΡΠ°ΠΊ Π² ΠΎΡΡΠ΅ΡΠ΅ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠΏΠ΅ΡΠ΅ΡΠΈΡΠ»Π΅Π½Ρ ΠΏΡΠΎΠΌΠΏΡ-ΠΈΠ½ΠΆΠΈΠ½ΠΈΡΠΈΠ½Π³, ΠΈΠ·Π²Π»Π΅ΡΠ΅Π½ΠΈΠ΅ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ ΠΈΠ· ΠΎΠ±ΡΡΠ°ΡΡΠΈΡ Π΄Π°Π½Π½ΡΡ LLM ΠΈ ΡΠ°ΠΊ Π΄Π°Π»Π΅Π΅.
ΠΠΊΡΠΏΠ΅ΡΡΡ Avast ΠΏΡΠ΅Π΄ΡΠΏΡΠ΅Π΄ΠΈΠ»ΠΈ, ΡΡΠΎ Π½ΠΎΠ²ΡΠΉ Π²Π°ΡΠΈΠ°Π½Ρ ΠΌΠ°Π»Π²Π°ΡΠΈ AsyncRAT, ΠΏΠΎΠ»ΡΡΠΈΠ²ΡΠΈΠΉ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ HotRat, ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½ΡΠ΅ΡΡΡ ΡΠ΅ΡΠ΅Π· ΠΏΠΈΡΠ°ΡΡΠΊΠΈΠ΅ Π²Π΅ΡΡΠΈΠΈ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΡ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌ ΠΈ ΡΡΠΈΠ»ΠΈΡ, Π²ΠΊΠ»ΡΡΠ°Ρ ΠΈΠ³ΡΡ, Microsoft Office, Π° ΡΠ°ΠΊΠΆΠ΅ ΠΠ Π΄Π»Ρ ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΡ Π°ΡΠ΄ΠΈΠΎ ΠΈ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ.
ΠΠ»Ρ ΠΏΠΎΠ΄ΠΏΠΈΡΡΠΈΠΊΠΎΠ²Π ΡΡΠΎΠΌ ΡΠ°ΠΉΡΠ°ΠΏΠ΅ Ρ ΠΏΠΎΠΊΠ°ΠΆΡ ΠΏΡΠΈΠ΅ΠΌΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ ΠΏΡΠΈ Π°ΡΠ°ΠΊΠ°Ρ Π½Π° Π²Π΅Π±-ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ, Π² ΠΏΠ΅ΡΠ²ΡΡ ΠΎΡΠ΅ΡΠ΅Π΄Ρ β ΡΠ°Π±ΠΎΡΠ°ΡΡΠΈΠ΅ Π½Π° Ruby on Rails. ΠΠ°ΡΠ½Π΅ΠΌ ΡΠΎ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΡΠ°ΠΉΡΠ°, Π½Π°ΠΉΠ΄Π΅ΠΌ ΠΈ ΠΏΡΠΎΡΠΊΡΠΏΠ»ΡΠ°ΡΠΈΡΡΠ΅ΠΌ XSS, Π·Π°ΡΠ΅ΠΌ ΠΏΠΎΠ»ΡΡΠΈΠΌ Π΄ΠΎΡΡΡΠΏ ΠΊ Ρ ΠΎΡΡΡ ΡΠ΅ΡΠ΅Π· RCE. ΠΠ»Ρ ΠΏΠΎΠ²ΡΡΠ΅Π½ΠΈΡ ΠΏΡΠΈΠ²ΠΈΠ»Π΅Π³ΠΈΠΉ Π½Π° Π°ΡΠ°ΠΊΡΠ΅ΠΌΠΎΠΉ ΠΌΠ°ΡΠΈΠ½Π΅ ΡΠ°Π·Π±Π΅ΡΠ΅ΠΌΡΡ Ρ OpenMediaVault.
ΠΠ½Π°Π»ΠΈΡΠΈΠΊΠΈ ΠΈΠ· ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Wiz ΡΠ²Π΅ΡΠ΅Π½Ρ, ΡΡΠΎ Π½Π΅Π΄Π°Π²Π½ΡΡ ΠΊΡΠ°ΠΆΠ° ΠΊΡΠΈΠΏΡΠΎΠ³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΠΊΠ»ΡΡΠ° MSA (Microsoft account consumer signing key) Ρ ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ Microsoft ΠΌΠΎΠΆΠ΅Ρ ΠΈΠΌΠ΅ΡΡ Π³ΠΎΡΠ°Π·Π΄ΠΎ Π±ΠΎΠ»Π΅Π΅ ΡΠ΅ΡΡΠ΅Π·Π½ΡΠ΅ ΠΏΠΎΡΠ»Π΅Π΄ΡΡΠ²ΠΈΡ, Π½Π΅ΠΆΠ΅Π»ΠΈ Π²Π·Π»ΠΎΠΌ ΡΡΠ΅ΡΠ½ΡΡ Π·Π°ΠΏΠΈΡΠ΅ΠΉ Exchange Online ΠΈ Outlook, ΠΊΠΎΡΠΎΡΡΠ΅ Π±ΡΠ»ΠΈ ΡΠΊΠΎΠΌΠΏΡΠΎΠΌΠ΅ΡΠΈΡΠΎΠ²Π°Π½Ρ ΠΊΠΈΡΠ°ΠΉΡΠΊΠΎΠΉ Π³ΡΡΠΏΠΏΠΎΠΉ Storm-0558. ΠΠΎ ΡΠ»ΠΎΠ²Π°ΠΌ ΡΠΊΡΠΏΠ΅ΡΡΠΎΠ², ΡΡΠ΅ΡΠΊΠ° ΠΎΠΊΠ°Π·ΡΠ²Π°Π΅Ρ Π²Π»ΠΈΡΠ½ΠΈΠ΅ Π½Π° Π²ΡΠ΅ ΠΏΡΠΈΠ»ΠΎΠΆΠ΅Π½ΠΈΡ Azure AD, ΡΠ°Π±ΠΎΡΠ°ΡΡΠΈΠ΅ Ρ Microsoft OpenID v2.0.
ΠΠ° ΠΏΡΠΎΡΠ»ΠΎΠΉ Π½Π΅Π΄Π΅Π»Π΅ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ Reddit Ρ Π½ΠΈΠΊΠΎΠΌ kaefer_kriegerin ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» Π² ΡΠ°Π±ΡΠ΅Π΄Π΄ΠΈΡΠ΅ ΠΈΠ³ΡΡ World of Warcraft ΡΠ°Π»ΡΡΠΈΠ²ΡΠΉ Π°Π½ΠΎΠ½Ρ ΠΎ Π²Π²Π΅Π΄Π΅Π½ΠΈΠΈ Π² ΠΈΠ³ΡΡ Π½Π΅ΠΊΠΎΠ΅Π³ΠΎ Β«GlorboΒ». ΠΠ° ΡΠ°ΠΌΠΎΠΌ Π΄Π΅Π»Π΅ Π½ΠΈΠΊΠ°ΠΊΠΎΠ³ΠΎ Glorbo Π½Π΅ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ, ΠΈ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΠΈ ΡΠ°Π·ΠΎΠ±Π»Π°ΡΠΈΠ»ΠΈ ΡΠ°ΠΉΡ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ ΠΠ ΠΈ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΈ ΡΠΎΠ±ΠΈΡΠ°Π΅Ρ ΠΊΠΎΠ½ΡΠ΅Π½Ρ Ρ Reddit, ΠΏΡΠ±Π»ΠΈΠΊΡΡ Π΅Π³ΠΎ Ρ ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡΠ½ΡΠΌΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΡΠΌΠΈ.
ΠΡΠΈΠ²Π΅Ρ, Π₯Π°Π±Ρ! ΠΡ ΠΊΠΎΠ³Π΄Π°-Π½ΠΈΠ±ΡΠ΄Ρ Π·Π°Π΄ΡΠΌΡΠ²Π°Π»ΠΈΡΡ, Π½Π°ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΏΡΠ΅ΠΊΡΠ°ΡΠ½Ρ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΎΠ½Π½ΡΠ΅ ΡΡΠΈΠ»ΠΈΡΠ΅Π»ΠΈ? Π‘Π΅Π³ΠΎΠ΄Π½Ρ ΠΌΡ ΠΈΠ·ΡΡΠΈΠΌ ΠΈ ΡΠΎΠ±Π΅ΡΡΠΌ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΡ Π΅ΠΌ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΈΠ»Π»ΡΡΡΡΠΈΡΡΡΡ ΠΈΡ Π·Π°ΠΌΠ΅ΡΠ°ΡΠ΅Π»ΡΠ½ΡΠ΅ ΡΠ²ΠΎΠΉΡΡΠ²Π°. ΠΡ ΠΏΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΠΌΡΡ Ρ ΠΎΡΠ½ΠΎΠ²Π½ΡΠΌΠΈ ΡΠ²ΠΎΠΉΡΡΠ²Π°ΠΌΠΈ ΠΈ ΡΠ΅ΠΆΠΈΠΌΠ°ΠΌΠΈ ΡΠ°Π±ΠΎΡΡ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΎΠ½Π½ΡΡ ΡΡΠΈΠ»ΠΈΡΠ΅Π»Π΅ΠΉ ΠΈ ΡΠΌΠΎΠΆΠ΅ΠΌ ΡΠ±Π΅Π΄ΠΈΡΡΡΡ, ΡΡΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΠΈΡ Π³ΠΎΡΠ°Π·Π΄ΠΎ ΠΏΡΠΎΡΠ΅, ΡΠ΅ΠΌ ΠΊΠ°ΠΆΠ΅ΡΡΡ Π½Π° ΠΏΠ΅ΡΠ²ΡΠΉ Π²Π·Π³Π»ΡΠ΄. ΠΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΡΡΠ°Π½Π·ΠΈΡΡΠΎΡΠΎΠ² ΠΠΎΠ³Π΄Π° ΠΌΡ ΡΠ°Π·ΡΠ°Π±Π°ΡΡΠ²Π°Π΅ΠΌ ΡΠ»Π΅ΠΊΡΡΠΎΠ½Π½ΡΠ΅ ΡΡ Π΅ΠΌΡ Π½Π° ΡΡΠ°Π½Π·ΠΈΡΡΠΎΡΠ°Ρ , Π½Π°ΠΌ ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ ΡΡΠΈΡΡΠ²Π°ΡΡ ΠΈΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ, ΠΎΡΠ»ΠΈΡΠΈΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ² ΠΎΡ ΡΠΊΠ·Π΅ΠΌΠΏΠ»β¦