Каждый год выпускается с десяток новых моделей одноплатных компьютеров. Свежие девайсы представляют как старые и уважаемые фирмы по типу Raspberry Pi, Orange Pi или Banana Pi, так и относительные новички на рынке — Repka Pi, или, например, Lctech Pi. Одноплатники работают на достаточно большом парке железа: кто-то использует чипы AllWinner, кто-то Amlogic, кто-то Broadcom, а кто-то… мобильные! Пару лет назад Orange Pi отличились выпуском нескольких одноплатников на базе чипсетов очень бюджет…
Привет, Хабр! Меня зовут Антон, я — DevOps-инженер в отделе Data- и ML-продуктов Selectel. Последние три месяца исследовал интересную проблематику — шеринг GPU между конкурентными процессами и пользователями. В русскоязычном сегменте не смог найти ни одного оригинального материала — только переводы англоязычных статей. После посещения пары докладов понял, что тема особенно актуальна: компании знают о шеринге GPU как о технологии, но пока не применяют ее. У меня же накопилось достаточно матер…
Неодимовые магниты сейчас с отрывом самый распространённый тип постоянных магнитов, занимая порядка 95% всего мирового рынка. Правда, они не просто неодимовые — это сплав редкоземельного металла неодима, бора и железа (полная формула Nd2Fe14B).Появление этой технологии в 80-х годах буквально перевернуло промышленность: начиная от приводов CD-проигрывателей или HDD накопителей, заканчивая серводвигателями, шаговыми двигателями и МРТ аппаратами. В ближайшие несколько лет ожидается, что объём про…
Цифровое пиратство возникло вместе с Интернетом. И всё это время оно никуда не девалось. Какое-то время казалось, что мы победили цифровое пиратство. По крайней мере, статистика пиратства выглядела более позитивно. Многие думали, что рост популярности стриминг-сервисов решил проблему пиратства, но статистика доказывает обратное. Например, вместе с увеличением спроса на загрузку музыки возросло и нелегальное скачивание, несмотря на рост потоковых сервисов, таких как Spotify. Сегодня вопреки д…
🎓 LLM Drifts: How Is ChatGPT’s Behavior Changing over Time? Large language models (LLM) services such as GPT-4 and GPT-3.5 are widely being used. However, when and how these models are updated over time is opaque. Towards filling in this gap, this repository contains (i) a diverse set of datasets, and (ii) generations from popular LLMs (including GPT-4 and GPT-3.5) on these datasets over time. 🔍 Main Findings Figure 1: Performance of the March 2023 and June 2023 versions of GPT-4 and GP…
A tiny JVM written in Rust. Learning projectRJVM This project is an attempt to write a minimal JVM 7 using Rust. Important note: this is a hobby project, built for fun and for learning purposes. In particular, it is my first real program in Rust and I've used to learn the language - thus, I'm sure some parts of the code are not very "idiomatic" Rust since I'm just learning the language. The code quality is definitely not production ready - there are not enough tests, there i…
An implementation of "Retentive Network: A Successor to Transformer for Large Language Models"RetNet An implementation of Retentive Network: A Successor to Transformer for Large Language Models in PyTorch. About this repository This is a minimal, pure pytorch implementation of RetNet. RetNet paper: Retentive Network: A Successor to Transformer for Large Language Models in PyTorch. The contributors(s) to this repository are not authors of the original paper. All credit for the idea and formulati…
Running Stable Diffusion on a RPI Zero 2 (or in 260MB of RAM)OnnxStream The challenge is to run Stable Diffusion, which includes a large transformer model with almost 1 billion parameters, on a Raspberry Pi Zero 2, which is a microcomputer with 512MB of RAM, without adding more swap space and without offloading intermediate results on disk. The recommended minimum RAM/VRAM for Stable Diffusion is typically 8GB. Generally major machine learning frameworks and libraries are focused on minimizing …
Running Llama 2 and other Open-Source LLMs on CPU Inference Locally for Document Q&ARunning Llama 2 and other Open-Source LLMs on CPU Inference Locally for Document Q&A Clearly explained guide for running quantized open-source LLM applications on CPUs using LLama 2, C Transformers, GGML, and LangChain Step-by-step guide on TowardsDataScience: https://towardsdatascience.com/running-llama-2-on-cpu-inference-for-document-q-a-3d636037a3d8 Context Third-party commercial large language model (L…