「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！ "大道至简" 中文 | English 本开源项目旨在完全从0开始，最快仅用3小时！即可训练出仅为26.88M大小的微型语言模型MiniMind。 MiniMind极其轻量，最小版本体积约是 GPT3 的 $\frac{1}{7000}$，力求做到最普通的个人GPU也可快速推理甚至训练。 MiniMind发布了大模型极简结构，数据集清洗和预处理、监督预训练(Pretrain)、有监督指令微调(SFT)、低秩自适应(LoRA) 微调，无奖励强化学习直接偏好对齐(DPO)的全阶段代码，也包含拓展共享混合专家(MoE) 的稀疏模型；拓展视觉多模态VLM: MiniMind-V。 这不仅是一个开源模型的实现，也是入门大语言模型（LLM）的教程。 希望此项目能为研究者提供一个抛砖引玉的入门示例，帮助大家快速上手并对LLM领域产生更多的探索与创新。 为防止误读，「最快3小时」是指您需要具备＞本人硬件配置的机器，具体规格的详细信息将在下文提供。 …
How to run an Ink NodeInk Node Forked and customized from https://github.com/smartcontracts/simple-optimism-node A simple docker compose script for launching full / archive node for the Ink chain. Recommended Hardware Mainnet 16GB+ RAM 2 TB SSD (NVME Recommended) 100mb/s+ Download Testnet 16GB+ RAM 500 GB SSD (NVME Recommended) 100mb/s+ Download Installation and Configuration Install docker and docker compose Note: If you're not logged in as root, you'll need to log out and log i…
Ink DocumentationInkChain Documentation App An advanced, streamlined documentation platform built with Next.js and Nextra for InkChain. 🚀 Build & Run Build Docker image: docker build -t docs . Run Docker container: docker run -p 3000:3000 docs 📋 Requirements Node.js: v20.11.0 or higher 📖 Overview This is a documentation application powered by Nextra and built on Next.js. Nextra simplifies the creation of documentation sites, allowing us to leverage the Pages Router for efficient nav…
Для подписчиковЭто девятая глава приключенческо‑фантастической истории «Хакеры.RU», которую мы публикуем по одной главе специально для подписчиков «Хакера». Если ты еще не читаешь, начинай с первой!
Попал мне в руки вот такой интересный экземпляр – электронный музыкальный звонок «Соната-1» 1990 года выпуска. Вид сзади Для подключения имеется две пары клемм – на одну пару постоянно подается 220 В, к другой подключается кнопка дверного звонка. При нажатии на кнопку проигрывается короткая мелодия, которую можно выбрать переключателями сбоку – всего на выбор 8 мелодий. Перечень мелодий Без меня Светит месяц Радоваться жизни Нежная мело…
Merciful Stalin Sort (сортировка «Милосердный Сталин») — это новый алгоритм сортировки, вдохновлённый пресловутым Stalin Sort (сталинской сортировкой). В ходе развлекательного эксперимента со сталинской сортировкой возникла интригующая идея: что, если вместо удаления выбивающихся элементов, сохранить те, которые идут по порядку, и рекурсивно упорядочить остальные? Логика заключалась в том, чтобы добиться повышения производительности за счёт уменьшения массива, требующего сортировки, особенно в…
Корпус для домашнего NAS сервера Всем привет! Эта статья продолжение первой, опубликованной раннее Домашний NAS сервер. Надеюсь всем понравится! Предыстория Сперва я хотел изготовить металлический корпус, так как в этом у меня был некоторый опыт и было где заказать штучный экземпляр. Поэтому я принялся за продумывание и моделирование. После некоторых вариаций, я остановился на следующем.Модель металлического корпуса в сбореМодель металлического корпуса, без лицевых крышек и карманов с жесткими…
За шесть лет в IT, и в команде Machine Learning Technologу Research «Лаборатории Касперского» в частности, я прошел путь от стажера до Data Science Team Lead. Шел честно :) И на каждой ступени проходил через разные нюансы, о которых и хочу рассказать в этой статье. Полагаю, мой опыт будет полезен как начинающим коллегам, чтобы увидеть для себя недостающие аспекты профессионального роста, так и более опытным специалистам, чтобы отрефлексировать свой опыт и задуматься о том, что помогло им в карь…
Привет, Хабр!Paxos — это алгоритм, который позволяет нескольким узлам прийти к единому мнению, даже если не все из них работают идеально. Даже если один или два узла оказываются недоступными, Paxos всё равно помогает согласовать решение, а остальным — узнать о том, что вообще было принято.Вот такие вещи — согласование, отказоустойчивость, выбор лидера — по сути, и составляют ядро распределённых систем. Они позволяют избежать катастроф.Основы PaxosЗадача Paxos — получить согласие всех участников…