Сегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них. Проблемы при обучении на нескольких GPUВ чём сложность распределённого об…
Картинка WangXiNa, Freepik Сегодня мы продолжим препарировать альтернативные технологии производства печатных плат, так как любая эволюция, будь то человеческого общества или технических процессов это определённый путь, со множеством видоизменений, в ходе которого рассмотрение даже самых невероятных вариантов может быть интересным (потенциально дать новое ответвление полезного применения технологии). В одной из прошлых статей мы упомянули такой интересный принтер, который позволяет производ…
Итак, настал декабрь 1992 года. Хитроумному Митнику не удалось увернуться от того, чтобы суд в последний момент его условного срока выписал ордера на его арест. Шестерни правоохранительной машины США раскручивались по его душу медленно, но верно — и агенты ФБР относились к задержанию хакера даже с некоторой ленцой и пофигизмом. Вероятно, они считали, что 100%-й компьютерный гик, при всех его умениях обводить систему вокруг пальца, не решится на уход в бега и жизнь в подполье. Они недооценили т…
Известную радиолюбительскую максиму «Лучший усилитель — это антенна!» уместно переиначить и для звуковоспроизведения. Выглядеть она будет так: «Лучшие усилители — это акустические системы!». Оговоримся: усилители ламповые, однотактные (Single End — SE). Восхитительные своей изящной лаконичностью и принципиальным отсутствием ряда искажений, но и не блистающие высокой мощностью. Чувствительные же акустические системы (АС) позволяют реализовать здесь каждый драгоценный ватт. Речь пойдёт о прост…
«Дельфин-тамагочи» от Flipper Devices Inc. не нуждается в представлении, но хайп вокруг этого хакерского мультитула уже поутих. Теперь пользователи разделились на два лагеря: одни считают Flipper Zero крутым инструментом, другие не понимают, зачем его купили.Один из наших пентестеров и социальных инженеров согласился поделиться впечатлениями от использования этого устройства. Он честно рассказал, полезен ли Flipper для проведения тестов на проникновение, какие задачи позволяет выполнять на объе…
Привет, Хабр!В этой статье поговорим о том, как можно запускать программу, написанную на Go из Python. Зачем? При работе на Python иногда имеет смысл реализовать отдельные функции на статичном, высокопроизводительном языке. Go может стать отличным выбором для этого, потому что он быстрый, простой и кроссплатформенный. Недавно в моем Python канале, мы обсуждали, как это сделать, в результате родилась эта статья.Для реализации всех шагов нам потребуется: Python, компилятор Go и GCC (MinGW для Win…
Модальные окна - важная часть UI современных веб-приложений. Управление ими в React может вызвать трудности, в частности, когда нужно избежать одновременного появления нескольких окон. Для этого и существует хук useModalControl, который облегчает эту задачу.ПроблемаРазработчики регулярно сталкиваются с задачей контроля за состояниями множества модальных окон. Отсутствие централизованного управления может привести к путанице в процессах открытия и закрытия окон, что, в свою очередь, увеличивает …
An Extensible Deep Learning LibraryThe AXLearn Library for Deep Learning This library is under active development and the API is subject to change. Table of Contents Section Description Introduction What is AXLearn? Getting Started Getting up and running with AXLearn. Concepts Core concepts and design principles. CLI User Guide How to use the CLI. Infrastructure Core infrastructure components. Introduction AXLearn is a library built on top of JAX and XLA to support the develop…
В последние недели на компанию Microsoft обрушился шквал критики из-за новой ИИ-функции Recall, которую эксперты сравнивали с кейлоггером в Windows и показывали, как использовать ее для кражи данных. Теперь в Microsoft сообщили, что обновят Recall, чтобы сделать функцию более безопасной, а также заверили, что отключат ее по умолчанию.