Для подписчиковКогда слышишь про генерацию, первыми в голову приходят картинки — от сюрреалистичных шедевров до аниме‑клубнички. Но генерировать можно не только пиксели, но и слова. Сегодня мы разберемся, как запустить языковую модель локально, на собственном железе, какую из них выбрать — и для чего все это может пригодиться.
Привет!Задумывались, какую версию квантованной LLM выбрать: Q4_K_M, Q6_K или Q8_0? Насколько Q6_K хуже справляется с задачами по сравнению с Q8_0? И что вообще означают все эти буквы в суффиксах? Примечание: это адаптированный перевод моей статьи на Medium. Перевод был сделан при помощи мозга, а не нейросетей или Google Translate.Типичные муки выбора при загрузке квантованной LLM с Hugging FaceВ статье разберёмся, что означают суффиксы вроде Q4_K_M, почему Q4 ≠ int4, и как не потеряться на с…
Привет, Хабр! Меня зовут Анатолий Кохан, я — DevOps-инженер в К2Тех.Когда мы вводим в браузере имя сервера или доменное имя сайта, выполняем ping или запускаем любое удаленное приложение, операционная система должна преобразовать указанные имена в IP-адреса. Этот процесс называется разрешением доменного имени. На первый взгляд он может показаться весьма прозрачным, однако за ним скрывается многослойный механизм.Данная статья — начало серии, посвященной низкоуровневой архитектуре разрешения име…
Хватит! Хватит мёрзнуть и терпеть бредни копирайтеров про электрические отопительные приборы! Зима (долго готовил, уже лето) располагает поговорить про обогреватели. Разберёмся, чем отличаются разные обогреватели, зачем их столько напридумывали, и где нам маркетологи вместе с копирайтерами пытаются продать барахло втридорога. Внимание: текст писал злой инженер — могут попадаться формулы. Видеоверсия: Если не хочется читать, главные тезисы: У всех обогревателей 100% КПД, всё электричество…
Кремний правит IT-миром уже полвека, но сегодня даже самые продвинутые чипы всё чаще сталкиваются с пределами: тепловые ловушки, токи утечки и борьба за каждый дополнительный гигагерц превращается в разработку на грани фола на грани физики. Частотная гонка больше не спасает — теперь в фокусе многоядерные архитектуры, вертикальная упаковка и поиски замены кремнию.Почему классические технологии больше не тянут, как новые подходы формируют будущее вычислений — и что это значит для разработчиков?Ка…
Дисклеймер: речь пойдёт не только о кофе — да и вовсе не о кофе. Суть статьи — попытаться ответить на вопрос: почему при нормальном доходе мы ничего не откладываем, не покупаем квартиры и прочие дорогостоящие вещи?В любой истории нужен герой. Нашим героем будет Петя. Ему 27 лет, он живёт в Екатеринбурге, работает программистом на позиции Senior Backend Developer в крупной московской компании и получает пресловутые 300к/наносек — 300 000 рублей в месяц.Как проходит обычный рабочий день Пети? Он …
Здравствуйте,Меня зовут Александр Певзнер, и я программирую на Си и Go. Go обычно ассоциируется с бакендом, микросервисами и вот этим вот всем. Но я использую его необычным образом: я пишу на нём системное ПО.Почему я это делаю именно на Go? Этот язык привлекает меня своей простотой, лаконичностью, ясной семантикой, прекрасной документацией и великолепной стандартной библиотекой.Одна из моих программ, ipp-usb, написанная на Go, входит во все дистрибутивы Linux и *BSD и делает возможным использо…
Конкурентность — одна из самых мощных возможностей Go, и её освоение критически важно для создания масштабируемых и эффективных приложений. В этой статье мы рассмотрим 7 шаблонов конкурентности в Go, которые помогут вам писать надёжный код.1. Пул воркеровОписание: Пул воркеров создаёт фиксированное количество горутин, которые обрабатывают задачи из общей очереди. Этот шаблон полезен для управления количеством одновременно выполняемых задач и оптимизации использования ресурсов.package main impo…
An open source framework for building AI-powered apps with familiar code-centric patterns. Genkit makes it easy to develop, integrate, and test AI features with observability and evaluations. Genkit works with various models and platforms. Genkit is an open-source framework for building full-stack AI-powered applications, built and used in production by Google's Firebase. It provides SDKs for multiple programming languages with varying levels of stability: JavaScript/TypeScript (Stable): …