Сегодня расскажу вам одну занимательную историю о том, как я решил сделать что-то полезное и интересное, а заодно чуть-чуть облегчить жизнь всем нам, кто регулярно зависает на Хабре. Ведь сколько здесь данных? Очень много! Статьи, комментарии, рейтинги... Всё это крутится вокруг нас, но как это можно использовать для анализа и выводов?

Всё началось с простого вопроса: «Как узнать, какие статьи на Хабре самые популярные?» Казалось бы - просто посмотреть на рейтинг или количество просмотров? Но ведь тут есть куча нюансов: например, у некоторых статей большой рейтинг, но они почти не комментируются. Или наоборот – комментов много, а рейтинга нет.

В общем, я решил выйти за рамки простого просмотра и создал систему для анализа данных Хабра за 2024 год. Использовал Node.js для парсинга, Google Таблицы для анализа и даже задействовал нейронную сеть, чтобы выявить скрытые тенденции.

Парсер на Node.js

Я подумал что Node.js будет отличным выбором для парсинга Хабра благодаря своей скорости. Большое количество запросов обрабатывается быстро, не зависая на ожидании ответов. А пакеты вроде axios и cheerio упрощают работу с HTML. И если что-то пойдёт не так, всегда можно подключить Puppeteer для работы с динамическим контентом.

Перед парсингом я изучил структуру страниц Хабра. Выяснил, что внутри HTML-разметки вставлен JSON с нужными параметрами: автор, дата, просмотры, рейтинг. Это упростило задачу - данные легко извлекать. Однако скрытого API я не нашёл, поэтому пришлось работать напрямую с HTML.

Мой код парсера можно посмотреть на Гитхабе.

Для каждой статьи собирал параметры:

• идентификатор публикации

• дату и время публикации

• автора публикации и его значение кармы

• обозначение корпоративный блог или нет

• название публикации

• хабы

• потоки

• краткое описание

• просмотры

• комментарии

• закладки

• рейтинг

• голосование за рейтинг плюс

• голосование за рейтинг минус.

Но записывал в итоговый CSV файл только те статьи, у которых рейтинг был больше чем +30 или же они набрали больше 30 тысяч просмотров:

// Пример фильтрации статей по рейтингу и просмотрам
const isPopular = (rating, views) => rating > 30 || views > 30000;
articles.filter(article => isPopular(article.rating, article.views));

На периоде с 15.12.2023 по 15.12.2024 подошли под условия и были успешно обработаны:
4 434 статей.

Те статьи, которые не подходили под эти условия - отбросил: 29 470 статей не подошли под эти условия.

И при простом переборе 52 090 идентификаторов никак не отозвались - то есть ошибка.

Полный лог поиска выложил на Гитхабе.

Google Таблицы для анализа с помощью QUERY

После парсинга нужно было анализировать данные. Я выбрал Google Таблицы: это удобно, быстро и доступно из любого места. Функция QUERY позволяет строить запросы, как в базе данных - фильтровать, сортировать, агрегировать. Для задачи с рейтингами и просмотрами это идеальный инструмент, который не требует сложных настроек или дополнительного ПО.

Полностью вся таблица вот здесь.

Проблема возникла только с хабами и потоками - ведь одна статья может находится сразу в нескольких хабах, а я не очень понял как выделить самые популярные за последний год хабы. Но вы можете подхватить мою эстафету по анализу, тем более все данные открыты в этой таблице.

Для выборки самых популярных статей получились простые формулы. Например топ просмотров:

=QUERY(Data!A:N; "select A,C,E,I order by I desc limit 15"; 1)

Топ просмотров за последний год на Хабре:

Топ-статьи по просмотрам за год удивляют: в первой строчке - материал, явно «накрученный» по просмотрам. Метрики не совпадают, но 628 тысяч кликов — внушительно.

Следом идут технические темы, которые волнуют аудиторию: настройка GoodbyeDPI, YouTube. Людей также цепляют необычные кейсы — как заработать миллионы или распознать рак по ранним признакам.

1. Анна, @AnnMaslova, карма 3
   [ТОП-28] Нейросети, боты и сайты, которые помогут раздеть девушку по фото, 628 524 просмотров

2. Ваня, @sanior1231, карма 13
   Как починить GoodbyeDPI, если он перестал работать 22.09.24, 486 207 просмотров

3. Ваня, @sanior1231, карма 13
   GoodbyeDPI перестал работать новый фикс 10.10.24, 472 192 просмотров

4. Вячеслав Голованов, @SLY_G, карма 1017
   Признаки рака можно заметить за несколько лет до появления симптомов, утверждает новый исследовательский институт, 467 198 просмотров

5. Даниил, @Noelhhh, карма 1
   Настройка GoodByeDPI для разных регионов и провайдеров, 390 399 просмотров

6. Ваня, @sanior1231, карма 13
   4 способа починить goodbyeDPI, как восстановить доступ к YouTube, 366 743 просмотров

7. Денис, @denis-19, карма 851
   Пользователи сообщили, что YouTube заработал в России без ограничений по замедлению у некоторых провайдеров, 337 763 просмотров

8. @akibkalo, карма 157
   Как загрузить, установить Office 2024 LTSC с сайта Microsoft и активировать навсегда?, 323 937 просмотров

9. MediaMetriqa, @MediaMetriqa, карма 13
   Hamster Kombat. Сколько ты реально заработаешь? Вся правда. Большой разбор проекта, токена HMSTR и команды, 315 010 просмотров

10. Слава Рюмин, @slava_rumin, карма 209
    Как я склеил картон и продал на маркетплейсах на 50 млн в год, 296 146 просмотров

11. Закиров Дамир, @zakirovdamir, карма -10
    Пирамида Хеопса — это дошедшая до нас часть конструкции (основание) действовавшего 10к+ лет назад космического лифта, 274 052 просмотров

12. Денис, @denis-19, карма 851
    YouTube делает «всё возможное» для ускорения сайта в России — пользователи заметили плашку на главной видеохостинга, 269 964 просмотров

13. Денис, @denis-19, карма 851
    Пользователь обнаружил, что его стиральная машина LG потребляет 3,66 ГБ трафика в сутки (97% на процесс Upload), 266 710 просмотров

14. Слава Рюмин, @slava_rumin, карма 209
    Как я зарабатывал 13 млн в год на любителях пассивного дохода, 253 295 просмотров

15. Дмитрий Лейкин, @freehabr, карма 80
    Docker hub перестал работать в России, 233 946 просмотров

Топ комментариев за последний год на Хабре:

Темы, которые больше всего взволновали аудиторию Хабра - это общественные и социальные вопросы. Лидирует статья о нежелании молодёжи рожать: 2 450 комментариев. Активно обсуждали исключение российских разработчиков из Linux (1 709 комментариев), проблемы высшего образования, блокировку YouTube и будущее пенсионной системы. Технические темы в топе оказались реже, но тоже вызвали живой отклик.

1. @neskuchan, карма 22
   Почему молодежь не хочет рожать и причём тут система образования, 2 450 комментариев

2. Денис, @denis-19, карма 851
   Торвальдс прокомментировал исключение российских разработчиков из списка мейнтейнеров Linux по указанию юристов, 1 709 комментариев

3. @rezsoseres, карма 10
   Реальная Грузия: грустные факты, которые вас разочаруют, 1 372 комментариев

4. Джон Смит, @alan008, карма 75
   Как Яндекс убивает такси как явление, 1 215 комментариев

5. Антон Назаров, @m0rtymerr, карма 15
   Нужна ли айтишнику вышка? Инфоцыганство от государства, 1 193 комментариев

6. @seniorjoker, карма 3
   Корпоративный куколдизм, 1 150 комментариев

7. Deleted user, @Deleted-user, карма 66
   Правда ли, что в Европе везде отсталые сервисы, медленные платежи и плохие онлайн-услуги? 1 140 комментариев

8. Профсоюз, @it_union, карма 283
   О блокировке Youtube, 1 072 комментариев

9. @TraPhro, карма 20
   Конец эпохи транспортных средств с двигателями внутреннего сгорания? 1 034 комментариев

10. @finindie, карма 118
    Будет ли пенсия у родившихся в восьмидесятых? 987 комментариев

11. Профсоюз, @it_union, карма 283
    Айтишницы, айда рожать, 965 комментариев

12. Васьен, @Vasjen, карма 61
    Почему с каждой новой версией Windows от нее усиливается усталость, 909 комментариев

13. @Keenet, карма 22
    Установка программы модификации сетевых пакетов NFQWS на роутер Keenetiс, 903 комментариев

14. Павел Комаровский, @RationalAnswer, карма 465
    Заморозка банковских вкладов в России: разбираемся, какие предпосылки для этого есть, 894 комментариев

15. Анатолий Ализар, @alizar, карма 1077
    Почему свободного времени всё меньше, если производительность труда растёт?, 870 комментариев

Топ закладок за последний год на Хабре:

В топе закладок на Хабре - вечные вопросы саморазвития. Как скачать Office? Как выучить английский? Как решить 600 задач на Leetcode? Но мой любимый герой — человек, который решил не откладывать жизнь на потом. Чтобы начать жить «прямо сейчас», он добавил соответствующую статью в закладки. Видимо, начнёт завтра. А пока — английский, NAS и VPN.

1. @akibkalo, карма 157
   Как загрузить, установить Office 2024 LTSC с сайта Microsoft и активировать навсегда? 1 162 закладок

2. @Foppa, карма 18
   Пацанский английский. Ленивый способ наконец выучить английский язык: без курсов, без зубрежки, бесплатно, 1 065 закладок

3. Suleiman Dibirov, @idsulik, карма 34
   Сказ о том, как я за год решил более 600 leetcode задач, 990 закладок

4. Рубцов Иван, @user_a, карма 40
   Как я с 0 поднял свой уровень английского до B2 и подтвердил этот уровень на экзамене IELTS Academic, 949 закладок

5. Киберия, @cyberia_studio, карма 11
   Почти все, что вы хотели бы знать про Docker, 753 закладок

6. @AmneziaAdept, карма 106
   Вы нас просили и мы сделали. VPN на собственном сервере с XRay Reality за 5 минут с помощью Amnezia, 744 закладок

7. @taydvax, карма 26
   Как работает интернет, 742 закладок

8. Дмитрий Дударев, @Dudarion, карма 216
   Самое понятное объяснение Специальной теории относительности, 737 закладок

9. Neo Davinchi, @quakin, карма 76
   Obsidian+Github вместо Notion: синхронизация, бекап и версионность (3-в-1), 733 закладок

10. Михаил Веткин, @mikevetkin, карма 19
    Obsidian — Notion свободного человека, 731 закладок

11. Даниил Тутубалин, @DandyDan, карма 50
    Регулярные выражения простыми словами. Часть 1, 718 закладок

12. @itdog, карма 157
    Какой роутер для OpenWrt купить в 2025 году? 716 закладок

13. Сергей Парамонов, @varagian, карма 339
    Это один из лучших подходов к изучению английского, что я видел за последние годы — коллокации, 710 закладок

14. Дмитрий Литвин, @Captain_Jack, карма 66
    Микросервисы в представлении среднего разработчика, и как всё на самом деле, 685 закладок

15. @Tirarex, карма 138
    Собираем бюджетный домашний NAS на 14 ТБ, 655 закладок

Топ рейтинга за последний год на Хабре:

В топе рейтингов - статьи про iPhone, микросхемы, блокировку YouTube и неожиданные провалы безопасности. Люди активно голосовали за разбор осьминога и ремастеринг "Тома и Джерри".

1. @acc0unt, карма 214
   Зачем в iPhone чип, который убивает FaceID, рейтинг 758

2. Забанен бессрочно, @Grigory_Otrepyev, карма 264
   Российская микроэлектроника — два года спустя, рейтинг 599

3. @olegdelone, карма 81
   Как я внезапно стал «наркоманом» и не прошел СБ в нескольких госбанках, рейтинг 543

4. Сергей Абдульманов, @Milfgard, карма 1940
   Разбираем осьминога, рейтинг 540

5. Антон Поляков, @LightTool, карма 301
   Когда обманули во всем: изучаем фейковый планшет, которым забиты маркетплейсы, рейтинг, рейтинг 520

6. Вячеслав Шелковников, @slavashel, карма 51
   Об инциденте с NTP-серверами, рейтинг 493

7. Антон Бочкарев, @Antxak, карма 139
   Я тебя найду и позвоню, рейтинг 488

8. Профсоюз, @it_union, карма 283
   О блокировке Youtube, рейтинг 480

9. Aleksandr Litreev, @alxdrlitreev, карма 80
   Обновлено: Как я обнаружил проблемы у ЮМани (Сбербанк) с безопасностью и не получил денег за найденную уязвимость, рейтинг 472

10. @rapiq, карма 95
    Выгодоприобретатели блокировки Youtube, рейтинг 459

11. @kkursor, карма 107
    Катастрофа в российской зоне проекта NTPPool.org, рейтинг 454

12. Вячеслав, @petuhoff, карма 171
    Как американская коррупция превратила физика-ядерщика в быдло-кодера, рейтинг 417

13. @Realife, карма 140
    Как я сделал ремастер всех серий Том и Джерри в 2к всего за пару месяцев, рейтинг 387

14. Дмитрий Дударев, @Dudarion, карма 216
    Самое понятное объяснение Специальной теории относительности, рейтинг 383

15. Константин Рисков, @riskov, карма 139
    Программисты всё вымирают и вымирают, рейтинг 374

Дополнительно я сделал топ неоднозначных статей, которые популярны, но собрали большое число минусов. Можно посмотреть всё в той же табличке.

Лучшие частные авторы по количеству статей

UPD. Павел Комаровский @RationalAnswer справедливо заметил, что были допущены ошибки при подсчёте рейтинга авторов. Поскольку парсинг шёл более суток, а за него голосовали в это время, то в таблице он записался под разными именами:
Павел Комаровский, @RationalAnswer, карма 465
Павел Комаровский, @RationalAnswer, карма 466
Павел Комаровский, @RationalAnswer, карма 467

Чтобы исправить это в таблице удалил через регулярные выражения в Notepad++ всю карму у всех авторов и рейтинг обновил:

В списке лучших частных авторов - люди с сотнями тысяч просмотров и высокими рейтингами. Все отмечены как частные, но среди них явно есть сотрудники Хабра и корпоративные аккаунты, скрывающиеся под личинами обычных пользователей. Кто-то пишет по 227 статей в год - это трудолюбие или KPI?

1. Денис, @denis-19
   227 публикаций за год 62 258 в среднем просмотров на статью, 5 440 суммарное количество закладок, 34 средний рейтинг на статью.

2. Вячеслав Голованов, @SLY_G
   70 публикаций за год 48 334 в среднем просмотров на статью, 2 696 суммарное количество закладок, 40 средний рейтинг на статью.

3. @PatientZero
   68 публикаций за год 22 595 в среднем просмотров на статью, 7 094 суммарное количество закладок, 72 средний рейтинг на статью.

4. Слава Рюмин, @slava_rumin
   45 публикаций за год 92 102 в среднем просмотров на статью, 4 790 суммарное количество закладок, 114 средний рейтинг на статью.

5. Профсоюз, @it_union
   44 публикаций за год 39 253 в среднем просмотров на статью, 2 450 суммарное количество закладок, 93 средний рейтинг на статью.

6. @maybe_elf
   34 публикаций за год 44 723 в среднем просмотров на статью, 515 суммарное количество закладок, 27 средний рейтинг на статью.

7. Олег Сивченко, @OlegSivchenko
   29 публикаций за год 9 507 в среднем просмотров на статью, 1 123 суммарное количество закладок, 51 средний рейтинг на статью.

8. Забанен бессрочно, @Grigory_Otrepyev
   27 публикаций за год 42 440 в среднем просмотров на статью, 2 094 суммарное количество закладок, 88 средний рейтинг на статью.

9. @LizzieSimpson
   25 публикаций за год 52 427 в среднем просмотров на статью, 342 суммарное количество закладок, 31 средний рейтинг на статью.

10. @AnnieBronson
    24 публикаций за год 46 819 в среднем просмотров на статью, 297 суммарное количество закладок, 34 средний рейтинг на статью.

11. Даниил Шатухин, @daniilshat
    22 публикаций за год 37 455 в среднем просмотров на статью, 771 суммарное количество закладок, 35 средний рейтинг на статью.

12. Cat.Cat, @Catx2
    17 публикаций за год 13 984 в среднем просмотров на статью, 721 суммарное количество закладок, 71 средний рейтинг на статью.

13. Sergei Kushnirenko, @dalerank
    16 публикаций за год 24 339 в среднем просмотров на статью, 1 673 суммарное количество закладок, 66 средний рейтинг на статью.

14. Павел Комаровский, @RationalAnswer
    16 публикаций за год 50 868 в среднем просмотров на статью, 1 099 суммарное количество закладок, 77 средний рейтинг на статью.

15. @CatScience
    15 публикаций за год 23 758 в среднем просмотров на статью, 881 суммарное количество закладок, 81 средний рейтинг на статью.

Лучшие корпоративные авторы по количеству статей

Лучшие корпоративные авторы — это настоящие контент-машины. У кого-то 106 публикаций в год, у кого-то — тысячи закладок на каждую статью. Среди них эксперты, превращающие сложное в понятное, и PR-отделы, прокачавшие бренд через полезные тексты. Каждый из них мастерски играет на стыке маркетинга, экспертизы и истории.

1. @ru_vds
   116 публикаций за год 18 368 в среднем просмотров на статью, 10 999 суммарное количество закладок, 65 средний рейтинг на статью.

2. Дмитрий Брайт, @Bright_Translate
   99 публикаций за год 16 056 в среднем просмотров на статью, 8 354 суммарное количество закладок, 70 средний рейтинг на статью.

3. @Seleditor
   91 публикаций за год 18 601 в среднем просмотров на статью, 2 570 суммарное количество закладок, 50 средний рейтинг на статью.

4. Denis, @DRoman0v
   59 публикаций за год 16 011 в среднем просмотров на статью, 1 751 суммарное количество закладок, 49 средний рейтинг на статью.

5. @DAN_SEA
   45 публикаций за год 13 595 в среднем просмотров на статью, 3 054 суммарное количество закладок, 64 средний рейтинг на статью.

6. Алексей Костенков, @Erwinmal
   45 публикаций за год 13 068 в среднем просмотров на статью, 2 315 суммарное количество закладок, 66 средний рейтинг на статью.

7. Гитарная электроника, @Lunathecat
   45 публикаций за год 10 190 в среднем просмотров на статью, 1 632 суммарное количество закладок, 50 средний рейтинг на статью.

8. Анатолий Ализар, @alizar
   44 публикаций за год 27 953 в среднем просмотров на статью, 4 539 суммарное количество закладок, 79 средний рейтинг на статью.

9. Богдан, @bodyawm
   43 публикаций за год 15 606 в среднем просмотров на статью, 2 441 суммарное количество закладок, 70 средний рейтинг на статью.

10. @GeeksCat
    35 публикаций за год 9 978 в среднем просмотров на статью, 1 098 суммарное количество закладок, 47 средний рейтинг на статью.

11. Сергей, @BabayMazay
    33 публикаций за год 9 987 в среднем просмотров на статью, 1 779 суммарное количество закладок, 98 средний рейтинг на статью.

12. Лев, @MaFrance351
    30 публикаций за год 10 948 в среднем просмотров на статью, 1 297 суммарное количество закладок, 77 средний рейтинг на статью.

13. Дарья Волкова, @divolko3
    28 публикаций за год 25 999 в среднем просмотров на статью, 1 057 суммарное количество закладок, 43 средний рейтинг на статью.

14. Александр Семенов, @shiru8bit
    24 публикаций за год 12 189 в среднем просмотров на статью, 1 435 суммарное количество закладок, 92 средний рейтинг на статью.

15. Стас Мельников, @melnik909
    24 публикаций за год 8 325 в среднем просмотров на статью, 1 988 суммарное количество закладок, 46 средний рейтинг на статью.

Оракул нейронной сети: ChatGPT vs. Google Gemini

На мой взгляд, все эти статьи выше - крайние всплески интереса, а некоторые статьи, как выяснилось, искусственно «разогреты», включая статью с самым большим количеством просмотров.

Поэтому я решил взять темы всех 4 434 публикаций, количество просмотров, прогнать их через искусственный интеллект и выделить 50 самых популярных тем. Это честный способ понять, что действительно волнует читателей.

Правда с ChatGPT такой фокус мне сделать не удалось - поэтому я обратился к Gemini.

Вот мой промт:

Действуй как профессиональный аналитик и маркетолог, тебе дали выборку тем статей на ресурсе за 1 год. Это выборка статей с рейтингом больше +30 или количеством просмотров больше 30000.

Хабр — русскоязычный веб-сайт в формате системы тематических коллективных блогов (именуемых хабами) с элементами новостного сайта, созданный для публикации новостей, аналитических статей, мыслей, связанных с информационными технологиями, бизнесом и интернетом.

Столбец title - название статьи
Столбец views - количество просмотров у статьи

Выбери 50 тем, которые набирают больше всего просмотров. Не конкретные статьи, а обобщенное название о чём эти статьи. Например веб-разработка или настройка обхода блокировок. Я хочу знать какие обобщенные темы популярны.

Получил вот такой ответ от Google Gemini:

Анализируя предоставленные данные, вот 50 самых популярных обобщённых тем статей с Хабра, основанных на сочетании количества просмотров и вовлечённости (подразумеваемой вероятной длиной/детализацией темы) за период в один год. Отфильтрованы крайне узкоспециализированные элементы, сделан акцент на более широкие темы.

Технологии и оборудование:

1. Настройка обхода блокировки

2. Обзоры компьютерного оборудования

3. Проекты DIY-электроники

4. Ретро-вычисления/игры

5. Программное обеспечение/проекты с открытым исходным кодом

6. Администрирование/управление сервером

7. Облачные вычисления

8. Языки программирования (Python, Go, C++, JavaScript, Rust)

9. Операционные системы (Windows, Linux, macOS)

10. Ремонт оборудования/устранение неполадок

11. Разработка мобильных устройств

12. Разработка встроенных систем

13. Монтаж/обработка видео (ffmpeg и т. д.)

14. Сети/маршрутизаторы

15. Уязвимости безопасности/атаки

16. Сравнение оборудования/программного обеспечения

17. 3D-печать

18. FPGA/микроконтроллеры

19. Хранение данных/резервное копирование

20. Технологии баз данных (PostgreSQL, MySQL и т. д.)

21. Цифровое проектирование/проектирование схем

Искусственный интеллект и машинное обучение:

22. Большие языковые модели (LLM)

23. ИИ в повседневной жизни/приложениях

24. ИИ для бизнеса

25. ИИ в играх

26. Контент, генерируемый ИИ (изображения, текст и т. д.)

27. Алгоритмы машинного обучения

Программирование и разработка:

28. Учебники/руководства по кодированию

29. Веб-разработка (общая)

30. Тестирование ПО

31. Собеседования по проектированию систем

32. Технические собеседования

33. Советы по карьере/рынок вакансий в сфере ИТ

34. Управление проектами в сфере ИТ

35. Командная работа/сотрудничество

36. Лучшие практики по разработке ПО

37. Оптимизация производительности (общая)

38. Разработка/использование API

39. Проблемы/конкурсы по кодированию

Бизнес и экономика:

40. Экономика ИТ/тенденции в сфере бизнеса

41. Обсуждение заработков/зарплат (в сфере ИТ)

42. Удалённая работа/баланс между работой и личной жизнью

43. Стартапы/истории неудач

44. Аутсорсинг/офшоринг

45. Правовые вопросы/корпоративная политика

Наука и инновации:

46. Исследование космоса/технологии

47. Научные открытия/исследования

48. Физика/инженерия

Социальные комментарии:

49. Комментарии о тенденциях/новостях ИТ-индустрии

50. Социальные комментарии/мнения о технологиях

Примечание: Некоторые темы могут немного пересекаться. Список ориентирован на ясную и широкую категоризацию, отражающую наиболее часто обсуждаемые темы. Конкретные статьи, попадающие под одну и ту же общую тему, могут со временем менять свою популярность.

Это был конец ответа Google Gemini.

Что вы думаете об таких выводах? Насколько они правдивы?

И что в итоге?

Частные авторы рулят, техника и ИИ в тренде, а социальное всё ещё будоражит.

Какой совет можно дать начинающим авторам на Хабре? Данные говорят: фокусируйтесь на конкретных технических проблемах, практических решениях и "человеческом" стиле. Узкие ниши, интересные заголовки – залог успеха. Данные показывают, что статьи, посвященные конкретным техническим проблемам (например, настройка GoodbyeDPI, решения проблем с YouTube) или социальные темы (проблемы с молодёжью, высшим образованием) получают огромный интерес. Найдите свою специализацию и углубляйтесь в неё.

Что вы думаете о моих выводах? Что бы вы хотели изучить подробнее?

Автор: Михаил Шардин,

18 декабря 2024 г.