Квантовый хэдж фонд: что интересного для IT специалиста?
- воскресенье, 1 мая 2022 г. в 00:36:04
Всем привет! Это моя первая статья на Хабр. Меня зовут Артем и я директор по разработке ПО в Luxoft. В IT больше 15 лет: начинал как Java разработчик, прошел долгий путь от тим лида и руководителя проектов до директора по разработке ПО с сотней людей в подчинении. В связи с последними событиями в ближайшее время собираюсь с семьей переезжать на остров Пенанг в Малайзию и присоединиться к Люксофт.Малайзия. Там продолжу развитие своих проектов в квантовых хэдж фондах, куда мы теперь нанимаем людей в Сербии, Мексике и Малайзии. Буду писать статьи про жизнь в Малайзии и про работу в Люксофт.
Квантовые хедж-фонды отличаются от классических с точки зрения трейдинга и финансового анализа. Такие компании используют количественный (или квантовый — от англ. quantitative) инвестиционный подход с помощью data science, статистических методов и machine learning. В классических хедж-фондах трейдер анализирует факты, оценивает показатели, общается с представителями компаний, изучает публичную информацию и ищет инсайды. Почти то же самое делают и алгоритмы, они ищут неэффективности рынков и используют их в торговле путем обработки больших массивов данных за короткое время. Например мониторят любые упоминания компаний в СМИ, соцсетях и даже в публичных выступлениях. Еще один из плюсов количественного подхода: автоматизированные системы не азартны в торговле — они выполняют то, что заложено алгоритмом, у них отсутствует поведенческий фактор, что снижает риски. В квантовых фондах основная работа лежит на плечах ученых, математиков и разработчиков, а не управленцев и трейдеров.
Количественные фонды за последнее десятилетие двигались вверх, удерживая наивысшую долю объема торговли на фондовых биржах США.
По данным Barclay's на 2017 год, поток капитала в количественные фонды составлял 29%, или 114 миллиардов долларов от общей суммы средств, переданных в хедж-фонды. Финансовые компании продолжают вкладываться в количественные способы инвестиций, некоторые создают отдельные квантовые подразделения.
Компании создают так называемые «сигналы» на основе разных источников данных для принятия решений о покупке или продаже акций.
Кроме классических рыночных данных: цен и объемов торгов, такими источниками могут быть:
Данные геолокации телефонов — на их основе например осуществляется мониторинг посещаемости сетевых кофеен и кафе быстрого питания для прогнозирования увеличения или уменьшения их доходов и впоследствии прогнозирования цены на акции этих компаний.
Спутниковые изображения — наблюдение за количеством автомобилей, припаркованных возле сетевых универмагов или кафе позволяет прогнозировать объем продаж, соответственно и цены на акции. Еще один пример: поиск всех танкеров с нефтью на снимках, где с помощью длины тени на воде и времени снимка можно определить усадку корабля и соответственно объем нефти внутри танкера, что позволяет получить данные о перевозке нефти морским путем во всем мире. Сейчас эта история закрыта, так как пустые танкеры стали заливать рандомным количеством воды, но определенный промежуток времени данный сигнал активно работал.
Календарь национальных праздников в странах, где в конкретные дни традиционно дарят определенные драгоценные металлы — с учётом дат можно анализировать их стоимость.
Транзакции карт-провайдеров (VISA, MasterCard, etc.) — это триллионы операций (если не больше), которые парсятся с помощью machine learning для суммирования транзакций по всем компаниям, представленным на биржах. Благодаря этому фонд получает доступ к примерной аккумулированной выручке и может раньше публикации квартальных отчетов понимать ситуацию в каждой конкретной компании.
Таких сигналов для аналитики в фонде может быть более 5 миллионов и это терабайты входных данных ежедневно. Чаще всего такие сигналы разрабатывают ресечеры — специальные люди, квант-инженеры, которые экспертно разбираются в вопросе финансов и алгоритмов.
IT специалисты нужны как для создания инфраструктуры для обработки, преобразования и загрузки этих данных, так и для разработки и тестирования приложений для непосредственно торговли. Поэтому в хедж-фонды ищут сениоров со знанием Python, Java, C++, обладающих опытом в data science, machine learning, cloud, data lakes, big data и т.д.. Стек технологий: Kafka, Cassandra, Spark, Django, K8S, AWS и др. Не последнее место занимает знание английского языка не ниже уровня upper intermediate.
В фонды нанимают суперпрофи, экспертов. Здесь работает много математиков, поэтому нужно быть подкованным в алгоритмах, теории вероятности, теории чисел.
Опытный программист в количественном фонде занимает место опытного трейдера: фонд может получить преимущество на рынке благодаря превосходно написанному алгоритму. По данным Wall Street Journal, за лучших из лучших математиков и программистов идет борьба с Кремниевой долиной. Хедж-фонды ищут различные варианты привлечения кандидатов, предлагают льготы лучше, чем в технологических компаниях: дают столько отпусков, сколько нужно, предлагают мгновенные выплаты тем, чья работа отразилась на прибыли, устраивают хакатоны, открывают лаборатории количественных исследований для студентов Оксфорда.
Разные команды работают над разными проектами. К примеру, это может быть:
построение систем Data Lakes и Big Data Storages с использованием HDFS, Spark и Java;
написание Data Managers на С++, которые объединяют данные в один формат, а также разработка плагинов для преобразования данных из разных форматов в единый;
написание системы симуляции поведения рынков на исторических данных — специального программного комплекса, который симулирует торговый год. В него можно загрузить любую стратегию, и она как бы будет в ускоренном темпе проходить торги, а сотрудники фонда будут анализировать результаты — верно ли стратегия советует что-то приобрести или продать.
настройка инфраструктуры с использованием виртуализации и кластеризации AWS, K8S и Docker;
создание распределенных систем на основе Kafka и Cassandra;
решение задач Data Science c использованием NLP (natural language processing), numPy, Pandas, NLTK и Pyhton;
инфраструктурные проекты, связанные с подсчетом выручки, с репортингом в регулирующие органы, внутренним репортингом на Django и Flask + ReactJS;
Хедж-фонды активно ищут программистов (кто сейчас не ищет), поэтому география не ограничена страной присутствия. Помимо США, где находятся штаб квартиры большинства фондов, таланты ищут и в Азии, и в Южной Америке, и в Европе.
Из-за особенностей информационной и финансовой безопасности, специалистов на удалёнке в проектах количественных фондов долгое время практически не было. Пандемия внесла свои коррективы: в вакансиях иногда можно найти remote или temporary remote предложения. В некоторых компаниях предпочитают гибридный формат flexible sharedesk (часть дней сотрудник работает из дома, часть — из офиса).
Senior-инженер в квантовом фонде может заработать суммы, сопоставимые с европейскими зарплатами. Бывают дополнительные бонусы от самой компании. К примеру, мы работаем с одним из крупных американских хедж-фондов — они ввели призовой фонд для наших сотрудников и полностью его оплачивают. Это около 150 тыс. долларов в год для девяти чемпионов и девяти топ-перформеров, которые получат по 10 и по 5 тыс. долларов соответственно.
Самый простой вариант — мониторить вакансии конкретных компаний, второй — устроиться в компанию-партнера квантового фонда, например к нам в Люксофт. Но нужно быть готовыми, что они отбирают минимальный процент от присланных CV.
Если вы заинтересованы в работе в квантовых фондах, но еще не слишком опытны — можно попробовать себя в формате стажировок. Они чаще всего оплачиваемы, но для этого нужно приехать в другую страну. Такие предложения, например, есть у фондов Two Sigma и Citadel с обучением в США и Китае. Можно пройти обучение и в онлайн-формате на data science модуле.
Плюсы:
достойная оплата, на 20-25% выше средней по рынку;
реальная big data — до 10 петабайт в новых данных в день;
современные технологии — фонды сразу же применяют новые стандарты языков;
Минусы:
иногда монотонная и сложная работа с данными;
не самая интересная предметная область - математика и финансы;
не стоит забывать, что фондовый рынок — это риск.