Intel и Яндекс: тренировка на танках и беспилотниках

Yandex Data Factory – бизнес-подразделение компании Яндекс, специализирующееся на предоставлении адаптированных решений для анализа больших данных. Решения YDF основаны на применении к большим объемам пассивных данных продукты и алгоритмы, в основе которых лежит машинное обучение. Такой подход позволяет сделать на основе полученной информации практические бизнес-выводы, которые должны помочь компаниям-клиентам оптимизировать показатели экономической эффективности работы.

В рамках партнерства с Intel YDF будет отвечать за разработку и оптимизацию технологий сбора, хранения и анализа Big Data для архитектуры Intel Xeon. Партнеры уверены, что опора на эту технологию, которая входит в число наиболее популярных платформ, станет залогом успеха проекта. Intel же будет отвечать за продвижение аналитики на основе больших данных. Обе компании будут реализовывать и совместные стратегии по выводу новых решений на рынок, в том числе – за счет запуска специальных программ для заказчиков.

Партнеры считают, что такой совместный проект позволит существенно ускорить внедрение технологий анализа больших данных. Кроме того, сотрудничество Intel и YDF поддержит развитие технологий вендора для ЦОД и Интернета вещей.

На данный момент технологии YDF уже работают в нескольких крупных компаниях. Так, Wargaming, создатель игры World of Tanks, использует разработанную YDF модель для определения потенциального оттока игроков. Яндекс также выступила партнером проекта компании Accenture по изучению использования беспилотных летательных аппаратов для мониторинга объектов инфраструктуры, в том числе – высоковольтных линий, газовых и нефтяных трубопроводов и так далее. В рамках партнерства были использованы вычислительные ресурсы YDF и инструменты для визуализации, необходимые для обработки больших объемов данных. Кроме того, YDF была разработана для Росавтодора система прогнозирования возникновения заторов и вероятности аварий на федеральных трассах и отображения в режиме реального времени соответствующей информации на интерактивных картах.  

Заметим, что аналитики увидели в запуске данного партнерства в большей степени PR-ход, а не уникальное событие – даже несмотря на объявление о крупных проектах.   

«Яндексу, безусловно, нужен поток позитивных новостей, и большие данные – благодарная тема с точки зрения их генерации, – комментирует Леонид Делицын, аналитик инвестиционного холдинга ФИНАМ. – Мы вступаем в эпоху, когда машины ежесекундно собирают о нас информацию, куда-то её отправляют, где-то архивируют и хранят, и иногда даже перерабатывают. Машины уже знают о каждом из нас гораздо больше, чем мы сами.  Вряд ли сами игроки в World of Tanks способны измерять своё поведение при помощи 100 параметров. И вряд ли все они сегодня знают, как долго останутся в игре. Конечно, не все эти 100 параметров одинаково важны, вот только заранее неизвестно, какие – важны, а какие – не очень. Чтобы выделить важные параметры, требуется изучить поведение 100 тысяч игроков – но поскольку Яндекс подсказывает ответы сотне миллионов посетителей, эта задача ему по силам».

«Примеров применений методов машинного обучения к большим данным довольно много, многие из них – довольно яркие и могут генерировать популярные новости, – продолжает Леонид Делицын. – Это хорошо для компании как само по себе, так и для решения задачи ободрения аналитиков фондового рынка. Именно эта задача – самая сложная сегодня для Яндекса. А задача прогнозирования оттока клиентов – довольно старая и хорошо изученная, подходы к ее решению опубликованы. Вопрос лишь в практической реализации тех подходов, которые работоспособны, когда клиентские базы насчитывают миллионы пользователей. В этой области на «шлифование» решения с целью сделать его пригодным для решения практических задач может уйти больше лет и средств, чем на разработку теории. По сообщениям новостных агентств, благодаря использованию проприетарных алгоритмов Яндексу удаётся строить на 20-30 % более точные решения, чем удается конкурентам. Эта разница не выглядит такой уж существенной. Думаю, что главное конкурентное преимущество Яндекса – в наличии штата опытных специалистов, софта и «железа».

«Помимо активизации Яндекса в b2b-секторе, важно ещё следующее. Судя по всему, повторяется (или продолжается история с SaaS), когда вместо возникновения новых, независимых компаний мы наблюдаем возникновение нового канала продаж у крупных производителей и дистрибьюторов программного обеспечения, – оценивает перспективы рынка анализа больших данных Леонид Делицын. – Большие данные являются вторым из наиболее популярных у венчурных фондов направлений инвестирования, согласно результатам исследования Venture Barometer Russia 2014, они уступают только финансовым технологиям, да и то, отставание нельзя назвать значимым. Инвесторы понимают перспективность машинного обучения в период растущей волны M2M-технологий – ведь устройства должны не просто обмениваться данными, но и изменять своё поведение в зависимости от полученной информации. Короче говоря, инвесторы хотят вложить деньги в направление «большие данные». Но вряд ли могут. Дело в том, что в случае больших данных, требуются, во-первых, мощная аппаратная база, а во-вторых, действительно, высокие технологии. На одном лишь поверхностном знании методов машинного обучения много не построишь, поскольку для работы с большими данными методы должны быть быстрыми и устойчивыми. Практически полезные методы отшлифованы годами практики – и у Яндекса такая практика есть, а у новых игроков её, скорее всего нет».

«Объём первоначальных вложений, по-видимому, тоже превосходит сумму, на которую венчурные инвесторы были бы готовы рискнуть, чтобы попробовать новое направление. Простые задачи, которые можно решить при помощи не очень больших данных и специалистов обычной квалификации за сравнительно небольшую сумму, вряд ли принесут высокую прибыль – просто потому, что решить их могут многие, а значит, неизбежна жёсткая конкуренция. Яндекс в этой ситуации оказался защищён уникальным барьером, естественно построенным за годы работы над поисковой машиной, Яндекс-маркетом и системой управления контекстной рекламой. Поэтому в области «больших данных», как и в индустрии SaaS, главными игроками рынка окажутся не независимые стартапы, а уже хорошо известные крупные компании.  Кстати, услугу по прогнозированию оттока абонентов Web-сайтам мог бы предоставлять не только Яндекс, но и, например, российские интернет-счётчики, LiveInternet, OpenStat и другие, – резюмирует аналитик ФИНАМ. – Если Яндекс раскрутит эту услугу, то она войдёт в моду, и для других игроков возникнет поле деятельности – поиск минимально затратной реализации решений наиболее ходовых задач».