1. Машинное обучение на больших данных

    Рассмотрим библиотеку MlLib в Spark и покажем, как решать задачи машинного обучения — классификации, регресии, кластеризации, а также коллаборативной фильтрации. Кроме этого покажем, как можно исследовать признаки с целью отбора и выделения новых (т.н. Feature Engineering). Вектора Для простых «плотных» векторов есть специальный класс Vectors.dense:   Для «разреженных» векторов...
  2. Основы работы в Spark

    Основным понятием в Spark является RDD (Resilient Distributed Dataset), который представляет собой Dataset, над которым можно делать преобразования двух типов (и, соответственно, вся работа с этими структурами заключается в последовательности этих двух действий). Трансформации Результатом применения данной операции к RDD является новый RDD. Как правило, это операции, которые каким-либо образом...
  3. Рекомендательные системы на больших данных

    Одна из основных задач, которые стоят перед рекомендательными системами — это выявление закономерностей в покупках, связей — что с чем обычно люди приобретают. А также выявление групп людей по схожести покупок, поскольку это позволяет делать выводы, что если А и Б в целом схожи по группе покупок, то можно рекламировать...
  4. Большие Данные: с чего начать

    Сегодня компании используют Big Data для углубленного взаимодействия с клиентами, оптимизации операций, предотвращения угроз и мошенничества. За последние два года такие компании, как IBM, Google, Amazon, Uber, создали сотни рабочих мест для программистов и Data science. Область больших данных слишком размылась на просторах интернета, и это может быть очень сложной...
  5. Что такое большие данные?

    Под обобщающим термином «большие данные» принято понимать любые наборы данных, достаточно большие и сложные для того, чтобы их можно было бы обработать традиционными средствами работы с данными (например, РСУБД – реляционными системами управления базами данных). Единого мнения о том, какой объём считать «достаточно большим», нет, но нужно помнить, что сам...
  6. Большие данные в телекоме

    Телеком обладает всеми возможностями для эффективного использования методов обработки и анализа больших данных — от терабайтов разнообразной информации о клиентах до инфраструктуры и квалифицированных кадров. Как эти возможности реализованы сегодня? В области работы с клиентами… 1. Они анализируют наше недовольство Прогнозирование оттока абонентов является классической задачей для телекома, так как...
  7. BigData взгляд для CEO

    Big data allows marketing and production strategists to see where their efforts are succeeding and where they need some work. With big data analytics, every move you make for your company can be backed by data and analytics. While every business venture involves some level of risk, with big data, that...
  8. 10 правил работы с Big Data

    Применение Big Data в городах – в каком-то смысле анонимный краудсорсинг: эти массивы данных отражают и визуализируют модели поведения и запросы населения. Вот 10 правил, помогающих современным городам применять большие данные и правильно с ними работать. 1. Анализ до постановки гипотезы Когда у тебя на руках оказывается большой набор данных,...
  9. Инфраструктура для Больших Данных

    Мы собираемся обсудить вопросы аналитики данных на больших масштабах, разобраться с облачными вычислениями (cloud computing), описать методы и инструменты работы с большими объёмами информации и потоками данных. Также обсудим элементы распределённой вычислительной инфраструктуры, сравним опенсорсные и коммерческие решения. Быстро пройдёмся по YARN / Apache 2, Spark, Pig, Storm, MapReduce. Напомним,...
  10. Введение в Большие Данные

    Большие данные вошли в наш оборот, став некой маркетинговой уловкой. Многие компании начали всерьёз задумываться начать заниматься “биг датой”, но не знают с чего начать и что для этого нужно, но знают, что это может принести компании неплохую прибыль в будущем (а может и не принести). Этот хайп уже начал...

Data Scientist # 1

Машинное обучение, большие данные, наука о данных, анализ данных, цифровой маркетинг, искусственный интеллект, нейронные сети, глубокое обучение, data science, data scientist, machine learning, artificial intelligence, big data, deep learning

Данные — новый актив!

Эффективно управлять можно только тем, что можно измерить.
Copyright © 2019 Data Scientist. Все права защищены.