Habr Weekly

В этом выпуске мы обсуждаем сложности сбора и обработки данных. Работа с Big Data и получение из них ценности — это конвейер, на котором трудятся целые команды. Как идёт работа в начале и конце этого пути, нам расскажут два разных специалиста: data engineer и product owner. О том, как и какими инструментами добываются данные, мы узнаем от Дмитрия Захарова — дата-инженера и тимлида разработки витрины данных в Сбере. А Игнат Постный, исполнительный директор TAG Consulting, поведает, какие задачи он решает с помощью инструментов AI и какие барьеры есть на проде. Содержание: 1:10 Кто есть кто: чем занимаются data engineer и product owner в Big Data 4:30 Этапы обработки больших данных в крупной финансовой компании 10:30 Особенности работы с естественным языком и неструктурированными документами 17:00 Как обойти проблему «Garbage in — garbage out» и дорогостоящих ошибок 22:00 Отсутствие стандартов и другие боли дата-сатанистов 28:20 Как строится витрина данных 30:50 Корпоративный ресурс vs творческий подход 34