Информация НЕ содержится в данных

«Информация НЕ в данных!» (Проф. Джудея Перл, «Книга почему»). Эта фраза изначально была сформулирована, чтобы подчеркнуть, что данные сами по себе не содержат информации о причинно-следственных связях или причинах корреляции. Эта фраза нашла отклик во мне и стала основополагающей частью моей докторской диссертации; осознание того, что мы, как наблюдатели, наполняем данные смыслом, основанным на нашем субъективном опыте и интерпретациях, и что информация в конечном счете является вероятностной. Это имеет серьезные последствия для того, как мы подходим к аналитике данных и науке о данных… практике, когда многие упускают из виду лес за деревьями. Поэтому я посвящаю свою 9-ю юбилейную статью раскрытию этой идеи.

Большинство людей считают, что фрагмент данных имеет единственную интерпретацию и что его производное значение неизменно. Это совершенно ошибочное понимание природы данных. Значение данных (т.е. информации) не является ни единичным, ни неизменным. Начнем с последнего. Данные всегда должны интерпретироваться в контексте периода их сбора. По мере изменения фона или контекста окружающей среды те же данные могут изменить свое значение или даже перестать представлять исходное целевое явление. Рассмотрим следующий пример: многие корпоративные сотрудники жалуются, что университеты больше не готовят своих студентов к успеху в корпоративном мире; полученные навыки и знания больше не актуальны. Но что означает степень бакалавра? Какую информацию он представляет? Университеты НИКОГДА не думали о корпоративных навыках. Но два поколения назад степень бакалавра означала, что человек, получивший ее, был дисциплинированным и добросовестным, потому что люди, как правило, не любят учиться, а доступ к высшему образованию был ограничен. Теперь это представление о дисциплине и добросовестности соответствовало тогдашним качествам, необходимым для успеха в корпоративной жизни. Вернитесь к сегодняшнему дню, когда та же самая степень бакалавра больше не представляет собой строго дисциплины и добросовестности из-за расширения доступа к высшему образованию и «умных» способов обходиться минимальным обучением. Прибавьте к этому тот факт, что для достижения успеха в современной экономике знаний требуется больше, чем упорный труд и дисциплина.

Как насчет первого пункта, когда данные могут иметь несколько интерпретаций и значений? Благодаря «трансформации» базовые данные могут интерпретироваться по-новому. Рассмотрим следующий пример: у нас есть переменная «ВОЗРАСТ» в нашей системе управления персоналом. Само по себе мы думаем о возрасте как о молодом по сравнению со старым, но эти необработанные данные можно преобразовать в «Поколение X/Y/Z», в «возрастную группу страховых премий», в «время до выхода на пенсию». Каждое преобразование открывает новый набор интерпретаций и значений и вызывает новые идеи.

Таким образом, из данных можно извлечь больше информации за счет лучшего знакомства с контекстом (т. е. пребывания «в поле» и приобретения знаний в предметной области) или путем преобразования данных. Это преобразование не является классическим видом, с которым знакомы специалисты по данным, и заключается в том, чтобы сделать данные пригодными для моделирования. Это также не разработка признаков, потому что речь идет об «манипулировании» данными для повышения точности модели. Цель нашего вида преобразования данных состоит в том, чтобы сделать возможным большее количество вариантов значения.

Все это приводит к ключевому выводу, который я хочу сделать: следующей эволюцией аналитики данных и науки о данных будет информационная наука (термин, введенный в 1955 году и включающий в себя извлечение и организацию информации и смысла из данных). Несмотря на расширенный доступ к данным и алгоритмическое мастерство, многие организации все еще не знают, как использовать все это в полной мере.

Недавно клиент спросил меня: «Как выглядит хорошая аналитика?». Хорошие аналитические возможности требуют зрелости в трех измерениях: возможности данных, вычислительные возможности и возможности перевода. Возможности данных связаны со способностью идентифицировать, собирать и систематизировать данные. Вычислительные возможности связаны с алгоритмической сложностью, применяемой для решения проблем. Возможность перевода относится к когнитивным способностям интерпретировать и использовать данные для принятия решений. Общая нить, которая проходит через эти три возможности, — это включение информации. Знание того, как раскрыть значение данных, обеспечивает ясность стратегии данных организации, например, собирать только те данные, которые обеспечивают постепенную интерпретацию интересующего явления, и продолжать проверять, остается ли представление действительным.

В конечном счете, для развития аналитических возможностей организации они должны перейти из области технических специалистов в руки всех сотрудников организации. По мере того как инструменты науки о данных становятся более интуитивно понятными и автоматизированными, придание большего значения когнитивным способностям, таким как информационная полезность, будет поддерживать нашу конкурентоспособность в экономике знаний.