ИССЛЕДОВАТЕЛЬСКАЯ

КОМПАНИЯ

ИНФОРМЭС Екатеринбург

ЭКСПЕРТНЫЙ ОПРОС: РАБОТА НАД ОШИБКАМИ


Опросы экспертов широко применяются в маркетинговых исследованиях. Это один из основных и наиболее доступных источников информации, особенно на рынках продукции производственно-технического назначения. Безусловное преимущество метода – возможность не только понять текущую ситуацию, но и выявить тенденции развития рынка. Кроме того, метод прост для понимания, а полученные результаты защищает авторитет экспертов. Но, как часто бывает, достоинства и простоту компенсируют подводные камни и технические нюансы, не зная которых, можно получить результат, не имеющий к реальности ни малейшего отношения. Вот об этих нюансах и расскажем подробнее.

Ошибка 1: Переоценка сферы применения

Сферу применения экспертных опросов нередко переоценивают. И, как часто бывает, корни проблемы лежат в прошлом – в «дорыночной» экономике. Хозяйственная деятельность в СССР была четко регламентирована. Стопроцентно точная и регулярная отчетность, исследовательские институты в каждой отрасли, множество управлений, главков и министерств. За все, что происходило с любым товаром, кто-то персонально отвечал. Эти люди досконально знали, сколько и чего производят, какие существуют планы, когда они будут осуществляться. Словом, идеальные эксперты. Поэтому студентов так и учили: опрос экспертов – абсолютно обязательная, неотъемлемая часть любого исследования. Так вот строго и категорично. И до сих пор иногда учат, хотя времена вроде как изменились…

В сегодняшних реалиях целесообразность и эффективность применения экспертного опроса зависит, как минимум, от трех факторов:

- конкурентная ситуация на рынке;

- рыночная новизна рассматриваемого продукта;

- доступный состав экспертов.

Чтобы понять, когда следует, а когда не стоит проводить экспертный опрос, приведу два примера из практики. Первый – просто идеальный случай. Мы изучали рынок листового стекла. На нем достаточно много компаний. В своем большинстве это переработчики, торговые фирмы, несколько старых производителей с небольшим производством. Но основной объем листового стекла выпускают немногочисленные крупные предприятия, их можно по пальцам пересчитать. У каждого в регионах есть представительства или региональные дистрибуторы. Бизнес сезонный и сложный, требует аналитики, поэтому в представительствах хорошо знают рынок – что происходит у них, у конкурентов, в регионе в целом. Лучших экспертов не найти. Их опрос, дополненный результатами кабинетного исследования, позволил хорошо разобраться в ситуации, подробно описать рыночную конъюнктуру.

Теперь пример противоположного плана. Практически в то же время мы изучали рынок пластиковой упаковки для продовольственных товаров. Наряду с крупными компаниями, на нем работают сотни небольших предприятий, в сумме и выпускающих основной объем упаковки. В силу ограниченных масштабов деятельности, рынок они видят не дальше нескольких клиентов. И ценность таких экспертов на порядок ниже, чем у стекольщиков, о которых говорилось выше. Что-то полезное они рассказали, но основной объем информации получили из другого источника – по результатам выборочного опроса производителей продовольственных товаров. Т.е. пришлось работать с совершенно другой аудиторией: вместо тех, кто продает, с теми, кто покупает упаковку. И совершенно другим методом – вместо опроса экспертов, опрос потребителей продукции производственно-технического назначения. Причем по достаточно большой выборке.

О чем говорят эти примеры? Метод экспертных оценок далеко не одинаково эффективен на разных рынках. Он оправдан там, где сложилась олигополистическая конкуренция - рынок контролируют несколько крупных компаний. В условиях олигополии конкуренты вынуждены внимательно следить за ситуацией, за действиями друг друга. Типичные примеры: телекоммуникации, авиаперевозки, логистические услуги, в определенной степени торговля бытовой техникой, где тоже представлены очень крупные игроки и т.п. Если же рынок распределен между множеством сравнительно небольших предприятий, информированность специалистов на уровень ниже. Конечно, и здесь найдутся заинтересованные люди, которые проводят какие-то исследования, накапливают и анализируют информацию. Но у них нет главной ценности эксперта – необходимости знания рынка, как неотъемлемой части его собственной повседневной работы. Соответственно, эффективность экспертных оценок намного ниже, и желательно использовать другие методы сбора информации.

Ошибка 2: Переоценка возможностей экспертов

Еще один принципиальный момент связан с исследованиями новых продуктов. Опять же пример. В 90-х, на заре исследовательской работы, изучали рынок водопроводных металлопластиковых труб. Товар пришел из-за бугра и для отечественного потребителя был абсолютной новинкой. Наша задача как раз и состояла в том, чтобы оценить его перспективы. Мы тогда были столь же наивны, сколь и наши заказчики. Пошли к экспертам – в строительные и коммунальные компании, даже к небольшим бригадам ремонтников. Оценки были самые негативные. Причем эксперты обосновали свое мнение: дескать, никто не захочет покупать какое-то дополнительное оборудование, осваивать работу с новым материалом, да к тому же они не ржавеют, значит, потеряем объемы ремонта... В общем, никому это не надо... Прошло полтора десятилетия, и трубы из металлопластика или полипропилена стоят в любой квартире или офисе, объемы их продаж колоссальны.

С такой проблемой мы сталкивались на раз. Знающий и опытный эксперт может много рассказать о текущей ситуации, о тенденциях, которые прослеживаются в последнее время. Но не надо ждать от него невозможного - он не провидец. Если бы все люди могли видеть перспективу, многие товары появились на десятилетия раньше. Увы, этой способностью обладают единицы, которые и толкают всех нас вперед. На рынках продуктов рыночной новизны экспертные оценки необходимы, но относиться к ним надо с осторожностью, сочетать с информацией других источников.

Ошибка 3: Неполный состав экспертов

Очень распространенная ошибка – слишком однородный состав экспертов. Например, при исследовании рынков продовольственных товаров часто ограничиваются специалистами розничной торговли. Категорийный менеджер торговой сети или директор магазина действительно могут дать массу полезной информации. О структуре спроса, о сезонности, о рыночных тенденциях и многом другом, что отслеживает розничная торговля. Но спрашивать, например, про емкость рынка, как правило, бесполезно. Не их вопрос. Поэтому состав экспертов желательно дополнить специалистами крупных производственных компаний. Они вероятнее обладают нужной информацией.

Иногда целесообразно привлечь экспертов, которые непосредственно не работают на рассматриваемом рынке. Например, поставщики стоматологических материалов и оборудования могут много рассказать о рынке стоматологических услуг, хотя непосредственно их не оказывают. Или другой пример – рынок питьевой воды, которую доставляют в бутылях по 19 литров. В отличие от обычных ПЭТ-бутылок, это сложная в изготовлении оборотная тара. Ее производит не так много фирм. Каждая бутыль выдерживает лишь определенное количество циклов доставки, и поставщики воды докупают новую тару. Соответственно, знание производителей о том, сколько бутылей и в какой город они продают, позволяет достаточно точно рассчитать потребление воды в заданном регионе. Соответственно, в число экспертов иногда желательно включать поставщиков сырья и оборудования. На некоторых рынках может быть интересно мнение специалистов отраслевых исследовательских институтов, организаций, занимающихся сертификацией продукции, региональных министерств, иногда даже представителей контролирующих инстанций. Значит, лист опроса и план интервью надо разрабатывать в 2-3 вариантах, в зависимости от характера деятельности экспертов.

Ошибка 4: Недостаточный опыт экспертов

Самый распространенный способ отбора экспертов – «метод снежного кома». Находят пару-тройку специалистов из числа тех, кто активно публикуется в СМИ, чье имя или компания на слуху. Проводят с ними первые интервью. В конце разговора спрашивают, к кому из коллег они посоветуют обратиться. И так по цепочке. Кроме набора экспертов, «снежный ком» позволяет оценить их компетентность: можно спросить у каждого, мнению кого из коллег он больше доверяет.

Очень серьезная ошибка – недооценка опыта эксперта. На бытовом уровне опыт 3-4 года кажется достаточным. Но для эксперта не всегда. В какой-то мере он должен быть человеком прошлого, знать историю рынка со всеми его взлетами, падениями, обвалами цен, выходом новых товаров, набегами конкурентов из соседнего региона. В общем, пережить все шторма и мелкую рыночную волну, которые и превращают специалиста в настоящего эксперта. Иначе человек невольно переносит какие-то краткосрочные тренды и сегодняшние проблемы на тенденции развития рынка. Для эксперта стаж нередко оказывается не менее значимым фактором, чем масштабы деятельности его предприятия.

Ошибка 5: Неподходящий должностной состав

Если задачи исследования - именно изучение рыночной ситуации, при отборе экспертов преимущество отдают сотрудникам и руководителям сбытовых подразделений, служб маркетинга. Они ближе к рынку. Хотя есть нюанс – проблема коммерческой тайны. В последние годы она стала особенно острой: даже на небольших фирмах службы безопасности любят придумывать всяческие расписки и положения. Иногда эксперт боится слово сказать. Поэтому желательно пробиться повыше. Директор или собственник делятся информацией намного свободнее. А вот на больших предприятиях слишком высокая должность может быть не в пользу: топ-менеджеры масштабного бизнеса нередко отгорожены от рынка сложной конструкцией из департаментов, управлений, служб и отделов. Крупные руководители могут концентрироваться именно на управлении, а о рынке лучше расскажут их подчиненные.

Ошибка 6: Нерациональный выбор легенды

Прежде чем встречаться с экспертом, ему придется объяснить, кто вы, откуда и зачем собираете информацию. От этого зависит и готовность разговаривать, и уместность определенных вопросов. Достаточно распространены так называемые «опросы под прикрытием»: исследователи заручаются поддержкой какого-нибудь сайта или журнала, от имени которого проводят интервью. Однако, такое решение не всегда оправдано. И дело не только в этике. Многие вопросы, заданные от имени журналиста, выглядят несколько странно. Ну с чего журналист будет спрашивать, сколько составляют продажи в каждом месяце по отношению к январю? Кроме того, на крупных предприятиях сотрудникам бывает запрещено общаться со СМИ. Журналистов прямиком отправляют в службу PR, а там еще те эксперты… Вообще выбор «легенды» - от чьего имени и в каких целях проводится работа, немаловажная составляющая успешного исследовательского проекта.

Ошибка 7: Застывший план интервью

Интервью следует проводить снизу вверх: от специалистов небольших компаний к экспертам, представляющим предприятия с сильными рыночными позициями. Потому что по итогам встреч план интервью обычно корректируется, и к последним, самым ценным интервью, он должен быть окончательно отработан. К сожалению, корректировкой плана часто пренебрегают: готовится список вопросов, и с ними работают на протяжении всего проекта. Это неправильно. План интервью – не догма. Он должен постоянно развиваться по мере того, как новая информация накапливается исследователем.

Ошибка 8: Недостаточная подготовка интервьюера

Наверное, это главная ошибка, способная свести всю работу на нет. Часто свою задачу исследователи видят в разработке качественного опросного листа, но с ним к эксперту приходит абсолютно не владеющий темой интервьюер. Это сильно снижает качество интервью. Во-первых, эксперта может просто раздражать некомпетентность исследователя – смотря какой у человека характер. Во-вторых, разговаривая с абсолютно неинформированным собеседником, люди невольно стремятся уйти от мелких деталей: какие уж тонкости, лишь бы азы понял. А нужны-то как раз тонкости… Поэтому тщательная подготовка была и остается ключевым требованием к проведению экспертных интервью. Тем более, в наши дни она не требует особых усилий: интернет позволяет за несколько часов сориентироваться хотя бы в основных характеристиках, ценах и классификации товара. Это принципиально! Интервьюер не может просто озвучивать вопросы по бумажке. Эксперт должен разговаривать как бы с «младшим коллегой». Недостаточно опытным, не знающим всех нюансов, но хорошо подготовленным и вполне компетентным.

Ошибка 9: Некорректное обобщение оценок

Исследование обычно предполагает обобщение мнений экспертов. Если мнения сильно варьируются, сделать это не просто. Вообще говоря, большие различия в оценках экспертов – верный признак, что в чем-то ошиблись. Либо не к тем пришли, либо специфика рынка такова, что использовать экспертный опрос нежелательно (см. выше). Между тем определенная вариация оценок отмечается почти всегда. Например, опросили пятерых экспертов. Каждый из них оценил емкость рынка. Получили следующие оценки: 200, 230, 245, 250 и 780 млн. руб. в месяц. За единственным исключением (780), оценки более-менее однородны, хотя разлет от 200 до 250 тоже не есть хорошо. Как их обобщить? Большинству людей первое, что приходит на ум – посчитать среднее арифметическое. Получится 341, т.е. сильно выше оценок большинства экспертов. Причем если бы единственному эксперту, давшему самую высокую оценку, пришло в голову в шутку сказать 2500, средняя величина вообще бы ушла в бесконечность. Поэтому средняя тут не подходит. Надо считать медиану. Если забыли – это величина, которая делит все оценки на две равные части: половина больше нее, а половина меньше. В нашем примере медиана равна 245. Это хотя бы соответствует здравой логике и мнению большинства. Крайние величины не оказывают влияния на медиану. Если, например, крайние оценки будут не 200 и 780, а 30 и 8000, медиана не изменится. Рассчитать ее просто: даже в Экселе есть готовая формула.

Расчет по медиане очень просто провести, и экспертные оценки часто обобщают именно таким способом. Однако, есть существенный недостаток: медиана позволяет ориентироваться на мнение большинства экспертов, но и большинство может ошибаться. А вдруг эксперт, выставивший отличную от других оценку, настоящий гуру в своей области? Поэтому в исследовательской практике применяются более сложные методы (самые распространенные - Дельфи-метод, метод анализа иерархий), которые позволяют учитывать не только сами оценки, но и уровень разных экспертов. Чем выше авторитет, тем больше его оценка влияет на итоговый результат. Вообще тема обобщения экспертных оценок очень обширна, ей посвящено множество научных работ. Если интересно – найдете в сети массу информации. Нет желания – считайте медиану, но только не среднюю величину…

Резюме

Нельзя переоценивать возможности экспертных опросов, выбирая их только потому, что «нас так учили». Как и любой метод исследований, они имеют свою, четко очерченную сферу применения. На одних рынках в качестве основного источника информации, на других – дополнительного. Иногда вообще нет смысла беспокоить экспертов, а лучше сконцентрироваться на альтернативных источниках информации. В этом и заключается искусство исследователя: подобрать эффективные инструменты для решения конкретной исследовательской задачи. Не следует также забывать о специфике метода. В первую очередь, это очень высокие требования к составу экспертов. Их часто недооценивают, рассматривая в качестве эксперта любого более-менее опытного специалиста. И конечно главное – подготовка. Эксперт должен видеть перед собой не девочку со списком вопросов, а умного и квалифицированного собеседника! Тогда удастся получить действительно полезную для бизнеса информацию.