10.11.2015 08:53
Витовт Аристов, v_aristov@grozdi.ru

Широкая сигма. Почему медали Кубка СВВР-2015 важнее рейтингов

Когда я летел в Анапу, чтобы попасть на Саммит виноделов России, я читал книгу о применении теории вероятностей, или, точнее, о философии вероятностного мышления. Книга называлась «Одураченные случайностью». Эту свою раннюю и не слишком известную работу Нассим Николя Талеб написал до «Черного лебедя», своего opus magnum. Тогда у него еще не было ни медийной известности, ни большого финансового успеха.

«Одураченные случайностью» — это трейдеры, склонные видеть сообщение там, где есть только шум. Это совершенно естественно и даже полезно: принять шелест листьев за тигра в кустах куда безопаснее, чем совершить обратную ошибку. Но иногда такие заблуждения бывают фатальны для компаний, экономик и отраслей. Увидеть тренд-мираж, рискнуть, поставив на него критическую часть активов и усилий, и проиграть.

Как и год назад, мне захотелось сравнить рейтинги жюри Кубка СВВР с некоторыми авторитетными для меня источниками. Логичным тогда показалось дополнить итоговую таблицу рейтингами WineSpectator и WineEnthusiast для иностранных вин. (Кстати, на лицо была явная положительную корреляция между оценками WE и ценой образца, после чего стал весьма скептически относиться к WE. Впрочем, не настолько, чтобы полностью отказываться от их рейтингов в собственной коммерческой практике).

В этом году я добавил к итогам две колонки — рейтинги американского журнала WineSpectator и рейтинги из гида «Российские вина 2015» Артура Саркисяна. Мне нравятся рейтинги Саркисяна по двум причинам: они довольно точно совпадают с моими собственными ощущениями, и они консервативно строги. Так, пожалуй, ставили на Западе пятнадцать лет назад: 80 баллов у Саркисяна — это действительно добротное, часто весьма элегантное вино на «каждый день», а не нечто едва-едва вытягивающее выше порога дефектности, как у WineEnthusiast.

И вот что получилось в этот раз. Если вы почувствовали неуют, от которого пытаешься отделаться навязчивыми движениями — поздравляю, вы в большинстве. 

Красные вина

Победитель — Раевское Ренессанс 2012

Название СВВР WS АС
1 Раевское Генезис 2014 89.4    
2 Винодельня Ведерников Каберне Совиньон 2012 89.2   90
3 Almaviva 2012 (Чили) 88.8 92  
4 Chateau Lafite-Rothschild 2011 (Франция) 88.17 94  
5 Усадьба Дивноморское Сира 2013 88    
6 Усадьба Дивноморское Марселан 2012 87.83   85
7 Sassicaia 2010 (Италия) 87.83 94  
8 Alma Valley Шираз Резерв 2013 87.8    
9 Ornellaia 2011 87.67 96  
10 Инкерман Каберне Специальный Резерв 2012 87.6    
11 Сикоры Каберне Совиньон Семейный Резерв 2014 87.4   87
12 Фанагория Саперави 100 оттенков красного (?) 87.4    
13 Гай-Кодзор Мурведр Сира де Гай-Кодзор 2013 87.4   82
14 Лефкадия Красностоп 2012 87.4    
15 Лефкадия Мерло 2013 87.2    
16 Вилла Виктория Каберне Фран Семигорье Резерв 2014 87.2    
17 Гай-Кодзор Терруар де Гай-Кодзор 2014 87    
18 Солнечная Долина Меганом 2013 87    
19 Chateau Talbot 2011 87 90  
20 Вилла Виктория Каберне Фран Семигорье Резерв 2011 86.83    
21 Сикоры Каберне Совиньон Премиум 2014 86.8   85
22 Сатера Пино Нуар Олег Репин 2013 86.8   85
23 Лефкадия Резерв 2012 86.8    
24 Винодельня Ведерников Красностоп Золотовский 2012 86.75   95
25 Вилла Виктория Каберне Фран Семигорье Резерв 2012 86.67    
26 Шато ле Гран Восток Каберне Саперави Отборное 2014 86.6    
27 Dominio di Pingus Le Flor di Pingus 2012 86.6 90  
28 Цимлянские вина Цимлянский Гран Резерв 2012 86.33   85
29 Винодельня Ведерников Фантом 50/50 2012 86.17    
30 Раевское Ренессанс 2011 86.17   88
31 Винодельня Ведерников Фантом 70/30 2012 86    
32 Винодельня Ведерников Фантом 30/70 2012 86    
33 Дом Захарьиных Крымская Ночь 2014 86    
34 Усадьба Перовских Каберне Совиньон Мерло Резерв 2014 86    
35 Шато Тамань Премьер Руж Резерв 2013 85.8    
36 Сатера Esse Сира 2014 85.8    
37 Вилла Звезда Саперави Атаман 2012 85.8    
38 Дом Захарьиных Кефесия 2014 85.75   83
39 Шато Тамань Селект 2014 85.6    
40 Шато Тамань Саперави Резерв 2013 85.4    
41 Винатерра Премиум Мерло 2014 85    
42 Шато Саркел Цимлянский Черный 2012 84.8   84
43 Сатера Esse Kacha Valley Пти Вердо 2013 84.6    
44 Винатерра Премиум Пино Нуар 2014 84.6    
45 Торо Локо Темпранильо 2014 83.8    
46 Звезда Тамани Саперави 2012 83.6    
47 Chateau Cotes de Saint-Daniel Трамонто 2012 83.4    
48 Дом Захарьиных Каберне Хороший год 2014 83.2    
49 Южная Винная Компания Юбилейное 2014 82.67    
50 Вилла Звезда Саперави Атаман 2014 82    
51 Вилла Звезда Купаж №1 Атаман 2014 81.8    
52 Крымский винный завод Крымское Эксклюзивное 2014 81.4    
53 Alma Valley Темпранильо Резерв 2013 81.2    
54 Южная Винная Компания Саперави 2014 79    
55 ОАО «Славпром» Каберне 2014 70    

Белые вина

Победитель — Шато Тамань Шардоне Резерв 2013

Название СВВР WS АС
1 Christian Moreau Pere et Fils Chablis Grand Cru Les Clos 2012 (Франция) 88.8 92  
2 Лефкадия Вионье 2012 88    
3 Egon Müller Scharzhofberger Riesling Kabinett 2012 (Германия) 87.6    
4 Bouchard Pere et Fils Meursault Premier Cru Genevrieres 2011 (Франция) 87.4 89  
5 Сикоры Рислинг Семейный Резерв 2014 87   82
6 Шато Тамань Премьер Блан 2012 86.2    
7 Alma Valley Шардоне Резерв 2014 86.2    
8 Alma Valley Пино Блан Резерв 2014 86.2    
9 Фанагория Шардоне 100 оттенков белого (?) 86   85
10 Гай-Кодзор Вионье де Гай-Кодзор 2014 85.8    
11 Сикоры Рислинг Премиум 2014 85.8   85
12 Olivier Leflaive Chassagne-Montrachet 2011 (Франция) 85.8    
13 Шато ле Гран Восток Земли Юга 2013 85.6   85
14 Вилла Виктория Шардоне Семигорье Резерв 2014 85    
15 Alma Valley Альминская Долина белое 84.8    
16 Солнечная Долина Кокур Солнечной Долины 2014 84.4    
17 Солнечная Долина Меганом Солнечной Долины 2014 84.4    
18 Лефкадия Резерв 2013 84.4   88
19 Вилла Виктория София Семигорье 2014 84.4    
20 Южная Винная Компания Золотой Лиман 2014 84.4    
21 Торо Локо Шардоне 2014 84.2    
22 Винодельня Ведерников Донская Чаша 2014 84    
23 Лефкадия Шардоне Лефкадии 2014 84    
24 Шато ле Гран Восток Королевский дуб 2010 83.6    
25 Цимлянские вина Цимлянский Гран Резерв 2013 83.6   85
26 Chateau Carbonnieux Blanc Pessac-Leognan 2012 83.4 90  
27 Шато Тамань Селект Белое 2014 83.2    
28 Усадьба Дивноморское Восточный Склон 2013 83   86
29 Усадьба Дивноморское Пино Блан 2013 82.4    
30 Alphonse Mellot Sancerre Blanc Generation XIX 2012 (Франция) 82.4    
31 Сатера Esse Kacha Valley 2013 81.8    
32 Шато ле Гран Восток Пино-Алиготе отборное 2014 81.8    
33 Вилла Виктория Совиньон Блан Семигорье Резерв 2014 81    
34 Славпром Шардоне 2014 81    
35 Дом Захарьиных Алиготе Хороший год 2014 79.8    
36 Дом Захарьиных Сары Пандас 2014 78.4   84
37 Инкерман Гурджи по-кахетински 2014 78.4    
38 ЮБК Виорика Мускатная 2014 77    

Внимательный читатель заметил, что победителей в таблицах нет. Вина-победители вынесены из итогов, и их рейтинг не опубликован. Это не ошибка, а следствие определенной внутренней логики.

Рейтинги вин в таблице — это среднее арифметическое оценок, выставленных каждым из шести судей на слепой дегустации без какого-либо обсуждения образцов. Для выставления оценок использовалась электронная система — организаторы раздали членам жюри планшеты. Можно было выставить как четыре отдельные оценки («глаз», «нос», «рот», «баланс»), которые суммировались, — так и сразу одну, интегральную. По слухам, большинство жюри оценивало вина интегральной оценкой, как делает сейчас большинство винных критиков. На пресс-конференции Тим Аткин назовет предложенную систему «модифицированной шкалой OIV».  

Совпадают ли выставленные вами оценки с рейтингами, которые бы вы поставили винам, пробуя их у себя дома, вне этого конкурса? По некоторой запутанности, но безусловной интеллектуальной честности комментариев складывалось впечатление, что члены жюри сами не имеют четкого ответа на этот вопрос. Это понятно и объяснимо — почти всегда эксперты рейтингуют вина одного и того же жанра. Сравнивать 89- и 90-балльное бордо существенно проще, чем 89-балльное бордо и 90-балльную тоскану. 

Затем проводился второй этап конкурса. По среднему арифметическому оценок было отобрано пять лучших вин, и жюри предложили их попробовать снова. В этот раз — без выставления оценок, а просто распределив по места от первого до пятого. Таким образом, даже по первоначальной задумке организаторов цифры в таблице не имели большого значения сами по себе.

Средняя оценка победителя была исключена из таблицы по очевидным соображениям такта. В этом читается явное сообщение организаторов — числовые рейтинги не были конечной целью всего конкурса.

На минуту представьте себе, что некое вино получило от одного из жюри одновременно 79 баллов, 83 балла, 89 баллов, 90 балл, 94 и 94 балла. Среднее арифметическое будет 88,17, медиана 89,5. Как это толковать? Здравый смысл нам подсказывает, что это вино на 91-94 балла. И, скорее всего, это яркий, необычный образец. Возможно, не достигшая пика заготовка, в которой не все увидели потенциал — а у нас тут, чай, не en primeur. Кто-то из жюри, похоже, вообще не понял этот образец. Несколько других стараются судить максимально консервативно, потому что ошибиться на слепой дегустации вин периферийной для отрасли страны всегда безопаснее в меньшую, а не в большую сторону. (Про это выразительно написал на своей странице в Facebook Денис Руденко). Особенно, если даже намек на лояльность к этой стране может привести к неприятным социальным последствиям дома.

Или таких разбросов у профессионалов вообще быть не может? Ха, вспомните, например, скандал с Chateau Pavie 2003. Дженсис Робинсон поставила этому престижному бордо из Сен-Эмильона 12/20 (если переводить по таблице “Декантера”, то 73/100), Роберт Паркер дал ему 98/100; Wine Spectator — 96/100. Среднее арифметическое — 89, зато медиана — 96.

Вино не может одновременно быть и 73, и 98-балльным. Это не кот Шредингера, который может быть одновременно жив и мертв. Дженсис Робинсон поставила низкую оценку, потому что это образец не совпал с ее ожиданиями. «Портвейново-сладкое; портвейн должен быть из Дору, но не из Сен-Эмильона», написала она в дегзаметке.

А на Кубке СВВР-2015 ожидания у судей могли быть самыми разными, но вряд ли кто мог уверенно узнать характерные ноты российских автохтонов, которые мы еще сами знаем не до конца. А теперь представьте, что на слепой дегустации вы впервые столкнулсь с гевюрцтраминером, ничего не зная про этот сорт. Личи и розы обрушиваются лавиной на ваши рецепторы, и вы, в первый раз столкнувшись с этим сортом, пытаетесь осознать, может ли такая тяжесть быть хоть как-то выносимой.


В жюри Кубка СВВР-2015 входили Тим Аткин MW, Роберт Джозеф, Даррел Джозеф, Сара Эббот MW, Хосе Пеньин и Анатолий Корнеев

Почти всегда на слепых дегустациях винный критик знает, вино какого региона и/или какого хотя бы приблизительно сортового состава он пробует. Здесь же у жюри не было возможности настроить себя на какой-то определенный стиль. И было много «неготовых» образцов, еще не успевших реализовать свой потенциал бутылочного развития. Тот же WE рекомендует пить Lafite 2011 не раньше 2019 года. Ошибиться было очень легко.

И вообще, винный эксперт может ошибаться, будь он хоть трижды «эм-даблью». Именно поэтому винные рейтинги всегда авторские — даже в журналах WS и WE всегда указаны инициалы конкретных людей, поставивших оценку. В конце гида «Российские вина 2015» Артур Саркисян открыто указывает свои личные контактные данные. Если вы чувствуете острый дискомфорт пониже спины, вы можете обсудить с автором свое несогласие по телефону или отправить по электронной почте картель.

В авторских рейтингах обычно есть и дегустационная заметка, часто позволяющая понять, что именно в вине понравилось или не понравилось. На это, кстати, на пресс-конференции обратил внимание Аткин. Вообще, panel tasting — хрупкая система, в которой ложка дегтя способна уничтожить ложку меда. Если мы ставим своей целью получение максимально релевантных рейтингов, ошибку важно отбросить, а не включить в итоговые результаты на правах полноправного мнения.

Есть простой и относительно эффективный способ уменьшить эту ошибку: OIV рекомендует отбрасывать самую низкую и самую высокую оценки — если только нет модератора, которому жюри объясняют логику своих оценок. В нашем вымышленном примере это не слишком изменит итог, но в других случаях может существенно повысить релевантность рейтингов. 

Гипотезу по поводу разброса оценок несложно проверить. Сгенерируем на компьютере шесть «дегустаторов», используя два параметра — «сигму» («ошибку», на самом деле стандартное отклонение) и «показатель консервативности» — то, на сколько баллов оценка дегустатора будет смещена вниз от эталона (адекватным мне кажется выбор 0 до 3). За «эталонные значения» возьмем рейтинги WS и Саркисяна (это допущение сугубо для эксперимента). Для каждого вина и каждого дегустатора сгенерируем оценку, используя распределение Гаусса с центром в «эталоне», смещенном вниз на «консервативность», и сгенерированным стандартным отклонением. Мне привычно использовать язык программирования PHP — в нем есть функция stats_rand_gen_normal(), позволяющая генерировать случайные числа по гауссиане с заданной «сигмой».

Такую численную симуляцию называют «методом Монте-Карло» — по месту расположения европейской столицы азартных игр, где случайность измерена и приручена.

Через несколько запусков (если у одного из членов жюри будет достаточно большая «сигма») мы получим картину, очень похожую на итоги Кубка СВВР-2015. Наибольшие расхождения останутся для так называемых “неготовых вин”, не вышедших на пик своего развития — тех самых Lafite 2011, Sassicaia 2010, Ornellaia 2011. Можно будет отбросить две крайние оценки и посмотреть, как итоги тут же станут точнее.

При проведении Кубка СВВР-2015 не отбрасывались максимальные и минимальные оценки. (Это факт уточнялся). Не было и модератора, который обсуждал оценки с членами жюри. Дегустация вообще проходила без обсуждения оценок. 

Такой протокол был выбран вполне осознанно. Организаторы, как мне кажется, и не искали консолидированного рейтинга российских вин. Напротив, их интересовало именно множество точек зрения, даже если они окажутся противоречивыми. Чем больше мнений от людей, с российским вином прежде не знакомых — тем шире понимание того, как эти вина будут восприниматься рынком. И была, полагаю, еще одна причина выбора такой процедуры — немного авантюрное любопытство экспериментатора. 

Однако, организаторы вряд ли думали, что у кого-то из жюри «сигма» окажется настолько широкой. Такой, что не пощадит даже великий Lafite. 

Совершенно неправильно, с моей точки зрения, пытаться увидеть в итоговой таблице какой-то консолидированный мессадж от западных экспертов. Не дайте случайности себя одурачить.

Какие вина оказались в итоге вверху списка? Вина, которые нравятся всем, и гарантированно понравятся покупателю без особых усилий. Понятные, сбалансированные, отвечающие представлениям образованного большинства и готовые к употреблению уже сейчас. «Раевское Ренессанс 2012» — именно такое вино. Это и отражают полученные медали.

Мы должны воспринимать как значимую информацию именно медали, а не средние оценки. Рейтинги кубка СВВР-2015 — не более чем справочная информация, приложение к итогам. Для определения медалей процедура была, вероятно, идеальной. Выбрав такой протокол оценки, организаторы поступили и смело, а исключив из итоговых таблиц победителей — еще и мудро. Но цифры в итоговой таблице — это не вполне то, что мы называем винными рейтингами.

Витовт Аристов

P.S. Итоги конкурса СВВР-2015 для крепленых (только зерновой ректификат), игристых классических, игристых акратофорных вин и бренди.

Крепленые вина

Победитель — Дербентский коньячный комбинат Самур 2000

Название СВВР
1 Мильстрим Кагор Лазурная Долина 89
2 Шато Тамань Мускат Десертный Гранд Десерт Резерв 2011 88.5
3 Шато Тамань Нектар Десертный Гранд Десерт Резерв 2011 88.33
4 Солнечная Долина 2000 88.17
5 Дербентский коньячный комбинат Дербентское золотистое 1995 87.67
6 Солнечная Долина Черный доктор 2006 87.5
7 Дербентский коньячный комбинат Дербент 86.83
8 Солнечная Долина Портвейн белый крымский 2010 86.67
9 Массандра Херес сухой Ореанда 2011 86.67
10 Массандра Мускат розовый Южнобережный 2011 86.5
11 Шато Тамань Мадера Кубанская 2007 86.33
12 Массандра Портвейн белый Поручик Голицын 2008 86.17
13 Цимлянские вина Цимлянское Десертное 85.5
14 Chateau Cotes de Saint-Daniel Форте 85.33
15 Chateau Cotes de Saint-Daniel Джаннет 84.67

Игристые классические

(оценки WS выбраны самые последние)

Победитель — Абрау-Дюрсо Империал Ар-Нуво 2010

Название СВВР WS
1 Lanson Black Label Brut (Франция) 88.67 89
2 Louis Roederer Brut Premier (Франция) 87.67 91
3 Абрау-Дюрсо Империал Кюве брют розовое 2009 87  
4 Абрау-Дюрсо Виктор Дравиньи Экстра Брют Премиум 86.83  
5 Фанагория брют розовое 2013 86.83  
6 Laurent-Perrier Ultra Brut 86.83 90
7 МКШВ Московское коллекционное брют 86.5  
8 Шато Тамань Резерв Экстра брют 2014 86.17  
9 Шато Тамань Резерв Экстра брют 2011 86.17  
10 Muga Conde de Haro brut vintage 2012 (Испания) 86  
11 Цимлянское Игристое Приготовленное старым казачьим способом 85.83  
12 Империал Кюве Винтаж 85.67  
13 Новый Свет Коллекционное сухое 2010 84.67  
14 Абрау-Дюрсо Виктор Дравиньи брют д’Ор 84.5  
15 Шато Тамань игристое розовое экстра брют 2014 84.17  
16 Усадьба Перовских брют розовое 84.17  
17 Абрау-Дюрсо Виктор Дравиньи брют розовое 83.67  
18 Новый Свет брют белое 2012 83.67  
19 Абрау-Дюрсо Виктор Дравиньи Премиум брют 83.5  
20 Цимлянские вина Букет Победы экстра брют розовое 82.83  
21 Мильстрим Южнороссийское коллекционное кюве 2003 80.5  

Игристые акратофорные 

Победитель — Абрау-Дюрсо брют

Название СВВР
1 Золотая Балка Сенто Фриззанте полусухое розовое 85.17
2 Montelvini Cuvee dell’Erede Prosecco (Италия) 84.6
3 Золотая Балка Мускатное игристое полусладкое розовое 84.33
4 Мильстрим Южнороссийское Молодое сухое 84.17
5 Nino Franco Brut Valdobbiadene (Италия) 84.17
6 ЗАО «Игристые вина» Наследие Мастера Лев Голицын экстра брют 83.83
7 Абрау-Дюрсо Абрау Лайт полусладкое 83.67
8 Duc de Bar Cuvee Blanc de Blancs 83.5
9 Rive de Manzana Springo Conegliano Prosecco Superiore 83.33
10 Золотая Балка Шардоне брют 83.17
11 Абрау-Дюрсо полусухое розовое 83.17
12 Шато Тамань Розовое Тамани полусухое 83.17
13 МКШВ Московское Элитное брют 83.17
14 Цимлянские вина Цимлянское брют 83.17
15 Абрау-Дюрсо полусладкое 83
16 ЗАО «Игристые вина» Наследие Мастера Лев Голицын брют 82.83
17 Абрау-Дюрсо Абрау Лайт полусладкое розовое 82.67
18 Русский Азов Vogue брют розовое 82.33
19 ЗАО «Игристые вина» Наследие Мастера Колье Екатерины полусладкое розовое 81.17
20 Цимлянские вина Цимлянское брют 81
21 Кубань-Вино Белое Тамани полусухое 80.5
22 Крымский винный завод Крымское полусладкое 80.5
23 Русский Азов Vogue полусладкое красное 80.33
24 Севастопольский винодельческий завод Крымское Севастопольское игристое полусладкое красное 80.33
25 Ростовский комбинат шампанских вин Ростовское Золотое полусладкое 80.17
26 Ростовский комбинат шампанских вин Ростовское брют 79.67
27 Инкерман брют 79.67
28 Шато Тамань брют 2011 78.83
29 Цимлянские вина Цимлянское игристое сладкое красное 78.5
30 Севастопольский винодельческий завод Крымское полусладкое красное 70.83

Коньяки (бренди)

Победитель — Кизлярский коньячный завод Лезгинка Возраст более 7 лет

Название СВВР
1 Прасковейский Экстра 35 лет 91.5
2 Екатеринодар 25 лет 90.83
3 Багратион 20 лет 83.33
4 Прасковейский 20 лет 88.17
5 Большой Приз 20 лет 88
6 Otard VSOP (Франция) 88
7 Старейшина 12 лет 87.67
8 Старейшина 25 лет 87.67
9 Нарын-Кала 10-12 лет 87.5
10 Старейшина 7 лет 87.33
11 Каспий 8-9 лет 87.17
12 Bisquit VSOP 86.5
13 Дербент 6-7 лет 85.67
14 Прасковейский 7 лет 85.5
15 Кизляр 10-12 лет 85.5
Обсудить: | Поделиться:  

Читайте также на «Грозди.ру»

Обсуждение

 


Употребление алкоголя противопоказано лицам, не достигшим 18 лет, и беременным женщинам. Чрезмерное употребление алкоголя вредит вашему здоровью.
© «Грозди.Ру. Все о вине» 2009—2016
Powered by State-of-Mart Solution, 1997—2016
Rambler's Top100