Самый лучший IQ-тест

Опубликовано в журнале "Компьютерра" №21 от 03 июня 2008 года

Прочитав месяц назад эту (и следующую) статью в Компьютерре, решил немедленно скрасть её к себе, поскольку обожаю критику всяких устоев типа тестов IQ, например. Однако, стрырить со странички автора, пусть и полный вариант, получилось хреново - текст был в PD, а не HTML. Сейчас же с удовольствием выполняю намеченное.

Весь мир куда-то глобализуется, и мы должны глобализоваться туда же, и отклонение хотя бы в деталях (и даже скорее в деталях и форме, чем в содержании) воспринимается как опасное вольнодумство; напротив, точное соблюдение подробностей крайне приветствуется нашими партнерами из Первого Мира и даже служит порой индульгенцией для несоответствия по существу.

Поэтому признание и авторитет в Первом Мире - аргумент, действующий почти безотказно. На рассудочные доводы вам возразят: "А вот в развитых странах…", и продолжать спор будет столь же неприлично, как оспаривать Священное Писание. Об одном из таких авторитетов я и собираюсь поговорить в связи с наукой тестологией, играющей все большую роль в нашей жизни.

Итак, "в развитых странах" при найме на работу (и для других назначений) довольно часто используется система тестов, на основании которых испытуемым присваивается числовой показатель, именуемый IQ (что его изобретатели расшифровывают как Intelligence Quotient - коэффициент интеллекта).

При стандартных испытаниях на IQ предлагается за определенный срок (обычно 30 или 90 минут) ответить на сорок вопросов.

Примеры таких комплектов задач даны в книжке [1], написанной Г. Айзенком (Hans Eysenck) - как сказано в аннотациях, "классиком современной психологии" и "самым знаменитым исследователем IQ". Правда, сам он во введении к книге демонстрирует примерную скромность, обвиняя журналистскую братию в абсолютном невежестве (utter ignorance), состоящем в том, что они-де несправедливо провозглашают его изобретателем IQ и человеком, доказавшим наследственный характер IQ; однако же не вызывает сомнений, что именно ему эти тесты обязаны своей популярностью, устоявшейся структурой и набором типов задач.

Вероятно, в связи с тем, что в понятие интеллекта традиционно включается способность к логичному мышлению и наличие пространственного воображения, в каждом из восьми тестов, приведенных в [1], содержится по две "логические" и по две "геометрические" задачи. Их я и хочу прокомментировать.

Логика

Во всех шестнадцати логических задачах в качестве условия дается несколько утверждений о наличии общих элементов у некоторых довольно экзотически определяемых множеств или о том, что одно из этих множеств является частью другого. Затем заявляется, что еще одно утверждение такого типа является следствием приведенных условий; испытуемый должен ответить на вопрос, верно ли последнее высказывание.

Вариант 1, задача 11

Некоторые тракторы - кувшины; а у большинства кувшинов оранжевые носы; все те, у кого носы оранжевые, крякают; таким образом, некоторые из тех, кто крякает, - тракторы.[В оригинале: Some tractors are jugs; and most jugs have orange noses. All with orange noses quack; therefore some that quack are tractors. Мы всюду цитируем русский перевод, указанный в списке литературы.]

Не следует пугаться этих странных заявлений: по сути, это стандартная задача на алгебру и логику теории множеств. Просто вместо нудных букв A, B, C и т. д. для обозначения каких-то абстрактных множеств используются другие имена - тракторы, кувшины, "те, кто крякает" и т. п. Высказывание "некоторые тракторы - кувшины" означает, что соответствующие множества пересекаются (то есть существуют объекты, входящие и в то множество, и в другое);высказывание "все корабли - пингвины" означает, что первое множество - часть второго. Высказывание "все телефоны боятся книжных шкафов", вероятно, следует понимать как отсутствие у двух множеств общих элементов (хотя "классику современной психологии" следовало бы знать, что боязнь себе подобных - явление всего лишь ненормальное, но не невозможное). Поэтому эти формулировки вовсе не страшны. Страшно другое.

Авторский ответ на данную задачу: последнее высказывание истинно.

Этот ответ неверен: на диаграмме показана ситуация, в которой все условия выполнены, а заключение - нет. (Далее на всех диаграммах множества схематически изображены именованными прямоугольниками; имя каждого прямоугольника полностью в нем помещается.)

Вариант 1, задача 25

Все корабли - пингвины, а у всех пингвинов на ногах растут газонокосилки; кроме того, некоторые пингвины едят холодильники; и все фены едят холодильники. Но никто из тех, у кого на ногах растут газонокосилки, не является феном; так что ни один корабль не ест холодильники.[All ships are penguins, and all penguins have lawnmowers growing on their feet; also, some penguins eat fridges; and all hairdriers eat fridges. But none with lawnmowers growing on their feet are hairdriers; therefore no ships eat fridges.]

Авторский ответ и объяснение: ложно. Некоторые корабли едят холодильники.

Хотя ответ верен, обоснование ошибочно. На самом деле заведомо ложным при данных условиях является не высказывание "ни один корабль не ест холодильники" (на основании условий достоверное утверждение о его истинности или ложности сделать невозможно), а утверждение (выраженное словами "так что") о том, что это высказывание следует из условий. На диаграмме показана схема пересечений множеств, противоречащая авторскому утверждению: она удовлетворяет всем данным задачи, но в ней ни один корабль не ест холодильники.

Вариант 2, задача 14

Некоторые гоблины - снежинки; некоторые снежинки хорошо играют в баскетбол; у всех, кто хорошо играет в баскетбол, по три головы; следовательно, все те, у кого по три головы, - гоблины.[Some goblins are snowflakes; and several snowflakes are good at basketball; all that are good at basketball have three heads; therefore all that have three heads are goblins.]

Авторский ответ: истинно.

Этот ответ неверен. Более того, возможен вариант, когда никто из тех, у кого по три головы, не является гоблином (см. диаграмму).

Вариант 3, задача 11

Решена автором правильно. Поэтому я не осмеливаюсь нарушить авторское право и опубликовать условие этой задачи. С другой стороны, я надеюсь, что несанкционированная публикация неправильных задач наносит не столь большой ущерб интеллектуальной собственности, чтобы прийти в противоречие с законом. (То же относится к остальным четырем верным задачам: №№ 3 и 26 из варианта 4 и №№ 11 и 23 из варианта 8.)

Вариант 5, задача 13

Все ящики - гитары; все гитары - хорошие борцы. У некоторых хороших борцов перепончатые лапы; следовательно, у некоторых ящиков перепончатые лапы.[All boxes are guitars; and all guitars are good wrestlers. Some good wrestlers have webbed feet; so some boxes have webbed feet.]

Авторский ответ: верно.

Этот вывод неверен, как показывает диаграмма.

Вариант 5, задача 29

Все носки - лягушки, и у всех лягушек по четыре клюва; все огни умеют готовить пищу, а у всех, кто умеет готовить пищу, по четыре клюва; некоторые лягушки умеют пищать. Все носки - огни, следовательно, некоторые огни пищат.[All socks are frogs and all frogs have four beaks; also some lights can cook and all that can cook have four beaks, and some frogs squeak. All socks are lights, therefore some lights squeak.]

Авторский ответ: верно.

Этот вывод ошибочен, как показывает диаграмма.

Вариант 6, задача 22

Все перья - шоферы и всегда выкидывают бананы из окна. Лягушки иногда могут бросить дротик на три мили, как и некоторые лимоны. Лимоны - ходули и всегда выкидывают бананы из окна. Следовательно, и перья, и ходули всегда выкидывают бананы из окна.[All feathers are car drivers and always throw bananas out of windows. Frogs can sometimes throw a javelin three miles, as can some lemons. Lemons are pogo sticks and always throw bananas out of windows. Therefore feathers and pogo sticks both always throw bananas out of windows.]

Авторский ответ: истинно.

Этот ответ неверен. Невозможно сделать вывод, что все ходули удовлетворяют какому-то условию, не имея ни одного условия, также относящегося ко всем ходулям (а не к их части, состоящей из лимонов). Точнее, такое утверждение можно сделать только в том случае, когда совокупность вводной информации внутренне противоречива; как показывает диаграмма, в данном случае это не так.

Вариант 7, задача 12

Все кукурузные хлопья - лошади. Все кукурузные хлопья носят красные пуговицы и иногда играют в бинго. Пшеничные лепешки иногда играют в бинго. Алмазы - пшеничные лепешки, следовательно, алмазы и лошади иногда играют в бинго.[All cornflakes are horses. All cornflakes have red buttons and sometimes play bingo. Scones sometimes play bingo. Diamonds are scones, therefore horses and diamonds sometimes play bingo.]

Авторский ответ: верно.

Условие задачи можно понимать тремя разными способами (что само по себе является существенным недостатком), так как высказывание "алмазы и лошади иногда играют в бинго" допускает три различных интерпретации. Во всех трех случаях авторский ответ ошибочен.

Первое понимание: каждый алмаз и каждая лошадь иногда играет в бинго. В этом случае авторский ответ ошибочен по той же причине, что и в предыдущей задаче: невозможно сделать достоверное утверждение обо всех лошадях, имея информацию только о тех из них, которые одновременно являются кукурузными хлопьями (см. диаграмму).

Второе понимание: бывают моменты времени, когда какие-то алмазы и какие-то лошади играют в бинго. В этом случае ответ очевидно неверен, потому что нигде в условии ничего не сказано о том, кто с кем играет одновременно.

Наконец, третье понимание: бывают моменты, когда какие-то алмазы играют в бинго, и бывают (быть может, другие) моменты, когда какие-то лошади играют в бинго. Но тогда в таком же смысле надо понимать условие "пшеничные лепешки иногда играют в бинго": бывают моменты, когда какие-то лепешки играют в бинго. При этом не исключено, что это случается только с теми лепешками, которые не являются алмазами, следовательно, авторский ответ снова неверен.

Вариант 7, задача 40

Некоторые открытки - белые медведи, а некоторые моечные машины часто чихают; кроме того, дикобразы говорят по-китайски, а все те, кто говорит по-китайски, часто чихают. Но ни один белый медведь часто не чихает. Некоторые моечные машины говорят покитайски, а все открытки - моечные машины. Следовательно, некоторые открытки говорят по-китайски.[Some postcards are polar bears, and some washing machines sneeze a lot; also hedgehogs speak Chinese, and all that speak Chinese sneeze a lot. But no polar bears sneeze a lot. Some washing machines speak Chinese and all postcards are washing machines. Therefore some postcards speak Chinese.]

Авторский ответ: истинно.

Это заключение ошибочно в силу следующего примера. Допустим, что а) множества открыток и белых медведей совпадают между собой, б) множества дикобразов, чихателей и знатоков китайского языка тоже совпадают между собой, в) множество моечных машин является объединением множеств а) и б), причем два последних множества не имеют общих элементов. Тогда все условия задачи выполнены, а заключение - нет.

Столь же неверно решены задачи 2:39, 3:26 и 6:11. Итого, автор правильно решил не более пяти из шестнадцати своих собственных логических задач и еще в трех дал правильный ответ на основании неправильного рассуждения.

Согласно таблице, приведенной в [1] на стр. 207, такой процент правильных решений (5/16 = 12,5/40) дает значение IQ, равное примерно 106. Согласно разъяснению на стр. 14 в [2], это несколько ближе к уровню квалифицированных работников (109 баллов), чем слабо квалифицированных (98 баллов); впрочем, поскольку выше "квалифицированных работников" там указаны еще три ступени развития, в том числе "высококвалифицированные, канцелярские работники" (117 баллов), к должности клерка человека с таким показателем подпускать все же нельзя. С другой стороны, среди сорока задач (из которых надо набрать двенадцать с половиной) немногие требуют выбора ответа - да и те, как правило, не из двух, а из шести вариантов. В то же время в логических задачах достаточно лишь угадать один ответ из двух. Для того чтобы в среднем дать восемь правильных ответов на шестнадцать вопросов типа да/нет, можно вообще ни о чем не думать, а произвольно расставлять ответы.

Однако человек, поступивший так со всеми сорока задачами в каждом из данных тестов, в среднем наберет лишь три и одну треть балла. В силу упомянутых таблиц, этот результат соответствует и вовсе "неквалифицированным работникам" с IQ примерно 90,6. Впрочем, это все же гораздо лучше уровня "бродяг, поденных рабочих" и "пациентов психиатрических клиник", для которых характерны значения IQ, равные 82 и 57, заработать которые, согласно недвусмысленно сформулированным в этих книгах правилам интерпретации и экстраполяции данных таблиц, можно лишь дав неправильные ответы соответственно на 42 и 57 из сорока вопросов теста.

Спору нет: прочие, более стандартные для этого жанра задачи решены авторами в основном лучше. (См., однако, следующий раздел.) Тем не менее смешно оценивать человека с помощью задач, с которыми он непрерывно работает уже десятки лет. Количество ошибок, которые он сделает, попробовав выйти за пределы обычного круга, несравненно более показательно. Беда в том, что в данном случае речь идет не об оценке авторов теста - наоборот, оценивают они, и засчитывается в этой их оценке не правильное решение, а совпадающее с авторским. В частности, человеку, правильно решившему все эти задачи, было бы зачтено только восемь ответов из шестнадцати (из них три - благодаря случайному совпадению), что соответствует 118 баллам (начисляемым за двадцать правильных ответов из сорока), то есть почти точно уровню канцелярского работника.

Наверное, в этом и состоит сермяжная правда кадровой политики эпохи постмодерна: ведь проклятых зануд, умеющих отличать верное рассуждение от неверного, и близко нельзя подпускать к группе "административных и руководящих работников", для которой характерен показатель около 153 баллов IQ. Столько баллов можно заработать, лишь ответив на все задачи точно так же, как авторы этого теста (по-видимому, относящие себя к той же группе).

"Геометрия"

Еще один важнейший компонент интеллекта - пространственное, геометрическое воображение. Вероятно, поэтому в каждый из тестов этой книги включено по две задачи на вращение игрального кубика. Вот первая из таких задач, приведенная в качестве образца еще в подготовительном разделе.

Задача 16

На каждой грани куба - своя уникальная фигура (см. рис.). Мысленно вращая два куба, определите, одинаковые они или разные?

Прежде всего, этот вопрос некорректен по самой своей постановке, поскольку, глядя только на три грани, никогда нельзя с уверенностью утверждать, что кубики одинаковые: может быть, невидимые грани все портят. Поэтому единственно корректный вопрос состоит в том, может ли быть, что эти кубики одинаковые, а корректный ответ на приведенный выше вопрос - либо "нет", либо "данных недостаточно".

Однако в данном случае все еще хуже. Авторский ответ: одинаковые. Этот ответ очевидно неверен. Действительно, острие "сердечка"в одном случае направлено к середине одного из ребер, ограничивающих соответствующую грань куба, а в другом - в угол этой грани.

Вариант 2, задача 27 (вопрос тот же самый, см. рис.)

Авторский ответ: одинаковые.

Этот ответ очевидно ошибочен. Действительно, в обоих случаях только два ребра, ограничивающих грань со звездочкой, параллельны тем или иным отрезкам этой звездочки. Эти два ребра неравноправны: лишь из одного из них видны точки этих отрезков звездочки. Поэтому не существует никакого нетривиального вращения левого кубика, превращающего его в правый и переводящего звездочку точно в себя.

Вариант 6, задача 24

Авторский ответ: одинаковые.

Этот ответ очевидно неверен. Действительно, единственное движение, совмещающее левый кубик с правым, которое могло бы перевести грань с ромбом в грань с ромбом, а грань с двойной окружностью в грань с двойной окружностью, должно было бы перевести диагональ верхней грани, содержащую длинную диагональ ромба, в диагональ, содержащую короткую.

Неверно решены также задачи 3:37, 4:19, 4:36, 7:36. Еще в четырех задачах этого типа (1:17, 2:10, 6:34, 8:15) дан ответ "одинаковые", для которого (как уже было отмечено в начале этого раздела) нет достаточных оснований - ведь самое большее, что можно утверждать в данной ситуации, - это что кубики могут оказаться одинаковыми. Согласно естественной этике, давать ответ на любую задачу следует с той же ответственностью, как выступая экспертом в суде; автор же принуждает испытуемого делать необоснованные утверждения лишь на том основании, что, как легко угадать, именно этого от него в данном случае ждут и именно за это повысят желанный балл. Хорошо ли это?

Итак, из семнадцати задач этого типа в книге на семь даны ответы, противоположные верным, и еще на четыре - ответы, не имеющие должного обоснования, то есть опять-таки неверные. Этот результат почти столь же ужасен, как в случае логических задач.

Однако ошибки в геометрических задачах хотя бы носят системный характер, и после небольшой тренировки можно угадать, какой глупости от вас ожидает автор (по-видимому, автор теста ожидает, что грани, на которых нарисована одна и та же фигура, испытуемый будет считать одинаковыми независимо от положения этой фигуры.

Математику такое допущение, естественно, кажется диким. - Ред.).

В случае логических задач угадать это же при помощи обычного здравого смысла невозможно: вероятно, именно при таком угадывании должны проявляться особые качества психологической проницательности, отличающие "административных и руководящих работников".

C точки зрения профана

Конечно, этим ошибки (и даже системные ошибки) данных тестов далеко не исчерпываются. Особенно неприятны задачи на продолжение ряда (как правило, очень короткого) чисел или букв, а также на выделение одного слова, по какому-то признаку выпадающего из перечисленного ряда. Существует несметное множество возможных решений каждой такой задачи. Чем вы умнее, тем вероятнее, что ваше решение не совпадет с авторским. Вот типичный пример (задача 8:4 из [2]).

Подчеркните лишнее слово: Испания, Дания, Германия, Франция, Италия, Финляндия.

Авторский ответ: Дания (это единственное королевство среди перечисленных стран).

Оправившись от небольшого шока, я выяснил, что этот ответ объясняется не только хорошо известной уязвимостью возвышенных умов со стороны испанской короны, но и тем, что первое оригинальное издание этой книги вышло в 1962 году. Но в том году Испания была среди этих стран единственной военной диктатурой, Германия - единственной расколотой страной (а если иметь в виду лишь Западную Германию, то единственным федеративным государством); Финляндия - страна, географически отрезанная от всей остальной группы… Очевидно, что во всех подобных задачах (которыми кишит и книга [1]) фактически тестируется стандартизованность мышления: испытуемый должен демонстрировать быструю и предсказуемую реакцию на несложные раздражители.

И ЭТО называется интеллектом?!

Однако же наука тестология высоко оценила эти тесты. В последних строках книги [1] читаем: "Тесты были оценены по системе Д. Н. Джексона с использованием как вербальной, так и исполнительской шкал. Уровень достоверности тестов находится между 0,8 и 0,9". Оставляю читателю самому составить мнение о системе Д. Н. Джексона, осмысленности показателя "достоверность" и обеих этих шкалах.

В существовании этих книг таится загадка. О чем думали автор, соавтор, редактор, рецензент, - наконец, переводчик, редактор перевода? Неужели с 1995 года среди читателей этих книг (в частности, среди коллег и последователей автора) не нашлось людей, способных заметить вопиющие ошибки, разобранные выше? А если заметили, то почему молчат? Я не смог придумать ответов, почтительных по отношению к соответствующему профессиональному сообществу, включая и ученых тестологов, серьезно относящихся к статистическим характеристикам, согласно которым эти тесты на что-то годятся.

Может быть, предполагается, что для "административного и руководящего работника" адекватное представление об умственном уровне собеседника гораздо важнее умения правильно решать задачу (особенно если этот собеседник занимается официальной оценкой твоего умственного уровня), а умение угадывать ответ, которого от тебя ждут, гораздо предпочтительнее обыкновения давать тот ответ, который ты сам считаешь правильным? Но при таком подходе рекордные результаты тестирования должны принадлежать не этим работникам, а всевозможным прохиндеям: гадалкам, ясновидящим, "воровкам на доверие", для которых преодоление информационно-психологической защиты клиента - основной и практически единственный профессиональный навык. Быть может, я отстал от жизни, но мне казалось, что для нормального "административного или руководящего работника" это умение хоть и важно, но все же не должно полностью подавлять (как того требуют данные тесты) умение правильно решать конкретные задачи.

Во введении к [1] автор пишет: "Если вы попытаетесь повнимательнее разобраться в этом вопросе, то обнаружите удивительную вещь. Люди (…) порицающие IQ, - все без исключения люди малообразованные (в оригинале laypeople, то есть профаны. - В.В.), несведущие в таких имеющих отношение к IQ областях современной психологии, как развитие ребенка, психология обучения, наследственное поведение и психометрия (…) Более того, эти люди не имеют опыта ни в разработке и применении тестов на IQ, ни в экспериментах с ними. В книге [имярек] приведены результаты опроса более 600 специалистов во всех перечисленных областях психологии; авторы констатируют значительную степень совпадения мнений (…) Итак, между экспертами нет разногласий по поводу того, что измеряют тесты на IQ (…) просто несерьезно принимать во внимание критические замечания людей, некомпетентных в этом вопросе и просто открыто обнаруживающих свои предрассудки".

Вот и я хочу обнародовать свои предрассудки, состоящие в том, что человека, умеющего решать задачи правильно, на этом основании не следует считать менее умным, чем человека (или даже шестьсот человек), решающего эти же задачи неправильно; что человек, умеющий различать некорректно поставленные вопросы, как правило, умнее, чем человек, этого не умеющий; что тестологический показатель, высоко оценивший описанные выше тесты, никуда не годится; что учитель, знающий свой предмет, не хуже учителя, предмета не знающего; что объективные законы логики перевешивают мнение даже и шестисот тысяч экспертов; наконец, что независимо от того, как оценят мою компетентность хоть все модельеры Его Величества, я ясно и недвусмысленно вижу Его ослепительную наготу…

"Эксперты" в области астрологии также демонстрируют единодушие по поводу осмысленности своей деятельности, а люди, достаточно грамотные для того, чтобы идентифицировать ее как шарлатанство, по этой же причине не имеют опыта в разработке гороскопов. И что это доказывает? К слову, астрология - первая профессия Г. Айзенка.

Мораль

Надеюсь, никто не подумал, что я в принципе против тестирования интеллекта. Вовсе нет: очень вероятно, что даже это можно сделать по-умному. Я всего лишь против использования услуг таких "экспертов", как творцы этой книги, а также и всех "экспертов", демонстрирующих серьезные мины при виде их деятельности.

Мой окончательный вывод довольно радикален. Если вы действительно хотите развить свой (или своих детей)… нет, не интеллект (ведь интеллект - это по определению то, что измеряется с помощью IQ), а всего лишь способность правильно решать задачи и отличать верное рассуждение от неверного, то учите математику и физику, внутренняя логика и проверяемость которых сами покажут вам верный путь и не дадут сильно заблудиться. Это занятие отучает от нелогичных рассуждений с такой же надежностью (хотя иногда и с такой же жесткостью), с какой плотницкое ремесло приучает бить молотком по гвоздю, а не по пальцу. Но я не берусь строго обосновать этот совет - это всего лишь экспериментальный факт, а не теорема.

Исполнение Обещаний

И вот, наконец, самый лучший IQ-тест, обещанный в заглавии.

1. Согласны ли вы, чтобы ваш интеллект оценивали наследники и ученики Г. Айзенка со своими шестьюстами экспертами, а также с вербальной и исполнительской системой Д. Н. Джексона?

2. Согласны ли вы, чтобы цели и/или критерии качества образования и умственного развития ваших детей оценивали господа из той же тестологической службы в соответствии со своими об этом представлениями?

Согласны? Ну, что вам сказать…

Литература

[1] Hans Eysenck (with contribution by Darrin Evans). Test Your IQ. Penguin books, 1995. Перевод: Ганс Айзенк. Супертесты IQ. М., ЭКСМО, 2006.

[2] H. J. Eysenck, Know Your Own IQ. 1962. Перевод: Ганс Айзенк. Классические IQ тесты. М., ЭКСМО, 2006.