Методика диагностики личностных черт «Темной триады»: апробация опросника Темная Дюжина

Корнилова Т.В., Корнилов С.А., Чумакова М.А., Талмач М.С. [1]

Целью работы выступила апробация русскоязычной версии опросника Темная дюжина, направленного на измерение субклинических личностных свойств, входящих в так называемую Темную триаду – Макиавеллизма, Психопатии, Нарциссизма. В исследовании приняли участие 362 человека в возрасте от 17 до 62 лет (M = 24.68, SD = 7.16; 123 муж. и 239 жен.), использованы диагностические методики Темная дюжина (Dirty Dozen), Нарциссические черты личности, Мак-шкала, Опросник психопатии Левенсона, Шкала психологической разумности, Новый опросник толерантности к неопределенности Т.В. Корниловой, MSTAT-II МакЛайна, опросник ЭмИн Д.В. Люсина, опросник Рефлексивность А.В. Карпова и методика “Креативные заголовки” Р. Стернберга. Методом конфирматорного факторного анализа подтверждена трехфакторная структура опросника Темная дюжина, шкалы которого также продемонстрировали удовлетворительную надежность и конвергентную валидность (по отношению к трем другим опросникам, измеряющим сходные черты). Установлено, что мужчины показывают более высокие уровни психопатии и макиавеллизма, чем женщины; но не нарциссизма. Психопатия отрицательно связана с эмоциональным интеллектом и шкалами психологической разумности, но положительно – с креативностью и толерантностью к неопределенности. Полученные результаты свидетельствуют в пользу рассмотрения опросника Темная дюжина как первого валидного русскоязычного диагностического инструмента, направленного на одновременное измерениe уровней развития личностных свойств Темной триады.

В последнее десятилетие в зарубежной литературе получил большую популярность[2] термин “Темная триада” (Dark Triad), обозначающий совокупность негативно оцениваемых социумом субклинических черт личности – макиавеллизма[3], психопатии и нарциссизма. Паулюс и Вильямс, посвятив тематике негативных личностных черт многолетние исследования, обнаружили, что эти черты, имея в своей основе различные этиологические предпосылки[4], покрывают большую часть нежелательных социальных проявлений, условно относящихся к “норме”, точнее к ее крайним субклиническим вариантам [57]. Возникновение понятия “субклинический” смягчает проблему “нормы” и “не нормы” применительно к проявлению ряда личностных черт и позволяет (с условной погрешностью) разграничить сферы исследования, значительно расширив представления о норме. Темная триада личности является примером изучения “расширенной” нормы, включающей “экстремальные” случаи.

В связи с тем, что проявления трех составляющих Темной триады в норме во многом сходны (отмечается объективно существующее эмпирическое перекрытие), со временем возникла проблема “конструктной ползучести” (“construct creep”) этих свойств. Ряд исследователей утверждают, что подобные черты неотличимы на выборках из групп нормы [31]; предлагается даже не рассматривать составляющие Темной триады как отдельные характеристики и ввести единый глобальный индекс “темной личности” [37].

Для измерения каждой из этих черт личности в отдельности существует множество диагностических инструментов. Большая часть из них, однако, довольно громоздка и не позволяет выделить все три черты одновременно. Со временем были разработаны два небольших опросника для измерения всех трех черт Темной триады, доказавших свою надежность и валидность во множестве исследований и позволяющих быстро получить необходимые индексы.

Одним из них является опросник под названием “Грязная дюжина” (Dirty Dozen) [40], включивший 12 вопросов вместо исходных 124 (количество вопросов, которое получается при суммировании вопросов по часто используемым опросникам, выявляющих макиавеллизм, психопатию и нарциссизм), сохраняя при этом психометрическую структуру Темной триады. Англоязычная версия этого опросника валидна, она рассматривается как психометрически качественный инструмент для измерения свойств Темной триады [38, 48]. Отметим, что на русском языке название “Грязная дюжина” звучит слишком резко, и более адекватным для этого опросника нам видится название “Темная дюжина”.

Шкалы Темной дюжины отражают “нестабильное личностное ядро”: они в целом связаны с ограниченной эмоциональной стабильностью,ограниченной добросовестностью, низким уровнем согласия (по шкалам Большой пятерки) [34]. Однако эти связи обусловлены разными механизмами для различных черт Темной триады: в то время как Психопатия связана с низким уровнем Согласия через низкие уровни сочувствия, Макиавеллизм с низким уровнем Согласия связан через низкий уровень вежливости. Сходные результаты были выявлены и на подростковых выборках, где также было показано, что Макиавеллизм и Психопатия предсказывали агрессивную и делинквентную симптоматику [53]. Отмечаются некоторые ограничения опросника Темной дюжины для изучения психопатии, поскольку он не измеряет характерные для нее межличностный антагонизм и дезингибицию (растормаживание) [51].

В зарубежных исследованиях Темная дюжина также связана с импульсивностью и поиском новых ощущений, а также рискованными видами поведения [27]. Психопатия и Макиавеллизм связаны с низким самоконтролем, неучетом последствий собственных действий, нарушениями внимания и гиперактивной симптоматикой [39]. Психопатия при этом связана с низкой общей эмпатией, трудностью описания чувств и внешне ориентированным мышлением. нарциссизм связан с низкой эмпатией, трудностью идентификации эмоций, тогда как Маккиавеллизм связан с внешне ориентированным мышлением [35, 36, 37].

Осуществленный А. Фернхемом с коллегами мета-анализ более 100 корреляций между составляющими Темной триады продемонстрировал следующие закономерности: корреляции между ними существуют, все они значимые и положительные; четверть корреляций по величине превышают r = 0.50; самые высокие значения корреляций возникают между психопатией и макиавеллизмом, а самые низкие – между нарциссизмом и макиавеллизмом [31]. Мета-анализ подчеркивает нерешенность вопроса о том, следует ли объединять свойства Темной триады в один фактор или полагать их относительную автономность. В пользу последнего свидетельствует разница психологических свойств, сопутствующих каждой черте. Так, ведущей тенденцией для макиавеллистов выступают плагиат чужого опыта [54] и избегание риска [41]; для нарциссов – самовосхваление [57] и агрессивное поведение в случае возникновения малейшей угрозы для их Эго [41]; для психопатов – осуществление своих мстительных фантазий [28] и “задирание” других [25].

Первоначально понятие макиавеллизма было введено Христи и Гейсом (Christie R., Geis F.) для обозначения такой характеристики, как направленность человека на контроль других. Это измеряемая характеристика способности к манипулятивному поведению, по которой одни люди проявляют большую склонность, чем другие, и именно первых называют макиавеллистами. “Макиавеллизм – это стратегия социального поведения, включающая манипуляцию другими в личных целях, зачастую противоречащих их собственным интересам” [64, с.285].

В качестве научной категории термин “макиавеллизм” вошел в отечественную психологию относительно недавно [1]. В исследованиях В.В. Знакова, определившего эту черту как склонность человека к манипуляции другими в межличностных отношениях, адаптирован опросник Mach-IV [3, 4]. Это дает средство для валидизации соответствующей шкалы опросника Темная дюжина.

По нашему предположению, макиавеллизм должен быть рассмотрен как противоположность ценностному отношению к другому и включен в латентную переменную “Ориентация на эгоистические интересы” при регуляции выбора в ситуации моральных дилемм наряду с доконвенциональной моралью и самоозабоченностью как свойствами, характеризующими невозможность принять чужую точку зрения и центрацию только на собственных интересах [9].

М.С. Егорова говорит о том, что “высокий” макиавеллизм является показателем дисфункциональной личности, поведение которой является компенсаторным и призвано не столько достичь властной позиции, сколько сохранить status quo [2]. Макиавеллизм актуализируется в ситуациях стресса и нестабильности как защитный механизм, позволяя человеку совладать с ними [12]. Для макиавеллистов характерна эмоциональная холодность [23, 47], отсутствие чувства вины, сочувствия, доминантность [49, 62], негативизм, повышенная враждебность, а также экстернальный локус контроля [9, 60]. Макиавеллизм отрицательно коррелирует с такой чертой Большой пятерки, как Доброжелательность (склонность к согласию) [23, 43].

Бэгоцци (Bagozzi R.) с соавторами при верификации своей когнитивно-нейропсихологической модели показали, что макиавеллизм опосредствуется процессами, описанными “теорией психического”, а также процессами, характеризующими эмоциональные отклики; причем первый вид процессов у макиавеллистов выражен хуже [24].

В отличие от конструкта макиавеллизма, термины психопатии и нарциссизма пришли в психологию из клинических исследований. Конструкт “Психопатия[5] представлен как название диссоциального расстройства по МКБ-10 и антисоциального расстройства по DSM-IV-TR. Термин все чаще стал встречаться в описаниях личности, не страдающей психической патологией, но имеющей некоторые устойчивые черты, которые не являются социально приемлемыми и могут стать риском возникновения социальной дезадаптации. На основе этого шкала Психопатии включается в Темную триаду в качестве одной из составляющих, характеризующих социально-аверсивных личностей, способных к нормальному функционированию [57].

После введения Кохом (Koch I.) термина “психопатическая неполноценность” возникли два различных по степени обобщения направления в понимании “психопатии” [18]. Первое характерно для англо-американской психиатрической традиции и сужает значение данного понятия до обозначения им конкретного психического расстройства, связываемого в первую очередь с асоциальным поведением. Второе направление, характерное для отечественной и западноевропейской традиции, расширяет значения понятия “Психопатия”, обозначая им целый ряд расстройств личности, которые характеризуются социальной дезадаптацией (данный подход стал родоначальником понимания психопатии как уровня личностных расстройств).

В рамках первого направления термин Психопатия использовался для описания лиц с эмоциональной нестабильностью и ранним началом антисоциальных форм поведения (собственно Психопатия по Хаэру). Р. Хаэр (Hare R.) указал на различия трёх феноменологически близких понятий (Психопатия, социопатия, антисоциальное расстройство личности), отметив, что различия между психопатией и социопатией заключаются в этиологии, а термин “антисоциальное расстройство” является искусственным – продуктом классификационного подхода – и описывает поведенческие проявления социопатии и психопатии [20]. Его исследования на выборках заключенных показали, что со временем может коррегироваться социопатия, но не Психопатия.

В Темной триаде Психопатия рассматривается как некий континуум, начинающийся с крайних вариантов “нормальности” и заканчивающийся конкретным личностным расстройством[6] (антисоциальное или диссоциальное расстройство). Конструкт сужается до определения его как черты личности, которая характеризуется двумя признаками: высокой импульсивностью с тягой к острым ощущениям и низкой эмпатией [46]. Левенсон (Levenson) развил данную идею, предложив двухфакторную структуру психопатии: первичную психопатию характеризуют Эгоизм, бессердечность, отсутствие “межличностной чувствительности”, поверхностное “очарование” и беспощадность; вторичную психопатию характеризует антисоциальное поведение [33]. Подобный подход не является популярным в отечественной психологии (как в психопатологии, так и в психологии нормы), в связи с чем возникают сложности с нахождением инструментария по диагностике психопатии в таком понимании[7].

Конструкт “нарциссизм”, восходящий к идеям З. Фрейда, как и конструкт “Психопатия”, изначально также возник для описания клинических феноменов, но теоретические и эмпирические исследования последнего десятилетия, посвященные нарциссической проблематике, показали более широкий охват этим термином свойств личности в рамках психической нормы [6]. понимание термина во многом зависит от методологических предпочтений исследователей, отражает разрозненную картину многочисленных психологических подходов и концепций и включает в себя большое количество неинтегрированной информации.

нарциссизм устойчиво стал рассматриваться в качестве составляющей Темной триады. Он определяется и как некоторое устойчивое длительное состояние, возникшее на основе искажения способов регуляции представлений личности о себе, и как личностная черта, которая характеризуется, в первую очередь, демонстрируемой грандиозностью. Акерман предложил разделять в нарциссизме две грани: грандиозность и уязвимость [22]. Нарциссические личности характеризуются выраженной демонстративностью; они склонны считать себя лидерами, подчеркивать свое превосходство, высоко оценивая свои интеллектуальные способности и внешнюю привлекательность, свои достижения, даже если при этом высок риск разрушить межличностные отношения [31].

Нарциссические черты, нарциссические способы регуляции представлений о себе и нарциссические стратегии исследуются различными диагностическими приемами. На российских выборках О. Шамшиковой и Н. Клепиковой был адаптирован опросник “Нарциссические черты личности” (НЧЛ) [21], который выявляет два разных аспекта: нарциссические стратегии личности и нарциссические черты личности [6]. Использование этого опросника дает возможность валидизации шкалы нарциссизма из Темной дюжины.

Отдельно стоит вопрос о связях свойств Темной триады с эмоциональной сферой человека. В исследовании Петридеса, Перес-Гонсалеса и Фернхема было обнаружено, что макиавеллизм и Психопатия отрицательно коррелируют с общим баллом по эмоциональной самоэффективности, в то время как нарциссизм связан с этой чертой положительно [58]. Коммуникабельность при этом положительно коррелирует со шкалой психопатии. Этими авторами предлагается рассматривать эмоциональную самоэффективность в качестве буфера, ослабляющего тенденции макиавеллизма и психопатии, который, с другой стороны, может приводить в ряде ситуаций к проявлению нарциссических черт.

Вклад в выявление связи шкал Темной дюжины с особенностями эмоциональной сферы могут внести исследования эмоционального интеллекта, поскольку он коррелирует со Шкалами Психологической разумности, отражающими доступность сферы собственных чувств и ориентировку их на диалог с другими людьми [15]. В зарубежных исследованиях Темной триады оказался также неучтенным контекст проявления свойств толерантности–интолерантности к неопределенности, которые, как было показано в исследованиях Т. Корниловой и М. Новиковой [16, 56], вносят свой вклад в межличностные взаимодействия и диалогичность самосознания личности.

Общей целью приводимого в данной статье исследования была апробация русскоязычной версии опросника Темная дюжина, а именно – установление его факторной структуры (при проверке альтернативной гипотезы об однофакторной структуре), надежности входящих в него шкал, конвергентной валидности – по отношению к другим отдельным шкалам, диагностирующим черты Темной триады, а также связей Макиавеллизма, Психопатии и Нарциссизма с такими чертами, как эмоциональный интеллект, психологическая разумность, толерантность к неопределенности, рефлексивность, а также креативность.

МЕТОДИКА

Выборка. В исследовании приняло участие 362 человека в возрасте от 17 до 62 лет (M = 24.68, SD = 7.16; 123 муж. и 239 жен.), из них 26 аспирантов, 164 студентов (бакалавров и магистрантов) и 172 специалиста с высшим образованием (выборка по принципу “снежного кома”).

Подвыборки по использованным методикам: опросник “Темная дюжина” – 362 чел., опросник “Нарциссические черты личности” – 50 чел., Мак-шкала – 210 чел., опросник психопатии Левенсона – 101 чел., “Новый опросник толерантности к неопределенности” – 82 чел., опросник MSTAT-II – 31 чел., опросник “Шкала психологической разумности” – 76 чел., опросник ЭмИн – 80 чел., опросник Р-27 – 112 чел., методика “Креативные заголовки” – 34 чел.

Опросник “Темная дюжина” [40]. Опросник направлен на измерение основных черт Темной триады и состоит из двенадцати пунктов, по четыре на каждую из трех шкал – Маккиавеллизм, Психопатия, нарциссизм. Участнику исследования предлагается оценить степень его согласия с каждым из утверждений по пятибалльной шкале от 1 (Не согласен) до 5 (Согласен). В целях контроля качества перевода нами был осуществлен двойной (прямой и обратный) перевод опросника с английского на русский и обратно. Текст опросника приведен в Приложении и доступен для скачивания (с бланком и формой для обработки результатов) на сайте www.cognitivepsy.ru.

Для установления конвергентной валидности шкалы Нарциссизма опросника Темная дюжина использовался опросник “Нарциссические черты личности” [21]. Опросник включает 67 пунктов и дает оценку для 9 шкал. Грандиозное чувство самозначимости – преувеличение собственных способностей, достижений и ожидание особой оценки себя со стороны окружающих. Поглощенность фантазиями – использование воображения для удовлетворения желаний при возникновении угроз Я-концепции. Вера в собственную уникальность – отсутствие попыток критического отношения к себе в сочетании с уверенностью, что оценить данную уникальность могут только особо одаренные люди. Потребность в постоянном внимании и восхищении – стремление находиться в центре внимания, получать комплименты и т.п.

Ожидание особого отношения – субъективная уверенность в заслуженности особого отношения со стороны других людей. Манипуляции в межличностных отношениях – использование других для усиления социальной позиции, достижения целей. Отсутствие эмпатии – неспособность распознавать и понимать чувства и потребности других людей, нежелание идентифицироваться с другими. Сверхзанятость чувством зависти – зависть к окружающим, связанная с угрозой ценности Я, и мысли о том, что окружающие всегда завидуют. Дерзкое, заносчивое поведение – проявления надменного отношения к окружающим.

Для оценки валидности опросника Темная дюжина нами использовался общий балл, представляющий собой сумму показателей по перечисленным шкалам.

Для оценки конвергентной шкалы Макиавелизма опросника Темная дюжина была использована Мак-шкала [4]. Данная методика позволяет получить общий индекс макиавеллизма личности.

Для установления конвергентной валидности шкалы Психопатии из опросника Темная дюжина нами был использован Опросник психопатии Левенсона[8] [45]. Опросник был также переведен на русский язык. Он включает 26 утверждений, позволяющих получить индексы Первичной и Вторичной Психопатии. В первом случае вопросы направлены на измерение степени, в которой человек демонстрирует “эгоистичное, нечувствительное, манипулятивное отношение к другим” [45, c.152]. Во втором – импульсивность и саморазрушающий “жизненный стиль” (life style). Мы использовали только результаты по первой шкале – Первичной Психопатии.

Новый опросник толерантности к неопределенности (НТН) Т.В. Корниловой [7, 11, 30] позволяет получить показатели по трем шкалам.

  • Шкала ТН – толерантности к неопределенности: готовность к решениям и действиям в условиях неопределенности, к новым идеям, к изменчивым стимулам и изменениям собственных познавательных стратегий.
  • Шкала ИТН – интолерантности к неопределенности: стремление субъекта к ясности в отношении к миру (и миру идей), к максимальной информированности, неприятие неопределенности в суждениях и мнениях, ригидность.
  • Шкала МИТН – межличностной интолерантности отражает личностное свойство непринятия неопределенности в сфере межличностных отношений (субъект не терпит недоговоренностей и неопределенности в общении с другими, стремится к прояснению позиций и четким стратегиям поведения).

Опросник MSTAT разработан МакЛайном и апробирован впервые на русском языке Е.Г. Луковицкой [13]. Диагностирует свойство толерантности–интолерантности к неопределенности одной шкалой. Автор представил в 2009г. сокращенную 2-ю версию опросника, включающую 13 пунктов [50], которую мы использовали в исследовании.

Опросник Шкалы Психологической Разумности – ШПР. Опросник апробирован на русском языке М.А. Новиковой и Т.В. Корниловой [15] и позволяет диагностировать 5 свойств:

  1. заинтересованность в сфере субъективных переживаний,
  2. субъективная доступность сферы переживаний для понимания и анализа,
  3. польза обсуждения собственных переживаний с другими людьми,
  4. желание и готовность обсуждать свои проблемы с окружающими,
  5. открытость изменениям, даже если они сопряжены с риском.

Опросник ЭмИн Д. Люсина [14], ориентированный на модель Сэловея-Майера-Карузо, диагностирует межличностный и внутриличностный эмоциональный интеллект по ряду шкал: понимание чужих эмоций, управление чужими эмоциями (способность вызывать у других те или иные эмоции), понимание своих эмоций (способность к осознанию своих эмоций, их распознаванию, пониманию причин, их вербальному описанию), управление своими эмоциями (способность и потребность управлять своими эмоциями) и контроль экспрессии (способность контролировать внешние проявления своих эмоций).

Опросник Рефлексивность (Р-27) А. Карпова [5]. Диагностирует рефлексивность как личностную способность оценивать свои стратегии.

Методика Креативные заголовки [42, 63] применялась для диагностики креативности. В ней человеку предлагается придумать заголовки к шести карикатурам (трем – из архива журнала The New Yorker, и трем – нарисованным российскими художниками). Полученные заголовки оценивались тремя экспертами по следующим шкалам: оригинальность, сообразительность, юмор и соответствие задаче. Построение количественных индексов креативности проводилось в рамках IRT-подхода с использованием многоаспектной модели Раша. Методика прошла апробацию на больших русскоязычных выборках [8, 17, 42].

РЕЗУЛЬТАТЫ

Факторная структура опросника Темная дюжина

Структура опросника Темная дюжина проверялась методом конфирматорного факторного анализа в программном пакете EQS for Windows v. 6.1. В соответствии с исходной статьей авторов [40] проверялись две модели: Модель 1, в которой каждый пункт имел нагрузку на соответствующий ему фактор (по 4 пункта на 3 фактора, свободно коррелирующих друг с другом) и Модель 2, в которой все пункты входили в один общий фактор (1 фактор с 12 пунктами). Для идентификации модели дисперсия каждого фактора была приравнена к 1, остальные параметры (факторные нагрузки, ошибки измерения, коэффициенты ковариации между факторами) вычислялись свободно. Анализ проводился с помощью процедуры Ли, Пуна и Бентлера [44] с поправкой на отклоняющееся от нормального распределение данных.

При построении Модели 1 были изучены индексы модификации Лагранжа. Модель 1 была модифицирована путем включения трех дополнительных параметров ковариации между остаточной (уникальной) дисперсией двух пунктов в каждом из факторов. Эти дополнительные параметры были включены для учета остаточной ковариации между указанными пунктами, вызванной схожестью формулировок пунктов, входящих в один и тот же фактор. Модифицированная Модель 1 (Рисунок 1) продемонстрировала приемлемый уровень соответствия данным: Satorra-Bentler χ2(48) = 81.11, p = .002, CFI = 0.98, RMSEA = = 0.044 (95% CI от .026 до .060). Модель 2 показала значительно более низкий уровень соответствия данным, χ2(51) = 244.05, p < .00001, CFI = = 0.88, RMSEA = 0.102 (разница CFI = 0.10, разница χ2(3) = 162.94, p < .00001).

Таким образом, полученные результаты свидетельствуют в пользу рассмотрения опросника Темная дюжина как обладающего трехфакторной структурой, соответствующей исходному авторскому опроснику.

Факторная структура опросника - Темная дюжина
Рис.1 Факторная структура опросника “Темная дюжина”: стандартизованное решение.
Не показаны параметры ошибок/уникальной дисперсии.
Все коэффициенты, кроме коэффициента корреляции между латентными переменными Психопатии и Нарциссизма, значимы на уровне p < .05.

Надежность шкал опросника Темная дюжина

Для установления надежности шкал опросника Темная дюжина были использованы два аналитических подхода (здесь и далее – анализ проводился с помощью программного пакета R v. 3.0.3 for Mac). Во-первых, мы вычислили коэффициенты внутренней согласованности α Кронбаха для трех шкал: для фактора Макиавеллизма α составила 0.75, для Психопатии – 0.64, для Нарциссизма – 0.73. Во-вторых, учитывая проблемы содержательной интерпретации альфы Кронбаха[9] [29], мы подсчитали коэффициенты надежности ω (омега) для трех шкал опросника: ω = 0.74 для Макиавеллизма (95% доверительный интервал от 0.68 до 0.78), 0.64 – для Психопатии (от 0.57 до 0.70) и 0.73 – для Нарциссизма (от 0.68 до 0.78).

Таким образом, оба анализа продемонстрировали удовлетворительную надежность шкал Темной дюжины.

Половые и возрастные различия по шкалам опросника Темная дюжина

Применение t-критерия для независимых выборок[10] показало, что мужчины демонстрировали более высокие показатели по Макиавеллизму, чем женщины t(360) = 2.56, p = .011, а также по Психопатии, t(360) = 2.80, p = .005, но не по Нарциссизму, t(360) = 1.20, p = .231 (см. Рис.2). Величина размеров эффектов (d Коэна) для всех трех шкал была относительно небольшой: d = 0.28 для Макиавеллизма, 0.31 – для Психопатии и 0.13 – для Нарциссизма. Таким образом, разница в баллах между мужчинами и женщинами была в среднем около одной трети стандартного отклонения.

Половые различия по шкалам опросника - Темная дюжина
Рис.2 Половые различия по шкалам опросника “Темная дюжина”.
Представлены средние значения (M) с 95% доверительными интервалами (CI) среднего.

Не было выявлено значимых корреляционных связей между показателями Темной дюжины и возрастом испытуемых: r = 0.04 для Макиавеллизма, 0.03 – для Психопатии и 0.03 – для Нарциссизма (все p > .05).

Конвергентная валидность шкал опросника Темная дюжина

Анализ конвергентной валидности опросника проводился при сопоставлении баллов, полученных по Темной дюжине, и баллов, полученных по опросникам, отражающим сходные конструкты – по Мак-шкале, Опроснику нарциссизма и шкале Левенсона (в Табл.1 представлена матрица конвергентной валидности).

Таблица 1. Матрица конвергентной валидности опросника Темная дюжина

Шкалы опросника
Темная дюжина
M SD α ω Мак-шкала (r) Психопатия по Левенсону (r) нарциссизм (r)
 Макиавеллизм 10.58 3.79 0.75 0.74 0.44** 0.51*  0.42**
 Психопатия   8.11 3.06 0.64 0.64 0.41** 0.40** 0.27   
 нарциссизм 13.22 3.32 0.73 0.73 0.17** 0.26     0.59**
 N для r         210    101    50

Примечание. *– p < .05, ** – p < .01. В правой половине таблице представлены коэффициенты корреляций между шкальными значениями по опроснику Темная дюжина и тремя сходными шкалами из других опросников (в последней строке представлены n для корреляций).

Шкала Макиавеллизма по опроснику Темная дюжина была положительна связана с баллами по Мак-шкале (r = 0.44, p < .01). Шкала Психопатии также положительно связана со шкалой Первичной Психопатии из опросника Левенсона (r = = 0.40, p < .01). Шкала Нарциссизма положительно связана с общим баллом по Опроснику нарциссизма (r = 0.59, p < .01). Полученные коэффициенты свидетельствуют об удовлетворительном уровне конвергентной валидности шкал опросника Темная дюжина по отношению к шкалам опросников, измеряющих схожие конструкты.

Связи с другими личностными свойствами

У лиц с более высокими показателями по Психопатии выявлено снижение интолерантности к неопределенности, т.е. они меньше стремятся к ясности суждений (r = –0.29, р < .01, в случае измерения ИТН по опроснику НТН). При применении опросника MSTAT-II, где ТН и ИТН представлены полюсами одной шкалы, эта связь выявляется с еще большим коэффициентом (r = 0.47, р < .01), что означает увеличение толерантности к неопределенности при усилении склонности к психопатии. Люди с более высокими показателями по Психопатии также демонстрируют более низкие уровни рефлексивности (r = –0.28, р < .01).

При повышении индекса Психопатии уменьшаются такие показатели межличностного эмоционального интеллекта, как понимание эмоций другого человека (r = –0.26 при р < .02), общий индекс понимания эмоций (r = –0.22 при р < .05), а также, на уровне тенденции, понимание своих эмоций (r = –0.20 при р = .08).

Этому снижению эмоционального интеллекта при повышении Психопатии также сопутствует снижение индекса по шкале 1 опросника Психологической разумности – заинтересованность в сфере своих переживаний (r = –0.22 при р < .05). При этом для другой шкалы этого опросника – открытость изменениям – установлено увеличение индексов Психопатии (r = 0.28, p < .01). При более высоких показателях Психопатии также увеличивалась креативность по методике «Креативные заголовки» (r = 0.37 при р = .03).

Кроме указанных связей между Макиавеллизмом по Мак-шкале и по Темной дюжине не было установлено корреляций этого свойства по апробируемому опроснику и измеренным по другим опросникам личностным переменным (все p > .05).

Более высокие баллы по Нарциссизму были связаны с более высокими баллами по шкале 3 опросника Психологической разумности – польза обсуждения своих переживаний с другими людьми (r = 0.27 при р = .02).

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

В данном исследовании нами была апробирована русскоязычная версия опросника Темная дюжина, направленного на измерение личностных черт так называемой Темной триады – Макиавеллизма, Психопатии и Нарциссизма. Анализ конструктной валидности опросника показал, что он:

  1. обладает трехфакторной структурой, соответствующей исходным положениям и теоретическим представлениям авторов опросника,
  2. демонстрирует удовлетворительные показатели надежности входящих в опросник шкал,
  3. характеризуется удовлетворительными показателями конвергентной валидности по отношению к аналогичным шкалам трех других опросников.

В целом эти результаты позволяют говорить о возможности применения опросника Темная дюжина для измерения личностных черт Темной триады в неклинических популяциях. Возможна дальнейшая валидизация этого опросника применительно к клиническим выборкам, в частности, в контексте изучения психопатии.

В отличие от данных мета-анализа Фернхема с соавторами [31], на нашей выборке минимальная связь установлена между Психопатией и Нарциссизмом, а не между Макиавеллизмом и Нарциссизмом. Наиболее тесной, как и в этом мета-анализе, оказалась связь между Психопатией и Макиавеллизмом.

Полученные данные о положительной связи между Психопатией и Креативностью соответствуют представленным в литературе предположениям об общности этих свойств через механизм “нарушения правил” (rule-breaking). Так, Джино и Вильтермаф (Gino F., Wiltermuth S.) показали, что лживость, связанная со шкалами Темной триады, отражает желание не чувствовать “ограничений”, наложенных правилами, и коррелирует с креативностью [32].

Полученные результаты свидетельствуют о неоднозначности возможных оценок свойства Психопатии. Если она увеличивается с увеличением толерантности к неопределенности и соответственно уменьшением интолерантности, то значит, что эти люди лучше воспринимают условия неопределенности, имеют возможность позитивно их принимать. Этому вполне соответствует снижение личностной рефлексивности при повышении индексов Психопатии.

Тот факт, что лица с более высокими показателями по психопатии оказываются более креативными, соответствует представлениям о связи креативности с толерантностью к неопределенности. Таким образом, психопатические личности при снижении стремления к ясности и повышении толерантности к неопределенности оказываются более креативными, т.е. у них наблюдаются установленные ранее на больших студенческих выборках связи креативности с ТН и ИТН [8, 10, 11].

Снижение показателей эмоционального интеллекта при повышении показателя Психопатии соответствует представленному в литературе положению об уплощении эмоциональной сферы психопатов, их эмоциональной холодности. Вполне согласуются с этим результаты, свидетельствующие о снижении у них заинтересованности в сфере своих переживаний и повышении открытости изменениям, даже если они сопряжены с риском (шкалы Психологической разумности). Но они не испытывают затруднений в субъективной доступности сферы переживаний (установленные для больших выборок связи соответствующей шкалы 2 по Психологической разумности со шкалами эмоционального интеллекта в данном случае отсутствуют). Возможно, с общим снижением интереса к эмоциональной сфере у этих лиц связано и то, что они перестают воспринимать в качестве угрожающих условия неопределенности и более охотно идут на риск, связанный с изменениями и новизной этих условий.

В нашем исследовании установлена высокая конвергентная валидность шкал Макиавеллизма по обоим использованным опросникам. Однако несмотря на высокие корреляции с обеими шкалами Темной дюжины – Психопатии и Нарциссизма – Макиавеллизм оказался не связан с другими измеренными свойствами: эмоциональным интеллектом, психологической разумностью и толерантностью–интолерантностью к неопределенности. Таким образом, мы выявили, с одной стороны, предполагавшуюся взаимосвязь, сопутствие выраженности свойств триады Макиавеллизма, Психопатии и Нарциссизма, а с другой стороны, достаточную автономность Макиавеллизма от других измеренных личностных свойств.

Согласно представленной на рис.1 модели, нарциссизм практически не связан с Психопатией. Для Нарциссизма также установлена только одна значимая связь с другими личностными переменными. Наряду с установленной конвергентной валидностью Нарциссизма (связь шкалы с общим показателем по опроснику Шамшиковой и Клепиковой [21]) мы установили тот факт, что лица с повышенным нарциссизмом любят обсуждать свои проблемы с другими людьми (шкала Психологической разумности). Это соответствует их общему портрету, описываемому в литературе: желание обратить на себя внимание других и переживание ценности собственного внутреннего мира как ключевые характеристики “нарциссов” [12, 19 и др.].

ВЫВОДЫ

  1. Верифицирована трехфакторная структура опросника Темная дюжина, показаны надежность и конвергентная валидность каждой из его шкал – Макиавеллизма, Психопатии и Нарциссизма.
  2. При высоких связях шкал опросника Темная дюжина между собой они оказались в разной степени интегрированными в личностные структуры: наиболее выраженными выступили связи Психопатии с другими личностными свойствами. Макиавеллизм, тесно связанный с Психопатией и Нарциссизмом, наименее интегрирован с другими личностными переменными; последнее можно сказать и о Нарциссизме.
  3. Для шкалы Психопатии установлены не противоречащие общему портрету психопатической личности связи: снижение эмоционального интеллекта, заинтересованности в сфере своих переживаний, личностной рефлексивности.
  4. Для лиц с выраженной Психопатией (по шкале Темной дюжины) характерными оказалось снижение стремления к ясности (как интолерантности к неопределенности) и повышение открытости изменениям, даже если они сопряжены с риском.
  5. Психопатические свойства сопутствовали повышению (улучшению) креативности.

СПИСОК ЛИТЕРАТУРЫ

  1. Братченко С.Л. Диагностика склонности к манипулированию // Братченко С.Л. Диагностика личностно-развивающего потенциала: методическое пособие для школьных психологов. Псков: Издательство Псковского областного института повышения квалификации работников образования, 1997. C.56–62.
  2. Егорова М.С. Макиавеллизм в структуре личностных свойств // Вестник Пермского государственного педагогического университета. Серия 10. Дифференциальная психология. 2009. № 1/2. С.65–80.
  3. Знаков В.В. Макиавеллизм, манипулятивное поведение и взаимопонимание в межличностном общении // Вопросы психологии. 2002. №6. С.45–54.
  4. Знаков В.В. Макиавеллизм: психологическое свойство личности и методика его исследования // Психологический журнал. 2000. Т. 21. №5. С.16–22.
  5. Карпов А.В. Рефлексивность как психическое свойство и методика ее диагностики // Психологический журнал. 2003. Т. 25. №5. С.45–57.
  6. Клепикова Н.М. Операциональное определение нарциссизма в пределах психической нормы: Автореф. дисс. … канд. психол. наук. Хабаровск, 2011.
  7. Корнилова Т.В. Новый опросник толерантностиинтолерантности к неопределенности // Психологический журнал. 2010. Т.31. №1. С.74–86.
  8. Корнилова Т.В. Толерантность к неопределенности и интеллект как предпосылки креативности // Вопросы психологии. 2010. №5. С.3–12.
  9. Корнилова Т.В., Чигринова И.А. Стадии индивидуальной морали и принятие неопределенности в регуляции личностных выборов // Психологический журнал. 2012. Т.33. №2. С.69–87.
  10. Корнилова Т.В., Чумакова М.А. Шкалы толерантности и интолерантности к неопределенности в модификации опросника С. Баднера // Экспериментальная психология. 2014. №1. С.92–110.
  11. Корнилова Т.В., Чумакова М.А., Корнилов С.А., Новикова М.А. Психология неопределенности: единство интеллектуально-личностного потенциала человека. М.: смысл, 2010.
  12. Ларина А.Д. Подходы, установки и перспективы в исследовании макиавеллизма // Вопросы психологии. 2010. №3. С.75–83.
  13. Луковицкая Е.Г. Социально-психологическое значение толерантности к неопределенности: Автореф. дисс. … канд. психол. наук. СПб., 1998.
  14. Люсин Д.В. Опросник на эмоциональный интеллект ЭмИн: новые психометрические данные / Д.В. Люсин, Д. В. Ушаков (ред.). Социальный и эмоциональный интеллект: от процессов к измерениям. М.: Изд-во “Институт психологии РАН”, 2009. С.264–278.
  15. Новикова М.А., Корнилова Т.В. “Шкалы психологической разумности”: апробация опросника на российских выборках // Психологический журнал. 2014. Т.35. №1. С.95–110.
  16. Новикова М.А., Корнилова Т.В. Самооценка интеллекта в структурных связях с психометрическим интеллектом и академической успеваемостью // Психологические исследования. 2012. Т.5(23). С.2.
  17. Павлова Е.М., Корнилова Т.В. креативность и толерантность к неопределенности как предикторы актуализации эмоционального интеллекта в личностном выборе // Психологический журнал. 2012. Т.33. №5. С.39–49.
  18. Семенов В.Н. Онтология феномена диссоциального расстройства личности: от психопатии до операционализированной нозологической единицы // Психологический журнал: ежеквартальное научно-практическое издание / учредитель Республиканский центр проблем человека. 2012. №1–2 (31–32). С.49–53.
  19. Соколова Е.Т. нарциссизм как клинический и социокультурный феномен // Вопросы психологии. 2009. №1. С.67–80.
  20. Хаэр Р. Лишенные совести. Пугающий мир психопатов. М.: Вильямс, 2007.
  21. Шамшикова О.А., Клепикова Н.М. Опросник “Нарциссические черты личности” // Психологический журнал. 2010. Т.31. №2. С.114–128.
  22. Ackerman R.A., Witt E.A., Donnellan M.B., Trzesniewski K., Robins R. W., Kashy D. A. What does the narcissistic personality inventory really measure? // Assessment. 2011. V.18. Р.67–87.
  23. Austi E.J., Farrelly D., Black C., Moore H. Emotional intelligence, Machiavellianism and emotional manipulation: Does EI have a dark side? // Pers. and Indiv. Diff. 2007. V.43(6). Р.1506–1516.
  24. Bagozzi R.P., Verbeke W.J.M., Dietvorst R.C., Belschal F.D., Belschak F.D., van den Berg W.E., Rietdijk W.J. Theory of Mind and Empathic Explanations of Machiavellianism: A Neuroscience Perspective // Journal of Management. 2013. V.39(7). P.1760– 1798.
  25. Baughman H.M., Dearing S., Giammarco E., Vernon P.A. Relationships between bullying behaviours and the Dark Triad: A study with adults // Person. and Individ. Diff. 2010. V.52. Р.571–575.
  26. Brinkley C.A., Schmitt W.A., Smith S.S., Newman J.P. Construct validation of a self-report psychopathy scale: does Levenson’s self-report psychopathy scale measure the same constructs as Hare’s psychopathy checklist-revised? // Person. and Individ. Diff. 2001. V.31. P.1021–1038.
  27. Crysel L., Crosier B.S., Webster G.D. The Dark Triad and risk behavior // P Person. and Individ. Diff. 2013. V.54(1). P.35–40. 
  28. DeLongis A., Nathanson C., Paulhus D.L. Revenge: Who, When, and Why // Unpublished manuscript, Vancouver, Canada: University of British Columbia, 2011.
  29. Dunn T., Baguley T., Brunsden V. From alpha to omega: a practical solution to the pervasive problem of internal consistency estimation // British Journal of Psychology. 2014. V.105(3). P.399–412.
  30. Furnham A. A content, correlational and factor analytic study of four tolerance of ambiguity questionnaires // Person. and Individ. Diff. 1994. V.16. Р.403–410.
  31. Furnham A., Richards S.C., Paulhus D.L. The Dark Triad of Personality: a 10 year review // Social and Personality Psychology Compass. 2013. V.7(3). P.199–216.
  32. Gino F., Wiltermuth S.S. Evil Genius? How dishonesty can lead to greater creativity // Psychological Science. 2014. V.1. P.1–14.
  33. Jakobwitz S., Egan V. The dark triad and normal personality traits // Pers. and Indiv. Diff. 2006. V.40(2). Р.331–339.
  34. Jonason P.K., Kaufman S.B., Webster G.D., Geher G. What lies beneat the Dark Triad Dirty Dozen: Varied relations with the Big Five // Indiv. Diff. Research. 2013. V.11(2). P.81–90.
  35. Jonason P.K., Krause L. The emotional defi cits associated with the Dark Triad traits: Cognitive empathy, affective empathy, and alexithymia // Person. and Individ. Diff. 2013. V.55. P.532–537.
  36. Jonason P.K., Li N., Webster G., Schmitt D. The Dark Triad: Facilitating a Short-Term Mating Strategy in Men // Eur. J. Pers. 2009. V.23. Р.5–18.
  37. Jonason P.K., Li N.P., Teicher E.A. Who is James Bond? The Dark Triad as an agentic social style // Indiv. Diff. Research. 2010. V.8. Р.111–120.
  38. Jonason P.K., Luevano V.X. Working the thin line between effi ciency and accuracy: Validity and structural properties of the Dirty Dozen // Person. and Individ. Diff. 2013. V.55(1). P.76–81.
  39. Jonason P.K., Tost J. I just cannot control myself: The Dark Triad and self-control // Person. and Individ. Diff. 2010. V.49. P.611–615.
  40. Jonason P.K., Webster G.D. The Dirty Dozen: A concise measure of the Dark Triad // Psychological Assessment. 2010. V.22. Р.420–432.
  41. Jones D.N., Paulhus D.L. Different provocations trigger aggression in narcissists and psychopaths // Social Psychological and Personality Science. 2010. V.1. Р.12–18.
  42. Kornilova T.V., Kornilov S.A. Intelligence and Tolerance/Intolerance for Uncertainty as Predictors of Creativity // Psychology in Russia: State of the Art. 2010. V.3. P.240–256.
  43. Lee K., Ashton M.C. Psychopathy, Machiavellianism, and Narcissism in the Five Factor Model and the HEXACO model of personality structure // Person. and Individ. Diff. 2005. V.38. Р.1571–1582.
  44. Lee S., Poon W., Bentler P. M. A two-stage estimation of structural equation models with continuous and polytomous variables // British Journal of Mathematical and Statistical Psychology. 1995. V.48(2). P.339–358.
  45. Levenson M.R., Kiehl K.A., Fitzpatrick C.M. Assessing psychopathic attributes in a noninstitutionalized population // Journal of Personality and Social Psychology. 1995. V.68. Р.151–158.
  46. Lilienfeld S.O., Andrews B.P. Development and preliminary validation of a self-report measure of psychopathic personality traits in noncriminal populations // Journal of Personality Assessment. 1996. V.66. Р.488–524.
  47. Loas G., Verrier A., Romney C. Relationship between alexithymia and machiavellianism in healthy subjects // Annales Medico-psychologiques, revue psychiatrique. 2007. V.165(4). Р.254–257.
  48. Maples J.L., Lamkin J., Miller J.D. A test of two brief measures of the Dark triad: the Dirty Dozen and short Dark triad // Psychological Assessment. 2014. V.26(1). P.326–331.
  49. McHoskey J. Machiavellianism and personality dysfunction // Person. and Individ. Diff. 2001. V.31(5). Р.791–798.
  50. McLain D.L. Evidence of the properties of an ambiguity tolerance measure: The Multiple Stimulus Types Ambiguity Tolerance Scale-II (MSTAT-II) // Psychological Reports. 2009. V.105. P.975–988.
  51. Miller J., Few L.R., Sibert L.A., Watts A., Zeichner A., Lynam D.R. An examination of the Dirty Dozen measure of psychopathy: A cautionary tale about the costs of brief measures // Psychological Assessment. 2012. V.24 (4). P.1048–1053.
  52. Miller J., Gaughan E.T., Pryor L.R. The Levenson Self-Report Psychopathy Scale: An examination of the personality traits and disorders associated with the LSRP factors // Assessment. 2008. V.15(4). P.450– 463.
  53. Muris P., Meesters C., Timmermans A. Some youths have a gloomy side: Correlates of the Dark Triad personality traits in non-clinical adolescents // Child Psychiatry and Human Development. 2013. V.44(5). P.658–665.
  54. Nathanson C., Paulhus D.L., Williams K.M. Predictors of a behavioral measure of scholastic cheating: Personality and competence but not demographics // Contemporary Educational Psychology. 2006. V.31. Р.97–122.
  55. Norman G. Likert scales, levels of measurement and the “laws” of statistics // Advances in Health Sciences Education. 2010. V.15(5). P.625–632.
  56. Novikova М.A., Kornilova Т.V. Self-Assessed Intelligence, Psychometric Intelligence, Personality, and Academic Achievement: Two Structural Models / In: Educational Achievement: Teaching Strategies, Psychological Factors and Economic Impact / Ed. by. M. Gowda, A. Khanderia. NY: Nova Science Publishers, Inc, 2013. P.197–212.
  57. Paulhus D.L., Williams K.M. The Dark Triad of personality: Narcissism, Machiavellianism, and Psychopathy // Journal of Research in Personality. 2002. V.36. P.556–563.
  58. Petrides K.V., Pérez-González J.C., Furnham A. On the criterion and incremental validity of trait emotional intelligence // Cognition & Emotion. 2007. V.21. Р.26–55.
  59. Revelle W., Zinbarg R.E. Coeffi cients alpha, beta, omega, and the glb: comments on Sijtsma // Psychometrika. 2009. V.74. Р.145–154.
  60. Sakalaki M., Kanellaki S., Richardson C. Is a Manipulator’s Externality Paradoxical? The Relationship Between Machiavellianism, Economic Opportunism, and Economic Locus of Control // Journal of Applied Social Psychology. 2009. V.39(11). Р.2591–2603.
  61. Schmider E., Ziegler M., Danay E., Beyer L., Buhner M. Is it really robust: reinvestigating the robustness of ANOVA against violations of the normal distribution assumption // Methodology. 2010. V.6(4). P.147– 151.
  62. Shepperd J.A., Socherman R.E. On the Manipulative Behavior of Low Machiavellians Feigning Incompetence to “Sandbag” on Opponent // Journal of Personality and Social Psychology. 1997. V.72 (6). Р.1448–1459.
  63. Sternberg R.J. The Rainbow Project Collaborators. The Rainbow Project. Enchancing the SAT through assessments of analytical, practical, and creative skills // Intelligence. 2006. V.34. P.321–350.
  64. Wilson D.S., Near D., Miller R.R. Machiavellianism: A synthesis of the evolutionary and psychological literatures // Psychological Bulletin. 1996. V.119(2). P.285–299.
  65. Winter J.C.F. Using the Student’s t-test with extremely small sample sizes // Practical Assessment, Research & Evaluation. 2013. V.18(10). P.1–12.

[1] Выполнено при финансовой поддержке РГНФ, грант № 13-06-00049а.
[2] Об этом свидетельствует, в частности, специальный выпуск журнала Personality and Individual Differences (V. 67), опубликованный в сентябре 2014г. и практически целиком посвященный исследованиям черт Темной триады.
[3] В иностранной литературе данный термин встречается под названием – макиавеллианизм (Machiavellianism).
[4] Два понятия (нарциссизм и Психопатия) мигрировали в современные исследования из “клинической практики”, где они рассматриваются как патологические синдромы, личностные расстройства. Макиавеллизм же не имеет подобных предпосылок.
[5] Крепелин (E. Kraepelin) в своей классификации впервые описал группу “патологических личностей” с недостаточным развитием моральных чувств на фоне умственной сохранности, параллельно с этим Ломброзо (C. Lombroso) обозначил группу “прирожденных преступников” как людей, у которых наблюдается недоразвитие нравственных чувств и склонность к совершению жестоких преступлений.
[6] Такой подход во многом сложился на основе психоаналитических взглядов, где Психопатия (как асоциальное расстройство) представлена на различных уровнях личностных расстройств (невротическом, пограничном, психотическом).
[7] Единственным на данный момент времени опубликованным адаптированным личностным опросником для русскоязычной выборки, который определяет психопатию в рамках описанного выше подхода, является 4 шкала теста MMPI, психометрическая надежность и валидность которого остается под сомнением.
[8] Шкалы опросника были валидизированы в нескольких зарубежных исследованиях [26, 52].
[9] См. дискуссию в специальном номере журнала Psychometrika (2009, Vol.74, №1). Коэффициент α отражает нижнюю границу надежности, во многих случаях значительно занижая (а в некоторых – и завышая) оценку надежности, и содержательно не отражает степень внутренней согласованности [59]. Коэффициент ω направлен на измерение степени, в которой утверждения измеряют общие факторы (т.е. степень генерализации по отношению к популяции утверждений, из которых были отобраны репрезентативные утверждения при составлении психометрического инструмента). В случае одномерности конструкта ω = α.
[10] Отметим, что в настоящем исследовании для установления половых различий и корреляционных связей применялись так называемые параметрические методы (t-критерий и r Пирсона). В отечественных (и множестве зарубежных) статистических учебниках и пособиях часто приводится указание на невозможность применения этих методов при нарушении предпосылок их использования (например, в ситуации, когда распределение данных отличается от нормального распределения, недостаточный размер выборки, или используются шкалы Лайкерта). Эти (и другие) “мифы” об использовании параметрических методов многократно обсуждались в зарубежной литературе в течение последних десяти лет. Как показывают Г. Норман [55], Дж. Винтер [65] и Э. Шмайдер [61], эти методы являются устойчивыми к нарушению указанных предпосылок, особенно в случае их применения в исследованиях с большим n (например, n > 200).

Автор(ы): 

Дата публикации: 

1 янв 2015

Вид работы: 

Название издания: 

Страна публикации: 

Метки: 

Для цитирования: 

Корнилова Т.В., Корнилов С.А., Чумакова М.А., Талмач М.С. Методика диагностики личностных черт «Темной триады»: апробация опросника Темная Дюжина // Психологический журнал - 2015. - Т. 36. - № 2. - С.99-112.

Комментарии

Добавить комментарий

CAPTCHA на основе изображений
Введите код с картинки