Дисперсионный анализ факторов
Факторная матрица
Переменная Фактор А Фактор Б
Как видно из матрицы, факторные нагрузки (или веса) А и Б для различных потребительских требований значительно отличаются. Факторная нагрузка А для требования Т 1 соответствует тесноте связи, характеризующейся коэффициентом корреляции, равным 0,83, т.е. хорошая (тесная) зависимость. Факторная нагрузка Б для того же требования дает r k = 0,3, что соответствует слабой тесноте связи. Как и предполагалось, фактор Б очень хорошо коррелируется с потребительскими требованиями Т 2 , Т 4 и Т 6 .
Учитывая, что факторные нагрузки как А, так и Б влияют на не относящиеся в их группу потребительские требования с теснотой связи не более 0,4 (т.е. слабо), можно считать, что представленная выше матрица интеркорреляций определяется двумя независимыми факторами, которые в свою очередь определяют шесть потребительских требований (за исключением Т 7).
Переменную Т 7 можно было выделить в самостоятельный фактор, так как ни с одним потребительским требованием она не имеет значимой корреляционной нагрузки (более 0,4). Но, на наш взгляд, этого не следует делать, так как фактор «дверь не должна ржаветь» не имеет непосредственного отношения к потребительским требованиям по конструкции двери.
Таким образом, при утверждении технического задания на проектирование конструкции дверей автомобиля именно названия полученных факторов будут вписаны как потребительские требования, по которым необходимо найти конструктивное решение в виде инженерных характеристик.
Укажем на одно принципиально важное свойство коэффициента корреляции между переменными: возведенный в квадрат, он показывает, какая часть дисперсии (разброса) признака является общей для двух переменных, насколько сильно эти переменные перекрываются. Так, например, если две переменные Т 1 и Т 3 с корреляцией 0,8 перекрываются со степенью 0,64 (0,8 2), то это означает, что 64% дисперсий той и другой переменной являются общими, т.е. совпадают. Можно также сказать, что общность этих переменных равна 64%.
Напомним, что факторные нагрузки в факторной матрице являются тоже коэффициентами корреляции, но между факторами и переменными (потребительскими требованиями).
Переменная Фактор А Фактор Б
Поэтому возведенная в квадрат факторная нагрузка (дисперсия) характеризует степень общности (или перекрытия) данной переменной и данного фактора. Определим степень перекрытия (дисперсию D) обоих факторов с переменной (потребительским требованием) Т 1 . Для этого необходимо вычислить сумму квадратов весов факторов с первой переменной, т.е. 0,83 х 0,83 + 0,3 х 0,3 = 0,70. Таким образом, общность переменной Т 1 с обоими факторами составляет 70%. Это достаточно значимое перекрытие.
В то же время низкая общность может свидетельствовать о том, что переменная измеряет или отражает нечто, качественно отличающеёся от других переменных, включенных в анализ. Это подразумевает, что данная переменная не совмещается с факторами по одной из причин: либо она измеряет другое понятие (как, например, переменная Т 7), либо имеет большую ошибку измерения, либо существуют искажающие дисперсию признаки.
Следует отметить, что значимость каждого фактора также определяется величиной дисперсии между переменными и факторной нагрузкой (весом). Для того чтобы вычислить собственное значение фактора, нужно найти в каждом столбце факторной матрицы сумму квадратов факторной нагрузки для каждой переменной. Таким образом, например, дисперсия фактора А (D А) составит 2,42 (0,83 х 0,83 + 0,3 х 0,3 + 0,83 х 0,83 + 0,4 х 0,4 + 0,8 х 0,8 + 0,35 х 0,35). Расчет значимости фактора Б показал, что D Б = 2,64, т.е. значимость фактора Б выше, чем фактора А.
Если собственное значение фактора разделить на число переменных (в нашем примере их семь), то полученная величина покажет, какую долю дисперсии (или объем информации) γ в исходной корреляционной матрице составит этот фактор. Для фактора А γ ~ 0,34 (34%), а для фактора Б - γ = 0,38 (38%). Просуммировав результаты, получим 72%. Таким образом, два фактора, будучи объединены, заполняют только 72% дисперсии показателей исходной матрицы. Это означает, что в результате факторизации часть информации в исходной матрице была принесена в жертву построения двухфакторной модели. В результате упущено 28% информации, которая могла бы восстановиться, если бы была принята шестифакторная модель.
Где же допущена ошибка, учитывая, что все рассмотренные переменные, имеющие отношение к требованиям по конструкции двери, учтены? Наиболее вероятно, что значения коэффициентов корреляции переменных, относящихся к одному фактору, несколько занижены. С учетом проведенного анализа можно было бы вернуться к формированию иных значений коэффициентов корреляции в матрице интеркорреляций (см. табл. 2.2).
На практике часто сталкиваются с такой ситуацией, при которой число независимых факторов достаточно велико, чтобы их все учесть в решении проблемы или с технической или экономической точки зрения. Существует ряд способов по ограничению числа факторов. Наиболее известный из них - анализ Парето. При этом отбираются те факторы (по мере уменьшения значимости), которые попадают в 80-85%-ную границу их суммарной значимости.
Факторный анализ можно использовать при реализации метода структурирования функции качества (QFD), широко применяемого за рубежом при формировании технического задания на новое изделие.
Идея факторного анализа
При исследовании сложных объектов, явлений, систем факторы, определяющие свойства этих объектов, очень часто невозможно измерить непосредственно, а иногда неизвестно даже их число и смысл. Но для измерения могут быть доступны другие величины, так или иначе зависящие от интересующих нас факторов. Причем, когда влияние неизвестного интересующего нас фактора проявляется в нескольких измеряемых признаках или свойствах объекта, эти признаки могут обнаруживать тесную связь между собой и общее число факторов может быть гораздо меньше, чем число измеряемых переменных.
Для выявления факторов, определяющих измеряемые признаки объектов, используются методы факторного анализа
В качестве примера применения факторного анализа можно указать изучение свойств личности на основе психологических тестов. Свойства личности не поддаются прямому измерению. О них можно судить только по поведению человека или характеру ответов на вопросы. Для объяснения результатов опытов их подвергают факторному анализу, который и позволяет выявить те личностные свойства, которые оказывают влияние на поведение индивидуума.
В основе различных методов факторного анализа лежит следующая гипотеза: наблюдаемые или измеряемые параметры являются лишь косвенными характеристиками изучаемого объекта, в действительности существуют внутренние (скрытые, латентные, не наблюдаемые непосредственно) параметры и свойства, число которых мало и которые определяют значения наблюдаемых параметров. Эти внутренние параметры принято называть факторами.
Цель факторного анализа – сконцентрировать исходную информацию, выражая большое число рассматриваемых признаков через меньшее число более ёмких внутренних характеристик явления, которые, однако, не поддаются непосредственному измерению
Установлено, что выделение и последующее наблюдение за уровнем общих факторов даёт возможность обнаруживать предотказные состояния объекта на очень ранних стадиях развития дефекта. Факторный анализ позволяет отслеживать стабильность корреляционных связей между отдельными параметрами. Именно корреляционные связи между параметрами, а также между параметрами и общими факторами содержат основную диагностическую информацию о процессах. Применение инструментария пакета Statistica при выполнении факторного анализа исключает необходимость использования дополнительных вычислительных средств и делает анализ наглядным и понятным для пользователя.
Результаты факторного анализа будут успешными, если удается дать интерпретацию выявленных факторов, исходя из смысла показателей, характеризующих эти факторы. Данная стадия работы весьма ответственная; она требует чёткого представления о содержательном смысле показателей, которые привлечены для анализа и на основе которых выделены факторы. Поэтому при предварительном тщательном отборе показателей для факторного анализа следует руководствоваться их смыслом, а не стремлением к включению в анализ как можно большего их числа.
Сущность факторного анализа
Приведём несколько основных положений факторного анализа. Пусть для матрицы Х измеренных параметров объекта существует ковариационная (корреляционная) матрица C , где р – число параметров, n – число наблюдений. Путем линейного преобразования X =QY +U можно уменьшить размерность исходного факторного пространства Х до уровня Y , при этом р "<<р . Это соответствует преобразованию точки, характеризующей состояние объекта в j -мерном пространстве, в новое пространство измерений с меньшей размерностью р ". Очевидно, что геометрическая близость двух или множества точек в новом факторном пространстве означает стабильность состояния объекта.
Матрица Y содержит ненаблюдаемые факторы, которые по существу являются гиперпараметрами, характеризующими наиболее общие свойства анализируемого объекта. Общие факторы чаще всего выбирают статистически независимыми, что облегчает их физическую интерпретацию. Вектор наблюдаемых признаков Х имеет смысл следствия изменения этих гиперпараметров.
Матрица U
состоит из остаточных факторов, которые включают в основном ошибки измерения признаков x
(i
). Прямоугольная матрица Q
содержит факторные нагрузки, определяющие линейную связь между признаками и гиперпараметрами.
Факторные нагрузки – это значения коэффициентов корреляции каждого из исходных признаков с каждым из выявленных факторов. Чем теснее связь данного признака с рассматриваемым фактором, тем выше значение факторной нагрузки. Положительный знак факторной нагрузки указывает на прямую (а отрицательный знак – на обратную) связь данного признака с фактором.
Таким образом, данные о факторных нагрузках позволяют сформулировать выводы о наборе исходных признаков, отражающих тот или иной фактор, и об относительном весе отдельного признака в структуре каждого фактора.
Модель факторного анализа похожа на модели многомерного регрессионного и дисперсионного анализа. Принципиальное отличие модели факторного анализа в том, что вектор Y – это ненаблюдаемые факторы, а в регрессионном анализе – это регистрируемые параметры. В правой части уравнения (8.1) неизвестными являются матрица факторных нагрузок Q и матрица значений общих факторов Y.
Для нахождения матрицы факторных нагрузок используют уравнениеQQ т =S–V,
где Q т – транспонированная матрица Q, V – матрица ковариаций остаточных факторов U, т.е. . Уравнение решается путем итераций при задании некоторого нулевого приближения ковариационной матрицы V(0).
После нахождения матрицы факторных нагрузок Q вычисляются общие факторы (гиперпараметры) по уравнению
Y=(Q т V -1)Q -1 Q т V -1 X
Пакет статистического анализа Statistica позволяет в диалоговом режиме вычислить матрицу факторных нагрузок, а также значения нескольких заранее заданных главных факторов, чаще всего двух – по первым двум главным компонентам исходной матрицы параметров.
Факторный анализ в системе Statistica
Рассмотрим последовательность выполнения факторного анализа на примере обработки результатов анкетного опроса работников предприятия . Требуется выявить основные факторы, которые определяют качество трудовой жизни.
На первом этапе необходимо отобрать переменные для проведения факторного анализа. Используя корреляционный анализ, исследователь пытается выявить взаимосвязь исследуемых признаков, что, в свою очередь, даёт ему возможность выделить полный и безызбыточный набор признаков путём объединения сильно коррелирующих признаков.
Если проводить факторный анализ по всем переменным, то результаты могут получиться не совсем объективными, так как некоторые переменные определяется другими данными, и не могут регулироваться сотрудниками рассматриваемой организации.
Для того чтобы понять, какие показатели следует исключить, построим по имеющимся данным матрицу коэффициентов корреляции в Statistica: Statistics/ Basic Statistics/ Correlation Matrices/ Ok. В стартовом окне этой процедуры Product-Moment and Partial Correlations (рис. 4.3) для расчёта квадратной матрицы используется кнопка One variable list. Выбираем все переменные (select all), Ok, Summary. Получаем корреляционную матрицу.
Если коэффициент корреляции изменяется в пределах от 0,7 до 1, то это означает сильную корреляцию показателей. В этом случае можно исключить одну переменную с сильной корреляцией. И наоборот, если коэффициент корреляции мал, можно исключить переменную из-за того, что она ничего не добавит к общей сумме. В нашем случае сильной корреляции между какими-либо переменными не наблюдается, и факторный анализ будем проводить для полного набора переменных.
Для запуска факторного анализа необходимо вызвать модуль Statistics/ Multivariate Exploratory Techniques (многомерные исследовательские методы)/ Factor Analysis (факторный анализ). На экране появится окно модуля Factor Analysis.
Для анализа выбираем все переменные электронной таблицы; Variables (переменные): select all, Ok. В строке Input file (тип файла входных данных) указывается Raw Data (исходные данные). В модуле возможны два типа исходных данных – Raw Data (исходные данные) и Correlation Matrix – корреляционная матрица.
В разделе MD deletion задаётся способ обработки пропущенных значений:
* Casewise – способ исключения пропущенных значений (по умолчанию);
* Pairwise – парный способ исключения пропущенных значений;
* Mean substitution – подстановка среднего вместо пропущенных значений.
Способ Casewise состоит в том, что в электронной таблице, содержащей данные, игнорируются все строки, в которых имеется хотя бы одно пропущенное значение. Это относится ко всем переменным. В способе Pairwise игнорируются пропущенные значения не для всех переменных, а лишь для выбранной пары.
Выберем способ обработки пропущенных значений Casewise.
Statistica обработает пропущенные значения тем способом, который указан, вычислит корреляционную матрицу и предложит на выбор несколько методов факторного анализа.
После нажатия кнопки Ok появляется окно Define Method of Factor Extraction (определить метод выделения факторов).
Верхняя часть окна является информационной. Здесь сообщается, что пропущенные значения обработаны методом Casewise. Обработано 17 наблюдений и 17 наблюдений принято для дальнейших вычислений. Корреляционная матрица вычислена для 7 переменных. Нижняя часть окна содержит 3 вкладки: Quick, Advanced, Descriptives.
Во вкладке Descriptives (описательные статистики) имеются две кнопки:
1- просмотреть корреляции, средние и стандартные отклонения;
2- построить множественную регрессию.
Нажав на первую кнопку, можно посмотреть средние и стандартные отклонения, корреляции, ковариации, построить различные графики и гистограммы.
Во вкладке Advanced, в левой части, выберем метод (Extraction method) факторного анализа: Principal components (метод главных компонент). В правой части выбираем максимальное число факторов (2). Задаётся либо максимальное число факторов (Max no of factors), либо минимальное собственное значение: 1 (eigenvalue).
Нажимаем Ok, и Statistica быстро произвёдет вычисления. На экране появляется окно Factor Analysis Results (результаты факторного анализа). Как говорилось ранее, результаты факторного анализа выражаются набором факторных нагрузок. Поэтому далее будем работать с вкладкой Loadings.
Верхняя часть окна – информационная:
Number of variables (число анализируемых переменных): 7;
Method (метод выделения факторов): Principal components (главных компонент);
Log (10) determinant of correlation matrix (десятичный логарифм детерминанта корреляционной матрицы): –1,6248;
Number of factors extracted (число выделенных факторов): 2;
Eigenvalues (собственные значения): 3,39786 и 1,19130.
В нижней части окна находятся функциональные кнопки, позволяющие всесторонне просмотреть результаты анализа, числено и графически.
Factor rotation – вращение факторов, в данном выпадающем окне можно выбрать различные повороты осей. С помощью поворота системы координат можно получить множество решений, из которого необходимо выбрать интерпретируемое решение.
Существуют различные методы вращения координат пространства. Пакет Statistica предлагает восемь таких методов, представленных в модуле факторного анализа. Так, например, метод варимакс соответствует преобразованию координат: вращение, максимизирующее дисперсию. В методе варимакс получают упрощённое описание столбцов факторной матрицы, сводя все значения к 1 или 0. При этом рассматривается дисперсия квадратов нагрузок фактора. Факторная матрица, получаемая с помощью метода вращения варимакс, в большей степени инвариантна по отношению к выбору различных множеств переменных.
Вращение методом квартимакс ставит целью аналогичное упрощение только по отношению к строкам факторной матрицы. Эквимакс занимает промежуточное положение? при вращении факторов по этому методу одновременно делается попытка упростить и столбцы, и строки. Рассмотренные методы вращения относятся к ортогональным вращениям, т.е. в результате получаются некоррелированные факторы. Методы прямого облимина и промакс вращения относятся к косоугольным вращениям, в результате которых получаются коррелированные между собой факторы. Термин?normalized? в названиях методов указывает на то, что факторные нагрузки нормируются, то есть делятся на квадратный корень из соответствующей дисперсии.
Из всех предлагаемых методов, мы сначала посмотрим результат анализа без вращения системы координат – Unrotated. Если полученный результат окажется интерпретируемым и будет нас устраивать, то на этом можно остановиться. Если нет, можно вращать оси и посмотреть другие решения.
Щёлкаем по кнопке "Factor Loading" и смотрим факторные нагрузки численно.
Напомним, что факторные нагрузки – это значения коэффициентов корреляции каждой из переменных с каждым из выявленных факторов.
Значение факторной нагрузки, большее 0,7 показывает, что данный признак или переменная тесно связан с рассматриваемым фактором. Чем теснее связь данного признака с рассматриваемым фактором, тем выше значение факторной нагрузки. Положительный знак факторной нагрузки указывает на прямую (а отрицательный знак? на обратную) связь данного признака с фактором.
Итак, из таблицы факторных нагрузок было выявлено два фактора. Первый определяет ОСБ – ощущение социального благополучия. Остальные переменные обусловлены вторым фактором.
В строке Expl. Var (рис. 8.5) приведена дисперсия, приходящаяся на тот или иной фактор. В строке Prp. Totl приведена доля дисперсии, приходящаяся на первый и второй фактор. Следовательно, на первый фактор приходится 48,5 % всей дисперсии, а на второй фактор – 17,0 % всей дисперсии, всё остальное приходится на другие неучтенные факторы. В итоге, два выявленных фактора объясняют 65,5 % всей дисперсии.
Здесь мы также видим две группы факторов – ОСБ и остальное множество переменных, из которых выделяется ЖСР – желание сменить работу. Видимо, имеет смысл исследовать это желание более основательно на основе сбора дополнительных данных.
Выбор и уточнение количества факторов
Как только получена информация о том, сколько дисперсии выделил каждый фактор, можно возвратиться к вопросу о том, сколько факторов следует оставить. По своей природе это решение произвольно. Но имеются некоторые общеупотребительные рекомендации, и на практике следование им даёт наилучшие результаты.
Количество общих факторов (гиперпараметров) определяется путём вычисления собственных чисел (рис. 8.7) матрицы Х в модуле факторного анализа. Для этого во вкладке Explained variance (рис. 8.4) необходимо нажать кнопку Scree plot. 
Максимальное число общих факторов может быть равно количеству собственных чисел матрицы параметров. Но с увеличением числа факторов существенно возрастают трудности их физической интерпретации.
Сначала можно отобрать только факторы, с собственными значениями, большими 1. По существу, это означает, что если фактор не выделяет дисперсию, эквивалентную, по крайней мере, дисперсии одной переменной, то он опускается. Этот критерий используется наиболее широко. В приведённом выше примере на основе этого критерия следует сохранить только 2 фактора (две главные компоненты).
Можно найти такое место на графике, где убывание собственных значений слева направо максимально замедляется. Предполагается, что справа от этой точки находится только "факториальная осыпь". В соответствии с этим критерием можно оставить в примере 2 или 3 фактора.
Из рис. видно, что третий фактор незначительно увеличивает долю общей дисперсии.
Факторный анализ параметров позволяет выявить на ранней стадии нарушение рабочего процесса (возникновение дефекта) в различных объектах, которое часто невозможно заметить путём непосредственного наблюдения за параметрами. Это объясняется тем, что нарушение корреляционных связей между параметрами возникает значительно раньше, чем изменение одного параметра. Такое искажение корреляционных связей позволяет своевременно обнаружить факторный анализ параметров. Для этого достаточно иметь массивы зарегистрированных параметров.
Можно дать общие рекомендации по использованию факторного анализа вне зависимости от предметной области.
* На каждый фактор должно приходиться не менее двух измеренных параметров.
* Число измерений параметров должно быть больше числа переменных.
* Количество факторов должно обосновываться, исходя из физической интерпретации процесса.
* Всегда следует добиваться того, чтобы количество факторов было намного меньше числа переменных.
Критерий Кайзера иногда сохраняет слишком много факторов, в то время как критерий каменистой осыпи иногда сохраняет слишком мало факторов. Однако оба критерия вполне хороши при нормальных условиях, когда имеется относительно небольшое число факторов и много переменных. На практике более важен вопрос о том, когда полученное решение может быть интерпретировано. Поэтому обычно исследуется несколько решений с большим или меньшим числом факторов, и затем выбирается одно наиболее осмысленное.
Пространство исходных признаков должно быть представлено в однородных шкалах измерения, т. к. это позволяет при вычислении использовать корреляционные матрицы. В противном случае возникает проблема "весов" различных параметров, что приводит к необходимости применения при вычислении ковариационных матриц. Отсюда может появиться дополнительная проблема повторяемости результатов факторного анализа при изменении количества признаков. Следует отметить, что указанная проблема просто решается в пакете Statistica путем перехода к стандартизированной форме представления параметров. При этом все параметры становятся равнозначными по степени их связи с процессами в объекте исследования.
Если в наборе исходных данных имеются избыточные переменные и не проведено их исключение корреляционным анализом, то нельзя вычислить обратную матрицу (8.3). Например, если переменная является суммой двух других переменных, отобранных для этого анализа, то корреляционная матрица для такого набора переменных не может быть обращена, и факторный анализ принципиально не может быть выполнен. На практике это происходит, когда пытаются применить факторный анализ к множеству сильно зависимых переменных, что иногда случается, например, в обработке вопросников. Тогда можно искусственно понизить все корреляции в матрице путём добавления малой константы к диагональным элементам матрицы, и затем стандартизировать её. Эта процедура обычно приводит к матрице, которая может быть обращена, и поэтому к ней применим факторный анализ. Более того, эта процедура не влияет на набор факторов, но оценки оказываются менее точными.
Факторное и регрессионное моделирование систем с переменными состояниямиСистемой с переменными состояниями (СПС) называется система, отклик которой зависит не только от входного воздействия, но и от обобщенного постоянного во времени параметра, определяющего состояние. Регулируемый усилитель или аттенюатор? это пример простейшей СПС, в котором коэффициент передачи может дискретно или плавно изменяться по какому-либо закону. Исследование СПС обычно проводится для линеаризованных моделей, в которых переходный процесс, связанный с изменением параметра состояния, считается завершённым.
Аттенюаторы, выполненные на основе Г-, Т- и П-образного соединения последовательно и параллельно включённых диодов получили наибольшее распространение. Сопротивление диодов под воздействием управляющего тока может меняться в широких пределах, что позволяет изменять АЧХ и затухание в тракте. Независимость фазового сдвига при регулировании затухания в таких аттенюаторах достигается с помощью реактивных цепей, включенных в базовую структуру. Очевидно, что при разном соотношении сопротивлений параллельных и последовательных диодов может быть получен один и тот же уровень вносимого ослабления. Но изменение фазового сдвига будет различным.
Исследуем возможность упрощения автоматизированного проектирования аттенюаторов, исключающего двойную оптимизацию корректирующих цепей и параметров управляемых элементов. В качестве исследуемой СПС будем использовать электрически управляемый аттенюатор, схема замещения которого приведена на рис. 8.8. Минимальный уровень затухания обеспечивается в случае малого сопротивления элемента Rs и большого сопротивления элемента Rp. По мере увеличения сопротивления элемента Rs и уменьшения сопротивления элемента Rp вносимое ослабление увеличивается.
Зависимости изменения фазового сдвига от частоты и затухания для схемы без коррекции и с коррекцией приведены на рис. 8.9 и 8.10 соответственно. В корректированном аттенюаторе в диапазоне ослаблений 1,3-7,7 дБ и полосе частот 0,01?4,0 ГГц достигнуто изменение фазового сдвига не более 0,2°. В аттенюаторе без коррекции изменение фазового сдвига в той же полосе частот и диапазоне ослаблений достигает 3°. Таким образом, фазовый сдвиг уменьшен за счет коррекции почти в 15 раз.
Будем считать параметры коррекции и управления независимыми переменными или факторами, влияющими на затухание и изменение фазового сдвига. Это даёт возможность с помощью системы Statistica провести факторный и регрессионный анализ СПС с целью установления физических закономерностей между параметрами цепи и отдельными характеристиками, а также упрощения поиска оптимальных параметров схемы.
Исходные данные формировались следующим образом. Для параметров коррекции и сопротивлений управления, отличающихся от оптимальных в большую и меньшую стороны на сетке частот 0,01?4 ГГц, были вычислены вносимое ослабление и изменение фазового сдвига.
Методы статистического моделирования, в частности, факторный и регрессионный анализ, которые раньше не использовались для проектирования дискретных устройств с переменными состояниями, позволяют выявить физические закономерности работы элементов системы. Это способствует созданию структуры устройства исходя из заданного критерия оптимальности. В частности, в данном разделе рассматривался фазоинвариантный аттенюатор как типичный пример системы с переменными состояниями. Выявление и интерпретация факторных нагрузок, влияющих на различные исследуемые характеристики, позволяет изменить традиционную методологию и существенно упростить поиск параметров коррекции и параметров регулирования.
Установлено, что использование статистического подхода к проектированию подобных устройств оправдано как для оценки физики их работы, так и для обоснования принципиальных схем. Статистическое моделирование позволяет существенно сократить объём экспериментальных исследований.
Результаты
Основные уравнения
Раньше практически во всех учебниках и монографиях по факторному анализу предусматривалось объяснение того, как проводить основные вычисления «вручную» или посредством простейшего счетного устройства (арифмометра или калькулятора). Сегодня в связи со сложностью и большим объемом вычислений, необходимых для построения матрицы взаимосвязей, выделения факторов и их вращения, наверное, не осталось ни одного человека, который при проведении факторного анализа не использовал бы мощных компьютеров и соответствующих программ.
Поэтому мы сосредоточим внимание на том, какие наиболее существенные матрицы (массивы данных) можно получить в ходе факторного анализа, как они связаны друг с другом и как их можно использовать для интерпретации данных. Все необходимые вычисления можно сделать с помощью любой компьютерной программы (например, SPSS или STADIA).
В табл. 1 приведен список наиболее важных матриц для методов главных компонент и факторного анализа. Этот список содержит в основном матрицы взаимосвязей (между переменными, между факторами, между переменными и факторами), стандартизированных значений (по переменным и по факторам), регрессионных весов (для расчета факторных значений с помощью значений по переменным), а также матрицы факторных отображений взаимосвязей между факторами и переменными после косоугольного вращения. В табл. 1 приводятся также матрицы собственных чисел и соответствующих им собственных векторов. Собственные числа (собственные значения) и собственные вектора описываются ввиду их значимости для выделения факторов, употребления в этой связи большого количества специальных терминов, а также тесной связи собственных чисел и дисперсии в статистических исследованиях.
Таблица 1
Матрицы, наиболее часто используемые в факторном анализе
| Обозначение | Название | Размер | Описание |
| R | Матрица взаимосвязей | p x p | Взаимосвязи между переменными |
| D | Матрица нестандартизированных данных | N x p | Первичные данные - нестандартизированные значения наблюдений по первичным переменным |
| Z | Матрица стандартизированных данных | N x p | Стандартизованные значения наблюдений по первичным переменным |
| F | Матрица значений факторов | N x f | Стандартизированные значения наблюдений по факторам |
| А | Матрица факторных нагрузок Матрица факторного отображения | p x f | Коэффициенты регрессии для общих факторов при условии, что наблюдаемые переменные являются линейной комбинацией факторов. В случае ортогонального вращения - взаимосвязи между переменными и факторами |
| В | Матрица коэффициентов значений факторов | p x f | Коэффициенты регрессии для вычисления значений факторов с помощью значений переменных |
| S | Структурная матрица | p x f | Взаимосвязи между переменными и факторами |
| Ф | Матрица корреляций факторов | f x f | Корреляции между факторами |
| L | Матрица собственных значений (диагональная) | f x f | Собственные значения (характеристические, латентные корни); каждому фактору соответствует одно собственное число |
| V | Матрица собственных векторов | f x f | Собственные (характеристические) вектора; каждому собственному числу соответствует один собственный вектор |
Примечание. При указании размера дается количество рядов х количество столбцов: р - количество переменных, N - количество наблюдений, f - количество факторов или компонент. Если матрица взаимосвязей R не вырождена и имеет ранг равный р, то тогда фактически выделяется р собственных чисел и собственных векторов, а не f . Однако интерес представляют только f из них. Поэтому оставшиеся p - f не показываются.
К матрицам S и Ф применяется только косоугольное вращение, к остальным - ортогональное и косоугольное.
Набор данных, подготовленных для факторного анализа, состоит из результатов измерений (опроса) большого количества испытуемых (респондентов) по определенным шкалам (переменными). В табл. 2 приводится массив данных, который условно можно считать удовлетворяющим требованиям факторного анализа.
Пяти респондентам, обратившимся в туристическое агентство с целью приобрести путевку на морской курорт, были заданы вопросы о значимости для них четырех условий (переменных) выбора места летнего отдыха. Этими условиями-переменными были: стоимость путевки, комфортабельность комплекса, температура воздуха, температура воды. Чем большей, с точки зрения респондента, значимостью обладало для него то или иное условие, тем большее значение он ему приписывал. Исследовательская задача состояла в изучении модели взаимосвязи между переменными и выявлении глубинных причин, обусловливающих выбор курорта. (Пример, конечно же, предельно упрощен в иллюстративно-учебных целях, и его не следует рассматривать всерьез в содержательном аспекте.)
Матрица взаимосвязей (табл. 2 ) была вычислена как корреляционная. Обратите внимание на структуру взаимосвязей в ней, выделенную вертикальными и горизонтальными линиями. Высокие корреляции в верхнем левом и нижнем правом квадрантах показывают, что оценки по стоимости путевки и комфортабельности комплекса взаимосвязаны, также как и оценки по температуре воздуха и температуре воды. Два других квадранта показывают, что температура воздуха и комфортабельность комплекса связаны между собой, также как и комфортабельность комплекса и температура воды.
Попробуем теперь с помощью факторного анализа обнаружить эту структуру корреляций, легко замечаемую невооруженным глазом в маленькой корреляционной матрице (в большой матрице это очень непросто сделать).
Таблица 2
Данные для факторного анализа (учебный пример)
| Туристы | Переменные | |||
| Стоимость путевки | Уровень комфорта | Температура воздуха | Температура воды | |
| T1 | ||||
| Т2 | ||||
| Т3 | ||||
| Т4 | ||||
| Т5 |
Корреляционная матрица
| Стоимость путевки | Уровень комфорта | Температура воздуха | Температура воды | |
| Стоимость путевки | 1,000 | -0,953 | -0,055 | -0,130 |
| Уровень комфорта | -0,953 | 1,000 | -,091 | -0,036 |
| Температура воздуха | -0,055 | -0,091 | 1,000 | 0,990 |
| Температура воды | -0,130 | -0,036 | 0,990 | 1,000 |
Факторизация
Важная теорема из матричной алгебры гласит, что матрицы, удовлетворяющие определенным условиям, могут быть диагонализированы, т.е. преобразованы в матрицу, на главной диагонали которой стоят числа, а на всех остальных позициях - нули. Матрицы взаимосвязей относятся именно к типу диагонализируемых матриц. Преобразование проводится по формуле:
т.е. диагонализация матрицы R выполняется умножением ее сначала (слева) на транспонированную матрицу V, обозначаемую V’, а потом (справа) на саму матрицу V.
Столбцы в матрице V называются собственными векторами, а величины на главной диагонали матрицы L, - собственными числами. Первый собственный вектор соответствует первому собственному числу и т.д. (подробнее об этом см. в Приложении 1).
В связи с тем, что в приведенном примере рассматриваются четыре переменные, мы получаем четыре собственные величины с соответствующими им собственными векторами. Но поскольку целью факторного анализа является обобщение матрицы взаимосвязей посредством как можно меньшего количества факторов и каждая собственная величина соответствует разным потенциально возможным факторам, обычно принимаются в расчет только факторы с большими собственными величинами. При «хорошем» факторном решении матрица вычисленных взаимосвязей, полученная с помощью этого ограниченного набора факторов, практически дублирует матрицу взаимосвязей.
В нашем примере, когда на количество факторов не накладываются никакие ограничения, собственные величины 2.02, 1.94, .04 и.00 вычисляются для каждого из четырех возможных факторов. Только для первых двух факторов собственные значения достаточно велики, чтобы стать предметом дальнейшего рассмотрения. Поэтому выполняется повторное выделение только первых двух факторов. Они имеют собственные величины 2.00 и 1.91 соответственно, как это указано в табл. 3. Используя уравнение (6) и вставив значения из приведенного примера, получаем:
(Все величины, вычисленные на компьютере, совпадают; расчеты, выполненные «вручную», могут отличаться в связи с неточностями округления.)
Умножение слева матрицы собственных векторов на транспонированную ей дает единичную матрицу Е (с единицами на главной диагонали и остальными нулями). Поэтому можно сказать, что преобразование матрицы взаимосвязей по формуле (6) не изменяет ее саму, а лишь преобразует к более удобному для анализа виду:
Например:
Таблица 3
Собственные векторы и соответствующие собственные числа для рассматриваемого учебного примера
| Собственный вектор 1 | Собственный вектор 2 |
| -.283 | .651 |
| .177 | -.685 |
| .658 | .252 |
| .675 | .207 |
| Собственное значение 1 | Собственное значение 2 |
| 2.00 | 1.91 |
Поскольку корреляционная матрица диагонализируема, то для получения результатов факторного анализа к ней можно применять матричную алгебру собственных векторов и собственных величин (см. Приложение 1). Если матрица диагонализируема, то вся существенная информация о факторной структуре содержится в ее диагональной форме. В факторном анализе собственные числа соответствуют дисперсии, объясняемой факторами. Фактор с наибольшей собственной величиной объясняет наибольшую дисперсию и т.д., пока не доходит до факторов с небольшими или отрицательными собственными величинами, которые обычно не учитываются при анализе. Расчеты собственных величин и собственных векторов весьма трудоемки, и умение их вычислять не является крайней необходимостью для психолога, осваивающего факторный анализ в своих практических целях. Однако знакомство с этой процедурой не повредит, поэтому в Приложении 1 мы даем в качестве примера вычисления собственных чисел и собственных векторов на маленькой матрице.
Для нахождения собственных величин квадратной матрицы р х р необходимо найти корни многочлена степени р, а для нахождения собственных векторов - решить р уравнений с р неизвестными с дополнительными побочными ограничениями, что для р>3 редко выполняется вручную. Как только найдены собственные вектора и собственные величины, оставшаяся часть факторного анализа (или метода главных компонент) становится более или менее ясной (см. уравнения 8-11).
Уравнение (6) может быть представлено в виде: R=V’LV, (8)
т.е. матрицу взаимосвязей можно рассматривать как произведение трех матриц - матрицы собственных величин, матрицы соответствующих собственных векторов и транспонированной к ней.
После преобразования матрицу собственных величин L можно представить следующим образом:
и следовательно: R=VÖLÖL V’ (10)
или (что то же самое): R=(VÖL)(ÖL V’)
Обозначим: A=(VÖL), а А’=(ÖL V’), тогда R=AA’ (11)
т.е. матрица взаимосвязей также может быть представлена как произведение двух матриц, каждая из которых есть комбинация собственных векторов и квадратных корней из собственных величин.
Уравнение (11) часто называют фундаментальным уравнением факторного анализа. Оно выражает утверждение о том, что матрица взаимосвязей - это произведение матрицы факторных нагрузок (А) и транспонированной к ней.
Уравнения (10) и (11) также показывают, что значительная доля вычислений в методах факторного анализа и главных компонент заключается в определении собственных величин и собственных векторов. Как только они становятся известны, факторная матрица до поворота получается путем прямого матричного умножения:
В нашем примере:
Матрица факторных нагрузок является матрицей взаимосвязей (интерпретируемых как коэффициенты корреляций) между факторами и переменными. Первый столбец - это корреляции между первым фактором и каждой переменной по очереди: стоимость путевки (-.400), комфортабельность комплекса (.251), температура воздуха (.932), температура воды (.956). Второй столбец - это корреляции между вторым фактором и каждой переменной: стоимость путевки (.900), комфортабельность комплекса (-.947), температура воздуха (.348), температура воды (.286). Фактор интерпретируется на основе сильно связанных с ним (т.е. имеющих по нему высокие нагрузки) переменных. Так, первый фактор главным образом «климатический» (температура воздуха и воды), в то время как второй «экономический» (стоимость путевки и комфортабельность комплекса).
Интерпретируя эти факторы, следует обратить внимание на то, что переменные, имеющие высокие нагрузки по первому фактору (температура воздуха и температура воды), взаимосвязаны положительно, тогда как переменные, имеющие высокие нагрузки по второму фактору (стоимость путевки и комфортабельность комплекса), взаимосвязаны отрицательно (от дешевого курорта нельзя ожидать большой комфортабельности). Первый фактор называется униполярным (все переменные сгруппированы на одном полюсе), а второй - биполярным (переменные распались на две противоположные по смыслу группы - два полюса). Переменные, имеющие факторные нагрузки со знаком «плюс», образуют положительный полюс, а со знаком «минус» - отрицательный. При этом названия полюсов «положительный» и «отрицательный» при интерпретации фактора не имеют оценочного смысла «плохой» и «хороший». Выбор знака происходит во время вычислений случайным образом. Замена всех знаков на противоположные (всех плюсов на минусы, а всех минусов на плюсы) решения не меняет. Анализ знаков необходим только для идентификации групп (что чему противопоставлено). С таким же успехом один полюс можно называть правым, другой левым. В нашем примере переменная стоимость путевки оказалась на положительном (правом) полюсе, ей противопоставлена переменная комфортабельность комплекса на отрицательном (левом) полюсе. И этот фактор можно проинтерпретировать (назвать) как «Экономичность о Комфортность». Респонденты, для которых проблема экономии существенна, оказались справа - получили факторные значения со знаком «плюс». При выборе курорта они более ориентируются на его дешевизну и менее - на комфортабельность. Респонденты, не экономящие на отдыхе (цена путевки их мало волнует) и желающие отдохнуть прежде всего в комфортных условиях, оказались слева - получили факторные значения со знаком «минус».
Однако следует иметь в виду, что все переменные в значительной степени коррелируют с обоими факторами. В рамках этого простого примера интерпретация очевидна, но в случае реальных данных не все так просто. Обычно фактор легче интерпретируется, если с ним сильно взаимосвязана только небольшая часть переменных, а остальные - нет.
Ортогональное вращение
Вращение обычно применяется после выделения факторов для максимизации высоких корреляций и минимизации низких. Существуют многочисленные методы вращения, но чаще всего используется поворот варимакс, представляющий собой процедуру максимизации дисперсии. Этот поворот максимизирует дисперсии факторных нагрузок, делая высокие нагрузки выше, а низкие ниже дня каждого из факторов. Эта цель достигается с помощью матрицы преобразования Л :
А до поворота Л=А после поворота,
т.е. матрица факторных нагрузок до поворота умножается на матрицу преобразования и в результате получается матрица факторных нагрузок после поворота. В нашем примере:
Сравните матрицы до и после поворота. Обратите внимание, что у матрицы после поворота низкие факторные ни грузки ниже, а высокие выше, чем у матрицы до поворота. Подчеркнутая разница нагрузок облегчает интерпретацию фактора, позволяет однозначно выбрать сильно взаимосвязанные с ним переменные.
Элементы матрицы преобразования имеют специальную геометрическую интерпретацию:
Матрица преобразования - это матрица синусов и косинусов угла ψ, на который выполняется поворот. (Отсюда и название преобразования - поворот, потому что с геометрической точки зрения происходит поворот осей вокруг начала координат факторного пространства.) В нашем примере этот угол составляет примерно 19 градусов: cos19°= .946 и sin19°=.325. Геометрически это соответствует повороту факторных осей на 19 градусов вокруг начала координат. (Более подробно о геометрических аспектах вращения см. далее.)
В общем случае для объяснения корреляционной матрицы потребуется не один, а несколько факторов. Каждый фактор характеризуется столбцом, каждая переменная - строкойматрицы . Фактор называется генеральным, если все его нагрузки значительно отличаются от нуля и он имеет нагрузки от всех переменных. Генеральный фактор имеет нагрузки от всех переменных и схематически такой фактор изображен на рис.1. столбцом .Фактор называется общим , если хотя бы две его нагрузки значительно отличаются от нуля. Столбцы , на рис. 1. представляют такие общие факторы. Они имеют нагрузки от более чем двух переменных. Если у фактора только одна нагрузка, значительно отличающаяся от нуля, то он называется характерным фактором (см. столбцы на рис. 1. ) Каждый такой фактор представляет только одну переменную. Решающее значение в факторном анализе имеют общие факторы. Если общие факторы установлены, то характерные факторы получаются автоматически. Число высоких нагрузок переменной на общие факторы называется сложностью . Например, переменная на рис.1. имеет сложность 2, а переменная - три.
Рис. 1. Схематическое изображение факторного отображения. Крестик означает высокую факторную нагрузку.
Итак, построим модель
, (4)
где - ненаблюдаемые факторы m < k ,
Наблюдаемые переменные (исходные признаки),
Факторные нагрузки,
Случайная ошибка связанная только с с нулевым средним и дисперсией :
И - некорpелированы,
Некоррелированные случайные величины с нулевым средним и единичной дисперсией 
.
(5)
Здесь - i -ая общность представляющая собой часть дисперсии , обусловленная факторами, - часть дисперсии , обусловленная ошибкой. В матричной записи факторная модель примет вид:
(6)
где - матрица нагрузок, - вектор факторов, - вектор ошибок.
Корреляции между переменными, выраженные факторами, можно вывести следующим образом:
где - диагональная матрица порядка , содержащая дисперсии ошибок[i]. Основное условие: - диагональная, - неотрицательно определенная матрица. Дополнительным условием единственности решения является диагональность матрицы .
Имеется множество методов решения факторного уравнения. Наиболее ранним методом факторного анализа является метод главных факторов , в котором методика анализа главных компонент используется применительно к редуцированной корреляционной матрице с общностями на главной диагонали. Для оценки общностей обычно пользуются коэффициентом множественной корреляции между соответствующей переменной и совокупностью остальных переменных.
Факторный анализ проводится исходя из характеристического уравнения, как и в анализе главных компонент:
(8)
Решая которое, получают собственные числа λ i и матрицу нормированных (характеристических) векторов V, и затем находят матрицу факторного отображения:
Для получения оценок общностей и факторных нагрузок используется эмпирический итеративный алгоритм, который сходится к истинным оценкам параметров. Сущность алгоритма сводится к следующему: первоначальные оценки факторных нагрузок определяются с помощью метода главных факторов. На основании корреляционной матрицы R формально определяются оценки главных компонент и общих факторов:
(9)
где - соответствующее собственное значение матрицы R;
Исходные данные (вектор-столбцы);
Коэффициенты при общих факторах;
Главные компоненты (вектор-столбцы).
Оценками факторных нагрузок служат величины
Оценки общностей получаются как
На следующей итерации модифицируется матрица R - вместо элементов главной диагонали подставляются оценки общностей, полученные на предыдущей итерации; на основании модифицированной матрицы R с помощью вычислительной схемы компонентного анализа повторяется расчет главных компонент (которые не являются таковыми с точки зрения компонентного анализа), ищутся оценки главных факторов, факторных нагрузок, общностей, специфичностей. Факторный анализ можно считать законченным, когда на двух соседних итерациях оценки общностей меняются слабо.
Примечание. Преобразования матрицы R могут нарушать положительную определенность матрицы R + и, как следствие, некоторые собственные значения R + могут быть отрицательными.
|
STATISTICA ФАКТОРНЫЙ АНАЛИЗ |
Корреляции (factor.sta) Построчное удаление ПД n=100 |
|||||
|
Переменная |
РАБОТА_1 |
РАБОТА_2 |
РАБОТА_3 |
ДОМ_1 |
ДОМ_2 |
ДОМ_3 |
Как видно из корреляционной матрицы переменные, относящиеся к удовлетворенности на работе, более коррелированы между собой, и переменные, относящиеся к удовлетворенности домом, также более коррелированы между собой. Корреляции между этими двумя типами переменных (переменные, связанные с удовлетворенностью на работе, и переменные, связанные с удовлетворенностью домом) сравнительно малы. Поэтому кажется правдоподобным, что имеются два относительно независимых фактора (два типа факторов), отраженных в корреляционной матрице: один относится к удовлетворенности на работе, а другой к удовлетворенности домашней жизнью.
Факторные нагрузки
Второй этап факторного анализа - первоначальное выделение факторов либо методом главных компонент, либо методом главных факторов. Результатом для нашего примера является решение с двумя факторами. Рассмотрим корреляции между переменными и двумя факторами (или "новыми" переменными). Эти корреляции называются факторными .
Таблица 3. 16
Таблица факторных нагрузок (метод главных компонент)
|
STATISTICA ФАКТОРНЫЙ АНАЛИЗ |
Факторные нагрузки (Нет вращения) Главные компоненты |
|
|
Переменная |
Фактор 1 |
Фактор 2 |
|
Общая дисперсия | ||
|
Доля общей дисп. | ||
Как видно из таблицы 3.16 первый фактор более коррелирует с переменными, чем второй (поскольку значения весовых нагрузок по каждой переменной первого фактора больше, чем второго). Это очевидно, потому что, как было сказано выше, факторы выделяются последовательно и содержат все меньше и меньше общей дисперсии (см. раздел Собственные значения и число выделяемых факторов , стр. 61).
Методы вращения факторов
Третий этап факторного анализа – вращение факторных нагрузок, являющихся результатом предыдущего этапа. Типичными методами вращения являются стратегии варимакс , квартимакс , и эквимакс . Целью этих методов является получение понятной (интерпретируемой) матрицы нагрузок, то есть факторов, которые четко отмечены высокими нагрузками (например, больше 0.7) для некоторых переменных и низкими – для других. Эту общую модель иногда называют простой структурой .
Идея вращения по методу варимакс была описана выше (см. раздел Метод главных компонент , стр. 60). Этот метод можно также применить и к рассматриваемому примеру. Как и ранее, наша задача – найти вращение, максимизирующее дисперсию по новым осям; или, другими словами, – получить матрицу нагрузок на каждый фактор таким образом, чтобы они отличались максимально, и имелась возможность их простой интерпретации. Ниже приведена таблица нагрузок на повернутые факторы.
Таблица 3. 17
Таблица факторных нагрузок (вращение – варимакс)
|
STATISTICA ФАКТОРНЫЙ АНАЛИЗ |
Факторные нагрузки (Варимакс нормализ.) Выделение: Главные компоненты |
|
|
Переменная |
Фактор 1 |
Фактор 2 |
|
Общая дисперсия | ||
|
Доля общей дисп. | ||
Как видно из таблицы 3.17, первый фактор отмечен высокими нагрузками на переменные, связанные с удовлетворенностью на работе, а второй фактор – с удовлетворенностью домом. Из этого можно заключить, что удовлетворенность, измеренная с помощью опросника, составлена из двух частей: удовлетворенность домом и работой. Таким образом, произведена классификация изучаемых переменных. На основе полученной классификации первый фактор можно назвать фактором удовлетворенности работой (или фактором социальных ценностей) и, соответственно, второй - фактором удовлетворенности домом (или фактором личностных ценностей).
Интерпретация результатов факторного анализа
Заключительным этапом факторного анализа является содержательная интерпретация факторов, полученных в результате вращения. Здесь от исследователя требуется хорошая теоретическая подготовка и знание экспериментальных результатов, уже накопленных в данной области исследования.
Практически интерпретация факторов заключается в выделении значимых факторных весов (референтных переменных) по каждому из факторов. Точных критериев, позволяющих дифференцировать значимые факторные веса (нагрузки) и незначимые, не существует. Например, в случае больших выборок (несколько сот человек и более) значимыми иногда полагают нагрузки от 0.3 и выше. При уменьшении выборки до нескольких десятков человек в качестве значимых используются веса порядка 0.4–0.5.
Интерпретация факторов не всегда протекает гладко; в некоторых случаях она бывает только предположительной (например, в случае использования данных, отвечающих различным типам шкал), а иногда авторы вовсе отказываются от нее, поскольку фактор включает тесты, в которых трудно усмотреть что-либо общее.
В идеальном варианте (распределение переменных не отличается от нормального) интерпретацию результатов факторного анализа можно начать с анализа корреляционной матрицы, затем перейти к факторным нагрузкам (выделению референтных переменных). Следующий шаг – сопоставление результатов корреляционной матрицы и выделенных факторов, содержащих значимые веса. И, наконец, последний этап – анализ полученных общностей содержания и природы тех изучаемых переменных (признаков), которые имеют наиболее высокую корреляцию с данным фактором. Называние факторов осуществляется с учетом тех референтных переменных, которые получили максимальные значения весов и имеют наиболее высокую корреляцию с фактором. Например, если тесты, оценивающие способность запечатления несмыслового материала, обладают высокими весовыми нагрузками по данному фактору, то последний может быть назван как фактор «механического запоминания».
