Изследване на надеждността

Изследване на надеждността на МАРР чрез тест - ретест

 Т.е. чрез повторно тестиране с цел да се провери дали ще се потвърдят първите резултати.

Тест — ретест на надеждността на метода Мотивационна Оценка на Личния Потенциал (MAPP) е установена чрез научно изследване, извършено през юли 1997 г. При условие, че 0.50 е приемлив коефициент на надеждност, MAPP надвишава стандартите с по-високи резултати, демонстриращи постоянство във времето. Средната корелация между резултатите от тест — ретест на професионално значимите черти на работника е 0.95, а на професионалните класификации — 0.90.

Тези високи коефициенти на корелация на 72 показателя в девет категории се основават на измерените резултати, отразяващи индивидуалните характеристики. Резултатите от професионално значимите черти на работника и професионалните класификации съставят информацията, използвана от работници, служители и професионални консултанти в работата им с MAPP в професионалната сфера. Деветте категории с резултатите от професионално значимите качества на работника и професионалните класификации са: професионална пригодност; способност за математически операции; способности за използване на езика; интерес към съдържанието на работата; отношение към данни; отношение към хора; отношение към предмети; начин на разсъждаване; професионален темперамент. Средният коефициент на тест-ретест корелацията на отговорите на твърденията е 0.71. Тази висока корелация се основава на това, че хората са склонни да дават едни и същи отговори при 213 възможности на 71 въпроса всеки път на провеждане на теста. Тези отговори съставляват основата за всички тълкувания, представени на работници и работодатели.

Изследването използва извадка от 32 души, заети на пълно работно време. Те провеждат теста MAPP два пъти с интервал от около девет месеца между двете процедури (средно 279.5 дни, вариращи от 152 до 496 дни). Половият състав на извадката включва 12 жени (37.5 %) и 20 мъже (62.5 %). Средната възраст е 49 години, варираща от 26 до 67 години. Участниците в пробното изследване имат разнообразни професии, включващи пълния спектър на професионалната сфера. Доказателство за стабилността на MAPP е фактът, че по време на интервала между двата теста 11 участници (34.38 % от общия брой)са преживяли важни житейски промени.

Изследване на надеждността на Мотивационната Оценка на Личния Потенциал (MAPP)

През юли 1997 г. е проведено проучване с цел установяване на тест — ретест надеждността на метода МАРР. За изследването е избран този тип надеждност, защото важна характеристика на МАРР е да бъдестабилен във времето. Тази стабилност позволява на подложилия се на теста да използва уверено резултатите при правенето на професионален избор, както и в развитието на личностните си характеристики, които биха повишили професионалната му квалификация. На работодателите тази стабилност във времето дава увереност, че резултатите от теста могат да бъдат използвани за внимателен подбор на кандидати за професионални длъжности след систематизирането на резултатите в картотеката. Освен това работодателите могат спокойно да използват резултатите от теста във връзка с развитието на служителя на работното място дълго време след провеждането на теста.

Корелация между първия и втория тест

При условие, че 0.50 е приемлив коефициент на надеждност, имайки предвид реалната променливост на резултата и възможността за допускане на грешки, методът МАРР надвишава стандартите с по-високи резултати, както е обяснено по-долу, и по този начин демонстрира висока степен на постоянство във времето.
Надеждността на MAPP е установена по три различни начина чрез използването на метода тест — ретест. На първо място, сравняват се резултатите от професионално значимите качества на работника, основаващи се на отговорите на въпросите от теста. На второ място, сравняват се описанията на професиите, основаващи се на отговорите на въпросите от теста. На трето място, използват се отговорите на въпросите от теста, за да се установи как хората са отговорили на въпросите първия и втория път. Всеки един от тези начини за установяване на надеждност се разглежда в следващите абзаци.

Средната корелация на резултатите от професионално значимите качества на работника, основаващи се на отговорите, дадени при първото и второто попълване на МАРР въпросите, е 0.95.
Индивидуалните корелации за включените в извадката участници варират от 0.66 дo 0.99. Изчисленията са базирани на 72 критерия в девет категории. Според интерпретирането на тази корелация, касаещо различията между резултатите от професионално значимите качества на работника, 95 % отразяват реална променливост на резултата, и само 5 % от разликите могат да се обяснят с допуснати грешки при измерването. Идеалната надеждност представлява коефициент 1, което показва 100 % постоянство на резултата и 0 % допуснати грешки при измерването. Пълна липса на надеждност е отразена от коефициент 0, представляващ 0 % постоянство на резултата и 100 % допуснати грешки.

Средната корелация между отговорите от първото и второто попълване на МАРР въпросите, отнасящи се до Класификациите на професиите, е 0.90. Индивидуалните корелации за включените в извадката участници варират от 0.57 дo 0.98. Изчисленията са базирани на 72 класификации в девет категории. Интерпретирането на тази корелация е същото, както на първата. С други думи, 90 % отразяват реална променливост в разликите в Класификациите на професиите, и само 10 % от разликите се дължат на допуснати грешки при измерването.

Средната корелация между първите и вторите отговори на МАРР въпросите е 0.71.
Индивидуалните корелации за 32-мата участници в извадката варират от 0.52 дo 0.92. Изчисленията са базирани на отговорите на 213 възможности на 71 въпроса от МАРР. Интерпретацията на тази корелация е същата, както на останалите две. С други думи, 71 % отразяват реална променливост на резултатите в разликите в отговорите, и само 29 % от разликите се дължат на допуснати грешки при измерването.
Разбирането на разликите между корелациите е свързано със структурата на МАРР. Първата и втората корелации са доста сходни, тъй като и двете се отнасят до резултатите от МАРР и отразяват стабилността и постоянството на теста при описанието на индивиди. Първата корелация (0.95) е на базата на резултатите от професионално значимите качества на работника, които отразяват отговорите на въпроси от теста за 72 описания на различни качества и черти. Стойността на резултатите от професионално значимите качества на работника могат да варират от 0 до 100. Втората корелация (0.90) е на базата на описанията на професиите, които пряко съответстват на резултатите от професионално значимите качества на работника, но класификациите имат възможни стойности само от 1 до 5. По този начин по-малкият обхват възможни стойности е причината за намаляването на корелацията от 0.95 до 0.90.

​Третата корелация (0.71) е на базата на отговорите на въпросите и отразява тенденцията участникът в теста да отговаря по един и същи начин и при двете провеждания на теста. Другите две корелации са по-високи, защото се отнасят до интерпретиране на отговорите на въпросите чрез измерващ процес, отразяващ характеристиките на участниците в теста. Тази трета корелация има връзка с повтарянето на едни и същи отговори на 213 възможности на 71 въпроса при всяко провеждане на теста.

И трите типа информация са от значение за установяването на надеждността. Но първите две корелации са особено уместни, понеже резултатите от професионално значимите качества на работника и Класификациите на професиите представляват информацията, която работници, служители и професионални консултанти използват в работата си с МАРР в професионалната сфера. Деветте категории с резултатите от професионално значимите качества на работника и Професионалните класификации са: професионална пригодност; способност за математически операции; способности за използване на езика; интерес към съдържанието на работата; отношение към данни; отношение към хора; отношение към предмети; отношение към начин на разсъждаване; професионален темперамент. Третата корелация също е от значение, защото отговорите на хората на отделните въпроси формират основата за всички интерпретации на теста.​

Извадка за изследването тест - ретест

Изследването използва извадка от 32 души, заети на пълно работно време. Те се явяват два пъти на МАРР теста, с интервал от около девет месеца между двете провеждания (средно 279.5 дни, вариращи от 152 дo 496 дни). Половият състав на извадката включва 12 жени (37.5%) и 20 мъже (62.5%). Средната възраст на всички участници е 49 години, варираща от 26 дo 67 години. Този възрастов диапазон показва, че в извадката е застъпена възрастта, характерна за работещи хора. Освен това, този широк възрастов диапазон е типичен както за мъжете (от 26 дo 67 години), така и за жените (от 26 дo 54). Таблица 1 показва данните за един индивид, получени при изследването на надеждността на метода.

Участниците в извадката на изследването имат различни професии, обхващащи пълния спектър на професионалната сфера. Те са избрани, понеже повечето от тях по някакъв начин са свързани със създателите на теста – служители, дистрибутори, служители на клиенти или познати на служители. Професиите на участниците в теста включват: главен счетоводител; адвокат; професионален консултант; президент на компания; консултант; корпоративен консултант; ръководител по спортно-тренировъчна част; старши треньор; финансов и застрахователен управител; управител на финансов лизинг; финансов управител; независим агент по продажби; инвестиционен брокер; ръководител – маркетинг; мултимедиен телевизионен предприемач; мрежов администратор; офис администратор; консултант на персонала на компания; частен инвеститор; консултант по повишения; агент по продажби; работещ на свободна практика; консултант по продажби; застрахователен агент; студент; ученик; вицепрезидент на професионални услуги; вицепрезидент на продажби и маркетинг.

Надеждността на MAPP остава висока дори когато в живота на човек се случат големи промени. Доказателство за стабилността на МАРР е фактът, че за интервала от време между двата теста 11 от участниците (34, 38 %) в изследването са претърпели важни промени в живота си. Промените, които тези хора са изпитали, включват смяна на типа работа; смяна на работното място; промяна от търсене на работа към реалното й извършване, както и промяна в личните взаимоотношения. Но тези жизнени промени не са свързани със силата на корелациите между първото и второто провеждане на тестовете. Всъщност някаква жизнена промяна се наблюдава в еднаква степен както при участниците с по-високи корелации между тестовите процедури, така и при тези с по-ниски корелации.

Продължаващи изследвания на надеждността на МАРР

Продължават изследванията върху MAPP, целящи да поддържат високо ниво на надеждност. Други области, резултатите от които си залужава да бъдат проучени, включват професионалните черти, личностните черти и стиловете на учене. Сферата на професионалните черти включва 19 области със 111 резултата. Личностните черти са разделени на девет области със 109 резултата. Стиловете на учене съдържат шест области с 51 резултата.

Бъдещите изследвания ще разглеждат надеждността в рамките на отделни професии, за да докажат, че различни работници дават постоянни във времето отговори на дадени въпроси, с постоянни резултати от професионално значимите качества на работника,описанията на професиите, професионалните черти, личностните черти и стиловете на учене. За определяне на надеждността на въпросите и интерпретациите в теста, ще се взима предвид не само типа работник, но също така вида и продължителността на професионалния опит. Изследването на надеждността ще взима под внимание и стабилността на отговорите в рамките на различни култури и географски региони.

Преглед на таблицата с данни