EXPLORAREA AIC SCALAT ÎN CADRUL COMPUSelor ÎNCHISE ENGLEZEȘTI
Explorarea AIC scalat în cadrul compuselor închise englezești
REZUMAT
Criteriul informațional Akaike (AIC) este o măsură consacrată a adecvării modelului, utilizată pentru selectarea modelelor în analiza datelor empirice. Cu toate acestea, AIC este sensibil la dimensiunea eșantionului. Cercetările anterioare ale autorului au arătat că AIC scalat, adică AIC împărțit la dimensiunea eșantionului, este un instrument eficient pentru evaluarea adecvării modelului și ierarhizarea modelelor de regresie. Studiul de față explorează în continuare proprietățile acestei variabile. Obiectul investigației îl constituie 66 de modele de regresie multiplă referitoare la procesarea compuselor englezești închise (concatenate), preluate din Baza de date mare a compuselor englezești (LADEC) a lui Gagné et al. (2019). În special, AIC scalat este pus în relație cu English Lexicon Project (ELP) și British Lexicon Project (BLP), ca surse ale timpilor de răspuns, ale sarcinilor de decizie lexicală și de denumire, ale lungimii compuselor și ale normelor de transparență. Ca metode sunt utilizate ANOVA unifactorială, analiza efectelor principale și teste neparametrice. Rezultatele sugerează că AIC scalat este sensibil la designul experimental, la sursa timpilor de răspuns și la sarcinile de decizie lexicală și de denumire. În același timp, rezultatele acestui studiu oferă sprijin empiric pentru validarea metodelor utilizate de Gagné et al. (2019).
Criteriul informațional Akaike (engl. AIC) este o măsură consacrată a adecvării modelelor, aplicată analizei datelor empirice. Cu toate acestea, AIC este sensibil la dimensiunea eșantionului. Cercetările anterioare ale
Straipsniai / Articles
273
Page 2
CHARITON CHARITONIDIS
autorului au arătat că AIC scalat, împărțit la dimensiunea eșantionului, este un instrument eficient pentru evaluarea adecvării modelului și pentru ierarhizarea modelelor de regresie. În acest studiu sunt analizate în continuare caracteristicile acestei variabile. Obiectul cercetării îl constituie 66 de modele de regresie cu mai mulți predictori, referitoare la procesarea compuselor englezești închise (compuse), preluate din Baza de date mare a compuselor englezești (engl. LADEC) a lui Gagné et al. (2019). În primul rând, AIC este comparat cu English Lexicon Project (engl. ELP) și British Lexicon Project (engl. BLP), ca surse ale timpilor de răspuns, ale sarcinilor de decizie lexicală și de denumire, ale lungimii compuselor și ale normelor de transparență. Metodele utilizate sunt ANOVA unifactorială (engl. Analysis of variance), analiza rezultatelor principale și testele neparametrice. Concluziile arată că AIC scalat reacționează la designul experimental, la sursa timpilor de răspuns și la sarcinile de decizie lexicală și de denumire. Totodată, rezultatele acestui studiu oferă o bază empirică pentru validarea metodelor aplicate de Gagné et al. (2019).
1. BAZA DE DATE MARE A COMPUSELOR ENGLEZEȘTI (LADEC: GAGNÉ ET AL. 2019)¹
Baza de date mare a compuselor englezești (LADEC: Gagné et al. 2019) este cea mai mare bază de date existentă de cuvinte compuse. Ea conține peste 8000 de compuse fără spațiu („închise” sau „concatenate”) (=substantive), selectate din diverse surse, printre care baza de date CELEX (Baayen et al. 1995), English Lexicon Project (ELP; Balota et al. 2007), British Lexicon Project (BLP; Keuleers et al. 2012), British National Corpus (BNC) și Wordnet. Din setul complet de intrări LADEC, 7,804 compuse pot fi analizate în mod unic ca fiind alcătuite din doi constituenți morfemici liberi.² Este avută în vedere o varietate foarte largă de compuse, de exemplu compuse substantiv-substantiv, precum buttercup, shipyard, compuse cu un al doilea constituent derivat dintr-o rădăcină verbală, precum pacemaker, painkiller etc. (pentru definițiile claselor de compuse, vezi Lieber 2004: 46). Primul constituent, care nu este capul, se referă la o gamă largă de categorii gramaticale. Figura 1 conține un scurt eșantion de intrări LADEC.
Modelele de regresie multiplă ale lui Gagné et al. (2019) includ o gamă largă de variabile predictori (=independente), precum lungimea compusului, frecvența bigramelor
¹ Această secțiune a fost preluată din Chariton Charitonidis (2022), cu ușoare modificări.
² LADEC include pluralele compuselor deja enumerate ca intrări separate.
274
Acta Linguistica Lithuanica XC
Page 3
Exploring Scaled AIC within English Closed Compounds
la limita morfemelor, dimensiunea familiei, frecvența cuvintelor, măsuri ale probabilității și asocierii (bazate pe vectori), norme emoționale/de sentiment calculate pe baza evaluărilor participanților etc. Timpurile logaritmice de răspuns pentru compusele din ELP (decizie lexicală, denumire) și BLP (decizie lexicală) sunt utilizate ca variabile dependente. În cea mai mare parte, lungimea compusului (numărul de caractere) și frecvența logaritmică a compusului (=cuvântului) din corpusul SUBTLEX-US (Brysbaert, New 2009)³ și BNC (BLP) sunt utilizate ca variabile de control. În modelele lui Gagné et al. (2019), variabilele predictori menționate mai sus au avut efecte semnificative asupra timpilor de decizie lexicală și de denumire.
FIGURA 1. Intrări LADEC: eșantion
Accentul principal în studiul lui Gagné et al. (2019) a fost pus pe diverse măsuri ale transparenței semantice. Gagné et al. (2019) le-au cerut participanților să evalueze compusele, luând în considerare cât de predictibil este sensul compusului pornind de la părțile sale (evaluări ale predictibilității sensului, bazate pe compus) și cât de mult din sensul fiecărui constituent este păstrat în compus (evaluări ale păstrării sensului, bazate pe constituent). Autorii au constatat că distribuția transparențelor pentru constituentul al doilea era mult mai concentrată și mai ridicată decât distribuția transparențelor pentru primul constituent (MC1: 64.80 [SD: 19.59] față de MC2: 71.00 [SD: 16.46]. N = 8115). Cu toate acestea, evaluarea pentru
³ Corpusul SUBTLEX–US este un corpus de 51 de milioane de tokeni, bazat pe subtitrări din filme și programe de televiziune din SUA. Mai multe studii recente au furnizat dovezi că normele de frecvență obținute din subtitrările filmelor și programelor de televiziune tind să fie mai eficiente decât cele derivate din texte tipărite atunci când este vorba despre explicarea diferențelor în timpul procesării lexicale și, în unele cazuri, în acuratețe, între vorbitorii nativi ai diferitelor limbi (vezi Chen et al. 2018: 2 și referințele de acolo).
Straipsniai / Articles
275
Page 4
CHARITON CHARITONIDIS
primului constituent era corelat mai puternic cu evaluarea întregului compus decât evaluarea celui de-al doilea constituent (c1~cmp: r = 0.75, p <.001 față de c2~cmp: r = 0.66, p <.001. N = 429).⁴ Mai ales, evaluarea păstrării sensului pentru primul constituent și evaluarea predictibilității sensului compusului au prezis toate cele trei tipuri de timpi de răspuns, și anume timpii de decizie lexicală ELP, timpii de decizie lexicală BLP și timpii de denumire ELP.
În concluzie, distribuția mai concentrată și mai ridicată a transparențelor celui de-al doilea constituent și asocierea mai bună a primului constituent cu predictibilitatea sensului compusului par să fie transpuse imediat în operațiile de cap din compusele englezești. Al doilea constituent, adică nucleul, este o unitate a cărei transparență este amplificată categorial și semantic (pentru aspectul semantic, vezi relațiile de implicație și hiponimie). Primul constituent, adică modificatorul, este factorul cel mai critic în stabilirea referinței compusului. Ca rezultat, transparența sa covariază cel mai puternic cu transparența compusului.⁵
2. CRITERIUL INFORMAȚIONAL AKAIKE (AIC)
În 1973, Hirotugu Akaike a dezvoltat o metodă pentru estimarea așteptării relative a distanței Kullback–Leibler (Kullback 1959), utilizând log-verosimilitatea maximizată a lui Fisher (Fisher 1922; vezi și Aldrich 1997). Această măsură, denumită în mod obișnuit Criteriul informațional Akaike (AIC; Akaike 1973), a introdus un cadru nou pentru selectarea modelelor în analiza datelor empirice, marcând o schimbare semnificativă de paradigmă (Burnham, Anderson 2002).
AIC se calculează de obicei astfel: −2lnL + 2k, unde „lnL” se referă la log-verosimilitatea maximizată/completă a modelului, iar „k” se referă la numărul de parametri, inclusiv constanta. Un set mai mic de predictori este de obicei asociat cu modele mai eficiente (modele cu o pierdere informațională mai mică). Cu cât valoarea AIC este mai mică (=mai negativă), cu atât adecvarea modelului este mai bună. În acest context, AIC penalizează, ca măsură a adecvării modelului, utilizarea unui număr mare de predictori care pot conduce la valori AIC mai ridicate (vezi componenta „+2k” a ecuației AIC).
⁴ Testul z al lui Steiger (1980) a arătat că această diferență era semnificativă, z = 27.71, p <.0001 (Gagné et al. 2019).
⁵ Referindu-se la cercetări anterioare, Gagné et al. (2019) raportează că „modificatorul (primul constituent din limba engleză) tinde să joace un rol mai important în selectarea ușurinței relației în timpul procesării compuselor și a sintagmelor nominale.”
276
Acta Linguistica Lithuanica XC
Page 5
Exploring Scaled AIC within English Closed Compounds
AIC este sensibil la dimensiunea eșantionului. AICc, o versiune corectată a AIC, încorporează dimensiunea eșantionului prin formula 2k (k + 1)/ (n − k − 1). Cu toate acestea, el abordează în mod specific dimensiunile mici ale eșantioanelor și nu este recomandat pentru modelele bazate pe eșantioane mari, precum cel din Gagné et al. (2019).⁶ Trebuie menționat că cercetători precum Kenneth P. Burnham & David R. Anderson (2002) nu oferă o soluție definitivă pentru compararea valorilor AIC ale modelelor ajustate pe eșantioane atât diferite, cât și mari.⁷
În mod particular, Burnham & Anderson (2002: 80–85, 334–335) oferă o discuție cuprinzătoare a implicațiilor dimensiunilor inegale ale eșantioanelor pentru compararea modelelor. Ei susțin că utilizarea criteriilor informaționale pentru compararea modelelor cu dimensiuni diferite ale eșantioanelor poate conduce la rezultate înșelătoare. În mod similar, după cum a observat Svetunkov într-o discuție online din 2016 (vezi referința de după bibliografie), toate criteriile informaționale se bazează pe funcția de verosimilitate, care, la rândul ei, depinde de dimensiunea eșantionului. Mai exact, pe măsură ce dimensiunea eșantionului crește, verosimilitatea scade. În consecință, și criteriile informaționale vor crește în astfel de cazuri.⁸
3. CERCETĂRI ANTERIOARE
În Charitonidis (2022), valorile AIC pentru 44 de modele de regresie multiplă cu combinații diferite de variabile emoționale (valență, activare și concretețe pentru (a) cuvinte și (b) contexte de cuvinte) au fost împărțite la dimensiunea eșantionului (N), pentru a obține valori AIC scalat (AIC/N). Ulterior, aceste valori au fost utilizate pentru evaluarea
⁶ Pentru informații suplimentare despre AICc, cititorul este îndrumat către Burnham & Anderson (2002: 374–380).
⁷ Una dintre soluțiile propuse de Burnham & Anderson (2002) se referă la transformarea valorilor AIC în „ponderi Akaike”, definite ca „verosimilitatea relativă a modelului, date fiind datele” (Burnham, Anderson 2002: xiii; vezi și Wagenmakers, Farrell 2004).
⁸ Disponibil la: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [accesat la 16.06.2023]. Cititorul poate înțelege afirmația lui Svetunkov substituind valori diferite pentru componenta „lnL” din ecuația AIC, menținând constantă componenta „2k”. O scădere a valorii lnL va conduce la o valoare AIC mai mare, adică inferioară.
⁹ În literatura de specialitate, AIC scalat mai este denumit și „AIC mediu”. Potrivit lui Svetunkov (comunicare personală), practica împărțirii Criteriului informațional Akaike la dimensiunea eșantionului nu este nouă. De exemplu, Hastie et al. (2009: 230–231) definesc AIC într-un mod necanonic, utilizând N ca numitor în formulă. Deși această abatere de la formula convențională a AIC nu este lipsită de critici, ea rămâne o abordare răspândită, după cum exemplifică includerea sa în pachetul software statistic Stata. De exemplu, Stata raportează „AIC împărțit la N” în rezultatul modelului său, după cum o demonstrează diverse exemple disponibile online (Îi mulțumim lui I. Svetunkov pentru furnizarea acestei informații).
Straipsniai / Articles
277
Page 6
CHARITON CHARITONIDIS
și compararea adecvării modelelor. Introducerea predictorilor-cheie în modelele globale, adică generale, a arătat că timpii de decizie lexicală BLP impuneau o adecvare mai bună a modelului decât timpii de decizie lexicală ELP. Adecvarea modelelor de denumire ELP s-a încadrat în intervalul celor observate pentru modelele de decizie lexicală ELP și BLP. Mai ales, concretețea contextului pentru al doilea constituent s-a dovedit un predictor semnificativ în toate modelele cu frecvență SUBTLEX-US, atât pentru decizie lexicală, cât și pentru denumire.
În Charitonidis (2024), toți coeficienții semnificativi din modelele globale cu frecvență SUBTLEX-US au fost comparați cu variabila hiponimie (Gagné et al. 2020). S-a constatat că modelele care includeau atât hiponimia, cât și concretețea contextului pentru al doilea constituent erau asociate întotdeauna cu cea mai mică (=cea mai bună) valoare AIC scalat, în comparație cu modelele imbricate, adică reduse, care omiteau oricare dintre aceste două variabile. Testele Wald aplicate ulterior au arătat că modelele imbricate se refereau întotdeauna la o reducere semnificativă (=deteriorare) a coeficientului de determinare (R2). Tabelele 1 și 2 prezintă valorile AIC scalat și, respectiv, rezultatele testelor Wald corespunzătoare.
TABELUL 1.
Valorile AIC scalat pentru modelele imbricate care omit hiponimia („Modelul 2”) sau concretețea contextului pentru al doilea constituent („Modelul 3”) din modelele complete („Modelul 1”) pentru a prezice timpii de decizie lexicală din English Lexicon Project (ELP) (LD), timpii de decizie lexicală din British Lexicon Project (BLP) și timpii de denumire ELP
Testele Wald pentru modelele imbricate care omit hiponimia („Modelul 2”) sau concretețea contextului pentru al doilea constituent („Modelul 3”) din modelele complete („Modelul 1”) pentru a prezice timpii de decizie lexicală din English Lexicon Project (ELP) (LD), timpii de decizie lexicală din British Lexicon Project (BLP) și timpii de denumire ELP
În concluzie, două măsuri diferite ale mărimii efectului, și anume AIC scalat și R2, au ierarhizat identic aceleași modele de regresie, demonstrând în același timp aceeași preferință pentru cel mai bun model. Astfel, există dovezi puternice că măsura AIC scalat este un instrument calitativ pentru evaluarea adecvării modelului.
Straipsniai / Articles
279
Page 8
CHARITON CHARITONIDIS
4. STUDIUL DE FAȚĂ
Studiul de față se bazează pe cercetările anterioare ale autorului, prezentate în secțiunea 3. Subiecții cercetării sunt 66 de modele de decizie lexicală și de denumire pentru compusele englezești închise (concatenate), construite de Gagné et al. (2019). Toate modelele includ frecvența SUBTLEX-US ca variabilă de control. Obiectivele noastre sunt duble și se desfășoară în paralel. În primul rând, evaluăm caracteristicile modelelor lui Gagné et al. (ibid.). În al doilea rând, explorăm proprietățile esențiale ale măsurii AIC scalat.
Întrebările de cercetare sunt: 1. Este AIC scalat sensibil la designul modelului în Gagné et al. (2019)? Ce grupuri de modele sunt favorizate? 2. Care este impactul variabilelor de control „frecvența compusului” și „lungimea compusului” asupra AIC scalat? 3. Cum se raportează transparența morfologică la AIC scalat?
Studiul nostru este structurat după cum urmează: Secțiunea 5 oferă o prezentare generală a metodelor noastre. Secțiunea 6.1 oferă statistici descriptive pentru AIC scalat referitoare la modelele analizate. Accentul este pus pe caracteristicile parametrice versus neparametrice ale categoriilor de modele. Secțiunea 6.2 explorează relația dintre sursa timpilor de răspuns și sarcinile de procesare lexicală. Secțiunea 6.3 compară AIC scalat cu variabilele de control „frecvența compusului” și „lungimea compusului”. În secțiunea 6.4, nivelurile de semnificație ale coeficienților de transparență din modelele lui Gagné et al. (2019) sunt raportate la valorile AIC scalat. Principalele rezultate sunt rezumate în secțiunea 7, urmate de o discuție a rezultatelor în secțiunea 8.
5. METODE
Metoda noastră generală a fost analiza comparativă a principalilor parametri și a caracteristicilor modelelor lui Gagné et al. (2019), utilizând AIC scalat ca variabilă dependentă. Variabilele independente au inclus caracteristici ale eșantionului (de exemplu, sursa timpilor de răspuns și sarcinile de procesare lexicală), designul studiului (de exemplu, variabilele de control) și nivelul de semnificație al coeficienților de transparență, printre alți factori.
Metodele statistice specifice utilizate au fost următoarele: (a) statistici descriptive referitoare la medii și mediane, împreună cu aplicarea testului Shapiro–Wilk pentru evaluarea tendinței centrale, variabilității și distribuției AIC scalat în diferite categorii și grupuri de modele (secțiunile 6.1 și 6.2), (b) analize ale efectelor principale efectuate pentru sursa timpilor de răspuns (ELP/BLP) și sarcinile de procesare lexicală (decizie lexicală/denumire) (secțiunea
280
Acta Linguistica Lithuanica XC
Page 9
Exploring Scaled AIC within English Closed Compounds
6.2), (c) ANOVA distincte efectuate asupra sursei timpilor de răspuns și a sarcinilor de procesare lexicală, încorporând lungimea compusului ca covariabilă (secțiunea 6.3) și (d) utilizarea testelor Kruskal–Wallis și Jonckheere–Terpstra pentru explorarea diferențelor dintre rangurile coeficienților recodificați ordinal pentru transparența semantică (secțiunea 6.4). Pentru mai multe informații despre metode, cititorul este îndrumat către analizele din secțiunile 6.1–6.4.
6. ANALIZE
6.1. AIC scalat vs. categorii de modele
Cele 66 de valori AIC din modelele de regresie multiplă ale lui Gagné et al. (2019), cu frecvența SUBTLEX–US ca variabilă de control, au fost împărțite la dimensiunea eșantionului fiecărui model, pentru a obține un set de 66 de valori AIC scalat.
Tabelul 3 de mai jos oferă statisticile descriptive pentru AIC scalat, iar Figura 2 prezintă boxplotul corespunzător referitor la setul ordonat de valori.10 Nu au existat valori aberante în eșantion. Valorile asimetriei (Sk) și curtosisului (Ku) au fost acceptabile.11
Valoarea medie pentru AIC scalat a fost −3.50030. Abaterea standard a fost 0.19052, ceea ce înseamnă că observațiile au fost relativ strâns grupate în jurul mediei. Valorile minimă și maximă au fost −3.85502 și, respectiv, −3.15754. Valoarea mediană a fost −3.55732, adică puțin mai mică decât valoarea medie.12 Cele 50% centrale ale datelor s-au încadrat între −3.66575 (prima cuartilă, Q1) și −3.30959 (a treia cuartilă, Q3). În consecință, intervalul intercuartilic (IQR) a fost 0.35616.
10 Linia inferioară sau a primei cuartile a casetei (Q1) marchează limita sub care se extind cele mai mici 25% dintre date. În mod similar, linia superioară sau a celei de-a treia cuartile a casetei (Q3) marchează limita deasupra căreia se extind cele mai mari 25% dintre date. Zona umbrită prezintă limitele celor 50% centrale ale datelor sau ale intervalului intercuartilic (IQR), care poate fi calculat prin scăderea primei cuartile din a treia cuartilă (Q3−Q1). Linia orizontală din interiorul casetei indică mediana sau cuartila mediană (Q2), adică valoarea care se află în mijlocul setului de date.
11 În mediul SPSS, valorile dintre −1 și +1 pentru asimetrie și dintre −2 și +2 pentru curtosis sunt considerate, în general, acceptabile pentru evaluarea distribuției normale. Trebuie remarcat însă că asimetria și curtosisul luate singure nu oferă o dovadă concludentă a normalității (vezi și discuția despre https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data).
12 În concordanță cu acest tipar, datele au prezentat o ușoară asimetrie pozitivă (0.494).
Straipsniai / Articles
281
Page 10
CHARITON CHARITONIDIS
TABELUL 3. Statistici descriptive pentru AIC scalat (setul complet)
Medie SD Min Max −3.50030 0.19052 −3.85502 −3.15754 Mediană IQR Q1 Q3 −3.55732 0.35616 −3.66575 −3.30959
N=66. Sk=0.494, Ku=−1.101
FIGURA 2. Distribuția AIC scalat (setul complet): Boxplot
Era de așteptat ca setul complet de valori AIC scalat să nu prezinte o distribuție normală, deoarece cuprindea sarcini diferite (decizie lexicală, denumire) și era derivat din surse diferite ale timpilor de răspuns (ELP, BLP). Testul Shapiro–Wilk și testul Kolmogorov–Smirnov au confirmat presupunerile noastre.13 În mod particular, statisticile testului Shapiro–Wilk au fost W (66) = 0.90, p <.001, iar statisticile testului Kolmogorov–Smirnov au fost D (66) = 0.17, p <.001. Trebuie menționat că același set complet nu a prezentat o distribuție normală nici după aplicarea transformărilor prin logaritm natural și rădăcină pătrată valorilor absolute.
Tabelul 4 de mai jos oferă statisticile descriptive pentru AIC scalat în raport cu principalele categorii de modele din Gagné et al. (2019), și anume decizia lexicală ELP, decizia lexicală BLP și denumirea ELP (fiecare grup conține 22 de modele). Figura 3 prezintă boxploturile corespunzătoare. După cum se poate observa, mediile și medianele
13 Testul Kolmogorov–Smirnov a aplicat corecția de semnificație Lilliefors.
282
Acta Linguistica Lithuanica XC
Page 11
Exploring Scaled AIC within English Closed Compounds
pentru decizia lexicală BLP și denumirea ELP se refereau la valori AIC scalat similare. Decizia lexicală ELP se referea la valori mai ridicate (=inferioare) care, în plus, erau disjuncte de valorile deciziei lexicale BLP.14 În rezumat, decizia lexicală BLP și denumirea ELP au impus întotdeauna modele mai bune decât decizia lexicală ELP.
TABELUL 4. Statistici descriptive pentru AIC scalat pe principalele categorii de modele
Era de așteptat ca profilul neparametric al setului complet de valori AIC scalat să apară mai puțin probabil în cadrul principalelor categorii de modele, adică în combinațiile principale de timpi de răspuns și sarcini. După cum va deveni evident, această așteptare a fost confirmată.
Testul Shapiro–Wilk a arătat că datele privind decizia lexicală ELP se abăteau semnificativ de la normalitate. În mod particular, am calculat o statistică de test W (22) = 0.90, p <.05.15
Datele privind decizia lexicală BLP au fost distribuite normal. Statisticile corespunzătoare au fost W (22) = 0.92, p >.05 (Shapiro–Wilk).
14 Un test t aplicat datelor sumare pentru decizia lexicală ELP și decizia lexicală BLP (Tabelul 4) a indicat o diferență extrem de semnificativă între mediile eșantioanelor, t = 18.296, p <.0001.
15 Trebuie remarcat faptul că un set de șase modele ELP de decizie lexicală s-au referit la valori ale AIC scalat apropiate de valoarea maximă de −3.15754, indicând cea mai slabă potrivire din întregul set de date. Aceste modele au contribuit la un vârf pronunțat spre capătul superior al distribuției (variind de la −3.17304 la −3.15754), rezultând într-un tipar de distribuție aproape bimodal. Această observație este susținută de o valoare relativ ridicată a kurtosisului negativ, de −1.444.
Straipsniai / Articles
283
Page 12
CHARITON CHARITONIDIS
FIGURA 3. Reprezentări boxplot ale AIC scalat pe principalele categorii de modele
În mod similar, datele ELP privind denumirea au fost distribuite normal. Statisticile respective au fost W (22) = 0.93, p >.05 (Shapiro–Wilk).
În rezumat, atât setul complet de modele, cât și modelele ELP de decizie lexicală au fost asociate cu o distribuție neparametrică a AIC scalat. Pe de altă parte, datele BLP privind decizia lexicală și datele ELP privind denumirea au fost distribuite normal. Să încercăm acum să descoperim influența factorilor individuali asupra AIC scalat.
6.2. AIC scalat în raport cu sursa timpului de răspuns și sarcinile
Tabelul 5 de mai jos conține statisticile descriptive pentru valorile AIC scalat ale grupurilor clasificate în funcție de principalii factori „timpi de răspuns” și „sarcini”, adică (a) timpi de răspuns ELP, (b) timpi de răspuns BLP, (c) sarcina de denumire și (d) sarcina de decizie lexicală. Timpii de răspuns ELP și sarcina de decizie lexicală
284
Acta Linguistica Lithuanica XC
Page 13
Exploring Scaled AIC within English Closed Compounds
sunt grupuri generale care se referă, respectiv, la „decizie lexicală și denumire” și „ELP și BLP”. Grupurile „BLP” și „Denumire” sunt identice cu categoriile de modele „decizie lexicală BLP” și, respectiv, „denumire ELP”, prezentate deja în Tabelul 4 (secțiunea 6.1). Figura 4 prezintă reprezentările boxplot respective.
După cum se poate observa în Tabelul 5, atât „BLP”, cât și „Denumire” au indicat (a) valori principale și mediane mai mici (= mai bune) pentru AIC scalat și (b) valori mai mici ale deviației standard (SD) și intervalului intercuartil (IQR), spre deosebire de grupurile generale „timpi de răspuns ELP” și „decizie lexicală”.16 Aceleași grupuri generale au valori relativ ridicate ale kurtosisului, și anume −1.403 și, respectiv, −1.616 (în histogramele pentru aceste grupuri – neprezentate aici – au apărut două vârfuri clare, similare celor ale unei distribuții bimodale a valorilor). Aceste tipare sugerează că măsura AIC scalat a fost asociată în mod unic cu categoriile experimentale bine definite „decizie lexicală BLP” (vezi grupul „BLP”) și „denumire ELP” (vezi grupul „Denumire”).
TABELUL 5.
Statistici descriptive pentru AIC scalat privind grupurile clasificate în „timpi de răspuns” și „sarcini”
16 Mediile și medianele mai mici, împreună cu valorile mai reduse ale deviației standard și intervalului intercuartil, indică o fiabilitate mai mare și o susceptibilitate redusă la valori aberante sau extreme.
Straipsniai / Articles
285
Page 14
CHARITON CHARITONIDIS
FIGURA 4. Reprezentări boxplot pentru AIC scalat privind grupurile clasificate în „timpi de răspuns” și „sarcini”
La fel ca în cazul întregului set de valori AIC scalat discutat în secțiunea 6.1, era de așteptat ca pentru grupurile generale „ELP” și „decizie lexicală”, care nu sunt limitate la experimente specifice, să fie evident un profil neparametric. Testele de normalitate ne-au confirmat așteptările.
În ceea ce privește testul Shapiro–Wilk, datele AIC scalat pentru grupul ELP s-au abătut semnificativ de la normalitate. Am calculat o statistică de test W (44) = 0.91, p <.01. În mod similar, datele AIC scalat pentru grupul de decizie lexicală s-au abătut semnificativ de la normalitate. Am calculat o statistică de test W (44) = 0.89, p <.001.
Să trecem acum la analiza efectelor principale. Obiectivul principal a fost să stabilim dacă grupurile „decizie lexicală BLP” și „denumire ELP” continuă să prezică modele mai bune atunci când se controlează efectele oricăruia dintre grupuri.
În testele statistice care urmează, grupurilor clasificate în funcție de principalii factori „timpi de răspuns” și „sarcini” li s-au atribuit valori nominale. Media AIC scalat pentru grupul BLP, adică −3.623, a fost utilizată ca celulă de referință sau intercept.
Rezultatele au arătat că atât timpii de răspuns, cât și sarcinile au avut un efect principal asupra AIC scalat, însă nu a existat o interacțiune. În particular, a existat un efect principal semnificativ al timpilor de răspuns, F (1, 63) = 271.87, p <.001. În termenii regresiei, coeficientul pentru ELP a prezis o valoare mai mare, adică inferioară, a AIC scalat, b = 0.37, SE = 0.02, t = 16.49, p <.001. În plus, a existat un efect principal semnificativ al sarcinilor, F (1, 63) = 275.42, p <.001. În termenii regresiei, coeficientul pentru denumire a prezis o valoare mai mică, adică mai bună, a AIC scalat, b = −0.37, SE = 0.02, t = −16.60, p <.001.
Figura 5 oferă o prezentare generală a efectelor principale prin intermediul unui grafic cu puncte și linii. Interceptul sau celula de referință se referă atât la cea mai mică valoare ELP de denumire, cât și la cea mai mare valoare BLP de decizie lexicală, adică −3.623. Liniile sunt suprapuse
286
Acta Linguistica Lithuanica XC
Page 15
Exploring Scaled AIC within English Closed Compounds
vertical deoarece intervalele valorilor AIC scalat pentru decizia lexicală ELP și decizia lexicală BLP nu s-au intersectat (vezi Tabelul 4). În plus, liniile sunt paralele deoarece absența unui grup „denumire BLP” în cadrul sarcinilor a eliminat orice efecte de interacțiune.
În rezumat, timpii de răspuns BLP și sarcina de denumire au prezis în mod constant valori mai bune ale AIC scalat, chiar și după controlarea reciprocă pentru factorii relevanți. Aceste constatări sporesc acuratețea și eficiența modelelor respective.
FIGURA 5. Graficul efectelor principale pentru AIC scalat
Trebuie remarcat faptul că analiza efectelor principale prezentată în această secțiune este mai aplicabilă sursei timpilor de răspuns decât performanței la sarcină deoarece, după cum s-a menționat deja, combinația „denumire BLP” nu era disponibilă. Acest fapt poate limita generalizabilitatea rezultatelor dincolo de eșantioanele specifice.
6.3. AIC scalat în raport cu variabilele de control
În această secțiune, accentul va fi pus pe variabilele de control lungimea compusului (în caractere) și frecvența SUBTLEX-US, adică frecvența logaritmică a compusului derivată din corpusul SUBTLEX-US (Brysbaert, New 2009). Ambele variabile au fost utilizate pe larg în modelele de regresie ale lui Gagné et al. (2019).
Straipsniai / Articles
287
Page 16
CHARITON CHARITONIDIS
Pentru a detecta influența lungimii compusului și a frecvenței compusului asupra AIC scalat, coeficienții de regresie respectivi au fost recodificați în valori ordinale în funcție de pozitivitatea și nivelul lor de semnificație; vezi Tabelul 6. Nivelurile de semnificație au fost mapate pe scale ordinale deoarece reprezentau puncte convenționale de delimitare bazate pe valorile exacte ale semnificației.
TABELUL 6. Tabel de recodificare ordinală pentru coeficienții de regresie
Semnificație Pozitivitate Valori ordinale Descriere p <.001 negativ −3 efect negativ mare p <.01 negativ −2 efect negativ moderat p <.05 negativ −1 efect negativ mic p >.05 negativ/pozitiv 0 efect nesemnificativ p <.05 pozitiv 1 efect pozitiv mic p <.01 pozitiv 2 efect pozitiv moderat p <.001 pozitiv 3 efect pozitiv mare
În modelele lui Gagné et al. (2019), frecvența SUBTLEX-US a fost asociată întotdeauna cu coeficienți negativi (= care reduc latența), cu un efect mare, p <.001. În consecință, toți coeficienții au fost recodificați ca −3, valoare perfect coliniară cu variabila rezultat, AIC scalat. Din acest motiv, frecvența SUBTLEX-US a fost exclusă din analiza de față.
În ceea ce privește lungimea compusului, toți coeficienții de regresie semnificativi din modelele lui Gagné et al. (2019) au avut un efect pozitiv mare (= care induce latența), p <.001. Spre deosebire de variabila SUBTLEX-US, au apărut mai mulți coeficienți nesemnificativi. Având în vedere aceste tipare, a fost creată o variabilă categorială cu valorile „1” pentru efect pozitiv (= interferența lungimii compusului) și „0” pentru niciun efect (= nicio interferență a lungimii compusului). Eșantionul rezultat a conținut 39 de valori AIC scalat. Testul de corelație Pearson între lungimea compusului și AIC scalat a generat un coeficient de corelație foarte semnificativ de 0.51, p =.001, indicând o corelație moderată spre puternică între cele două variabile.
Lungimea compusului a fost inclusă ca unică variabilă independentă într-un model de regresie liniară. S-a constatat că media AIC scalat prezisă pentru absența interferenței lungimii compusului a fost 3.611 (= interceptul). Interferența lungimii compusului a rezultat într-o valoare mai mare (= inferioară) de −3.407 (b = 0.204, p =.001). Figura 6 de mai jos ilustrează aceste tipare. Pe scurt, AIC scalat se deteriorează atunci când lungimea compusului devine relevantă în cadrul modelelor.
288
Acta Linguistica Lithuanica XC
Page 17
Exploring Scaled AIC within English Closed Compounds
FIGURA 6. Lungimea compusului și AIC scalat
Am efectuat ANOVA separate pentru sursa timpului de răspuns (ELP/BLP) și performanța la sarcină (decizie lexicală/denumire), luând în considerare lungimea compusului ca variabilă covariată. Obiectivul principal a fost identificarea diferențelor dintre medii care fuseseră ajustate anterior pentru a ține cont de efectele de control ale lungimii compusului.
(a) ANOVA pentru sursa timpului de răspuns. BLP a primit valoarea „0”, iar ELP a primit valoarea „1”. Testul de corelație Pearson a evidențiat o coliniaritate puternică între sursa timpului de răspuns și lungimea compusului, r = 1 (N = 39). Următoarele dovezi susțin constatarea noastră: în primul rând, grupul ELP a prezentat în mod constant corelații pozitive semnificative cu lungimea compusului, indicând un efect mare. În al doilea rând, grupul BLP a prezentat în mod constant corelații nesemnificative cu lungimea compusului. În consecință, media AIC scalat prezisă pentru sursa timpului de răspuns a fost aceeași cu sau fără lungimea compusului în analiză (M = 3.407 în ambele cazuri). În rezumat, lungimea compusului nu a avut un efect semnificativ asupra AIC scalat atunci când sursa timpului de răspuns a fost inclusă.
(b) ANOVA pentru performanța la sarcină. Denumirii i s-a atribuit valoarea „0”, iar deciziei lexicale i s-a atribuit valoarea „1”. Testul de corelație Pearson a evidențiat o corelație negativă între sarcină și lungimea compusului, indicând un efect moderat, r = −.5, p =.001 (N = 39). Acest rezultat sugerează că lungimea compusului este mai relevantă pentru denumire decât pentru decizia lexicală.
17 Trebuie remarcat faptul că 11 dintre cei 13 coeficienți BLP au fost negativi.
Straipsniai / Articles
289
Page 18
CHARITON CHARITONIDIS
Atunci când sarcina a fost considerată variabila principală, lungimea compusului a fost un predictor semnificativ al AIC scalat, F (1, 145.030), p =.000. În mod similar, atunci când lungimea compusului a fost considerată variabila principală, sarcina a fost un predictor semnificativ al AIC scalat, F (1, 125.30), p =.000. Media AIC scalat prezisă numai pentru sarcină a fost semnificativ diferită de media AIC scalat prezisă atunci când s-a ținut cont de lungimea compusului (3.584 față de 3.203, respectiv). De asemenea, media AIC scalat prezisă numai pentru lungimea compusului (3.584) a fost semnificativ diferită de media AIC scalat prezisă atunci când s-a ținut cont de sarcină (−3.23). În rezumat, în ceea ce privește ajustarea pentru covariate, atât sarcina de decizie lexicală, cât și lungimea compusului au prezis modele inferioare.
6.4. AIC scalat în raport cu normele de transparență
Această secțiune investighează efectul coeficienților de regresie pentru transparența semantică din modelele lui Gagné et al. (2019) asupra AIC scalat. Acești coeficienți de regresie au fost codificați pe trei scale ordinale, fiecare corespunzând unuia dintre cele trei niveluri morfologice, și anume compusului, primului constituent și celui de-al doilea constituent. Tabelul de recodificare ordinală poate fi găsit în Tabelul 6.
Tabelul 7 de mai jos prezintă medianele și intervalele coeficienților de transparență transformați ordinal pentru toate cele trei niveluri morfologice. Medianele oferă informații utile despre tendința centrală și dispersia valorilor ordinale și pot contribui la fundamentarea analizelor bazate pe variabile ordinale.
TABELUL 7. Coeficienți de transparență transformați ordinal: mediane și intervale
Mediană Minim Maxim Compus −3 −3 −1 Primul constituent 2 −3 3 Al doilea constituent 0 −2 3
N = 18
După cum se poate observa, mediana pentru compus a fost „−3”, mediana pentru primul constituent a fost „2”, iar mediana pentru al doilea constituent a fost „0”. Aceste constatări sugerează că în modelele lui Gagné et al. (2019) cu frecvență SUBTLEX–US, transparența compusului a fost asociată cu un efect negativ mare (timpi de răspuns mai scurți), transparența primului constituent a fost asociată cu un efect pozitiv moderat (timpi de răspuns mai lungi), iar transparența celui de-al doilea constituent nu a avut un efect semnificativ sau a avut
290
Acta Linguistica Lithuanica XC
Page 19
Exploring Scaled AIC within English Closed Compounds
un rol incert. Nivelurile mai ridicate de transparență pentru al doilea constituent, raportate de Gagné et al. (ibid.), sugerează o tendință intrinsecă în favoarea acestuia, ceea ce face ca transparența generală a compusului să depindă de transparența primului constituent. În acest context, mediana pozitivă, generatoare de latență, pentru primul constituent indică rolul său mediator, poate de stabilire a referinței, în această relație (vezi și secțiunea 1). Rămâne să se demonstreze care sunt funcțiile semantice care reprezintă suficient, în termeni de procesare, tendința intrinsecă a celui de-al doilea constituent.18
Întrebarea de cercetare care urmează să fie abordată este dacă pozitivitatea și nivelul de semnificație al coeficienților de transparență influențează AIC scalat. Metoda noastră urmărește în principal detectarea efectelor de supraadaptare. După cum susțin Daniel J. Navarro & Jay I. Myung (2005), „un model complex, cu mulți parametri și o formă puternic neliniară, poate adesea să se potrivească mai bine datelor decât un model simplu, cu puțini parametri, chiar dacă acesta din urmă a generat datele” (Navarro, Myung 2005: 1240). În consecință, un număr mare de parametri poate surprinde zgomotul sau caracteristicile unice ale datelor disponibile, dar poate împiedica capacitatea modelului de a generaliza la date noi. AIC atenuează problema supraadaptării prin introducerea unei penalizări pentru includerea numeroșilor parametri într-un model; vezi partea „+2k” a ecuației AIC din secțiunea 2.
În ceea ce privește analiza care urmează, se postulează că modelele care prezintă valori mai ridicate (= inferioare) ale AIC scalat pot avea coeficienți semnificativi, derivați sistematic, adică coeficienți relevanți conform exclusiv setului de date LADEC. În acest context, conjectura noastră sugerează că ar putea apărea o tendință contrastantă în relația dintre transparență și AIC scalat, comparativ cu indicația oferită de medianele din Tabelul 7.
În particular, valori mai mici (= mai bune) ale AIC scalat pot fi asociate cu (a) coeficienți pozitivi (timpi de răspuns mai lungi) privind întregul compus, (b) coeficienți negativi (timpi de răspuns mai scurți) privind primul constituent și (c) coeficienți pozitivi sau negativi (timpi de răspuns mai lungi sau, respectiv, mai scurți) privind al doilea constituent. Trebuie remarcat faptul că, în ceea ce privește al doilea constituent, mediana din Tabelul 7 sugerează absența unui efect.
Pentru a răspunde întrebării de cercetare, vor fi utilizate două măsuri neparametrice, și anume testul Kruskal–Wallis și testul Jonckheere–Terpstra. Testul Kruskal–Wallis, cunoscut și sub denumirea de „testul H”, este un test neparametric bazat pe
18 În Charitonidis (2024) se susține că atât hiponimia, cât și concretețea contextuală pentru al doilea constituent sunt predictori semantici semnificativi în decizia lexicală și denumire. Analiza prezentată acolo arată că includerea ambilor predictori conduce la o îmbunătățire a AIC scalat și R2 comparativ cu modelele care omit oricare dintre aceste variabile.
Straipsniai / Articles
291
Page 20
CHARITON CHARITONIDIS
distribuția chi-pătrat. Aceasta presupune ca variabila dependentă să fie ordinală sau continuă. Testul este conceput pentru a determina dacă există diferențe semnificative între medianele a două sau mai multe grupuri și este utilizat ca alternativă la ANOVA unifactorială. În ceea ce privește procedura, valorile variabilei dependente continue, adică AIC scalat, au fost ordonate de la cea mai mică la cea mai mare, iar scorurilor li s-au atribuit ranguri. Rangurile rezultate au fost reintroduse în grupurile nivelului de semnificație (variabila independentă), iar rangurile pentru fiecare grup au fost însumate. Formula de calcul al lui „H” a implicat, printre altele, ridicarea la pătrat a sumei rangurilor pentru fiecare grup și apoi împărțirea acestei valori la dimensiunea eșantionului.
Tabelele 8–10 conțin datele de intrare luate în considerare și suma rangurilor pentru fiecare grup.
19
20
suma rangurilor pentru fiecare grup.
TABELUL 8. Compus
Niveluri de semnificație | N | Suma rangurilor AIC scalat | 1 – efect negativ mic | 1 | 2 | 2 – efect negativ moderat | 5 | 46 | 3 – efect negativ mare | 12 | 123 | Total | 18 |
19 Pentru restul calculelor, vezi Field (2009: 561–562).
20 În toate cele trei tabele, suma totală a rangurilor este aproximativ 171. Ea este egală cu suma numerelor întregi de la 1 la 18; vezi dimensiunea eșantionului (N).
292
Acta Linguistica Lithuanica XC
Page 21
Exploring Scaled AIC within English Closed Compounds
Înainte de a pătrunde în rezultatele testului Kruskal-Wallis (H), este important de menționat că acest test nu oferă informații despre diferențele specifice dintre grupurile individuale. Pentru a aborda această problemă, a fost utilizat suplimentar testul Jonckheere-Terpstra (JT). Acest test a oferit informații despre măsura în care medianele grupurilor au crescut sau au scăzut în ordinea specificată de variabila de codificare (= grupare), mai exact de la efect pozitiv mare la efect negativ mare. În ceea ce privește metodele, statistica JT a fost convertită într-un scor z. O valoare z pozitivă a indicat o tendință de creștere a medianelor, adică medianele au crescut (= AIC scalat mai ridicat/inferior) pe măsură ce valorile variabilei de codificare au crescut. O valoare z negativă a indicat o tendință de scădere a medianelor, adică medianele au scăzut (= AIC scalat mai scăzut/mai bun) pe măsură ce valorile variabilei de codificare au crescut. În continuare, rezultatele testelor Kruskal-Wallis (H) și Jonckheere-Terpstra (JT) sunt prezentate împreună.
(a) AIC scalat pentru compus nu a fost afectat semnificativ de nivelul de semnificație, după cum a fost determinat de testul Kruskal-Wallis (H (2) = 2.226, p >.05). A fost identificată o tendință de creștere a medianelor, confirmând ipoteza noastră privind supraadaptarea; vezi mediana negativă pentru compus din Tabelul 7. Această tendință nu a fost însă semnificativă statistic conform testului Jonckheere-Terpstra (JT = 50, z = 1.064, p >.05).
(b) AIC scalat pentru primul constituent nu a fost afectat semnificativ de nivelul de semnificație, după cum a fost determinat de testul Kruskal-Wallis (H (6) = 5.427, p >.05). A fost identificată o tendință de creștere a medianelor, respingând ipoteza noastră privind supraadaptarea; vezi mediana pozitivă pentru primul constituent din Tabelul 7. Această tendință nu a fost însă semnificativă statistic conform testului Jonckheere-Terpstra (JT = 70, z = 0.549, p >.05).
(c) AIC scalat pentru al doilea constituent nu a fost afectat semnificativ de nivelul de semnificație, după cum a fost determinat de testul Kruskal-Wallis (H (4) = 4.607, p >.05). Nu a fost observată o tendință de creștere sau de scădere a medianelor, respingând
Straipsniai / Articles
293
Page 22
CHARITON CHARITONIDIS
ipoteza noastră privind supraadaptarea. În particular, statistica z a testului Jonckheere–Terpstra a fost practic nulă, în concordanță cu mediana nulă pentru al doilea constituent din Tabelul 7 (JT = 54, z = 0.041, p >.05).
În rezumat, se poate deduce că nivelul de semnificație al coeficienților de transparență din modelele lui Gagné et al. (2019) cu frecvență SUBTLEX-US nu afectează magnitudinea AIC scalat. Această constatare susține indirect calitatea modelelor lui Gagné et al. (2019) cu predictori de transparență, indicând în mod specific că ipoteza supraadaptării pentru aceste modele nu este sustenabilă. O limitare a studiului de față este dimensiunea mică a eșantionului utilizat, N = 18. Pentru confirmarea constatărilor noastre, sunt necesare cercetări suplimentare care să utilizeze un interval mai larg de valori AIC scalat.
Pentru a asigura claritatea și exhaustivitatea prezentării rezultatelor cercetării noastre, am inclus o secțiune dedicată sintetizării principalelor constatări ale studiului. Pentru această prezentare cuprinzătoare, vă rugăm să continuați cu Secțiunea 7.
7. PRINCIPALELE CONSTATĂRI
Tabelul 11 de mai jos prezintă o analiză cuprinzătoare a performanței modelelor și a variabilelor relevante în contextul sarcinilor de decizie lexicală și denumire, pe baza constatărilor lui Gagné et al. (2019). Fiecare secțiune a tabelului abordează subiecte specifice, evidențiind care modele sunt cele mai eficiente. Testele ANOVA și Kruskal–Wallis/Jonckheere–Terpstra (secțiunile 6.3 și 6.4) au fost aplicate după atribuirea unor valori nominale (ordinale sau categoriale) coeficienților de regresie din modelele lui Gagné et al. (2019). Pentru detalii privind testele speciale aplicate, consultați secțiunile respective.
TABELUL 11.
AIC scalat în cadrul compuselor închise din limba engleză: analiză cuprinzătoare a performanței modelelor în sarcinile de decizie lexicală și denumire (Gagné et al. 2019)
294
Acta Linguistica Lithuanica XC
Page 23
Exploring Scaled AIC within English Closed Compounds
Subiecte | Statistici | Evaluare | Secțiune Variabile de control | ANOVA | Frecvența compusului ✓; Lungimea compusului ~ | 6.3 Transparență semantică | Kruskal–Wallis Jonckheere–Terpstra | Primul constituent NOF/ns; Al doilea constituent NOF/ns; Compus NOF/ns | 6.4
PAR: date parametrice | NPAR: date neparametrice | ✓: modele mai bune (AIC mai mic) ~: modele inferioare (AIC mai mare) | NOF/ns: fără supraadaptare/test nesemnificativ
8. DISCUȚIE
Cercetările anterioare ale lui Charitonidis (2022, 2024) au demonstrat că AIC scalat este o măsură fiabilă a potrivirii, care poate fi utilizată în selecția modelelor, poate în colaborare cu alte măsuri, precum testul Wald (vezi secțiunea 3). Cu referire la modelele de regresie multiplă ale lui Gagné et al. (2019) cu frecvență SUBTLEX-US, analiza de față a introdus proprietăți suplimentare ale măsurii AIC scalat. Deși au fost formulate preocupări valide cu privire la compararea modelelor ajustate pe dimensiuni diferite ale eșantionului folosind criterii informaționale (vezi secțiunea 2), constatările acestui studiu sugerează că, în anumite contexte, AIC scalat poate fi într-adevăr un instrument valoros pentru evaluarea potrivirii modelelor și ierarhizarea modelelor de regresie. Cercetarea noastră a demonstrat că AIC scalat răspunde la designul experimental, sursele timpilor de răspuns și sarcinile specifice. Cu toate acestea, este esențial să recunoaștem că aplicabilitatea AIC scalat poate depinde de context, iar utilitatea sa ar trebui evaluată de la caz la caz.
Înainte de a trece la principalele constatări ale acestei lucrări, este important să abordăm întrebările de cercetare formulate în secțiunea 4.
1. Distribuțiile valorilor Scaled AIC, împreună cu combinațiile diferitelor surse ale timpilor de răspuns și ale sarcinilor de procesare, sugerează că Scaled AIC identifică eficient prezența sau absența unor factori subiacenți bine definiți în proiectarea experimentală și modelarea statistică. În acest context, decizia lexicală BLP și denumirea ELP au prezentat o putere predictivă mai mare pentru Scaled AIC chiar și în condiții controlate.
2. Frecvența compound-urilor a fost, fără excepție, un predictor negativ al Scaled AIC, indicând întotdeauna un efect mare. Decizia lexicală ELP a arătat în mod constant
Straipsniai / Articles
295
Page 24
CHARITON CHARITONIDIS
corelații pozitive semnificative cu lungimea compound-urilor, prezicând valori mai mari (=inferioare) ale Scaled AIC. Decizia lexicală BLP a prezentat în mod constant corelații nesemnificative cu lungimea compound-urilor. Atât decizia lexicală, cât și lungimea compound-urilor au prezis modele inferioare în ajustarea covariatelor.
3. Pozitivitatea și nivelul de semnificație al coeficienților transparenței din modelele lui Gagné et al. (2019) nu au afectat magnitudinea Scaled AIC. Această constatare implică faptul că modelele lui Gagné et al. (2019) cu predictori ai transparenței nu introduc un bias de supraajustare.
Prin referirea la secțiuni specifice ale analizelor, principalele constatări ale acestui studiu pot fi rezumate după cum urmează:
În Secțiunea 6.1, analiza noastră s-a concentrat asupra comparației dintre valorile Scaled AIC din diverse categorii de modele. Chiar și după încercarea transformărilor „logaritm natural” și „rădă pătrată” asupra valorilor absolute, eșantionul general de valori Scaled AIC nu s-a conformat unei distribuții normale. În mod similar, modelele de decizie lexicală ELP au prezentat o distribuție neparametrică a valorilor lor Scaled AIC. Dimpotrivă, datele referitoare la decizia lexicală BLP și denumirea ELP au urmat un tipar de distribuție normală.
În Secțiunea 6.2, atenția noastră s-a îndreptat către examinarea relației dintre Scaled AIC și (a) sursele timpilor de răspuns și (b) performanța în sarcină. În mod interesant, intervalele valorilor Scaled AIC pentru modelele de decizie lexicală ELP și BLP nu s-au suprapus, semnalând caracterul lor distinct. Rezultatele testelor au evidențiat efecte principale semnificative atât ale sursei timpilor de răspuns, cât și ale performanței în sarcină asupra Scaled AIC. În mod remarcabil, capacitatea predictivă a Scaled AIC a fost mai bună pentru modelele asociate cu timpii deciziei lexicale BLP și cu sarcina de denumire. Aceste constatări contribuie în mod semnificativ la precizia și eficacitatea modelelor respective.
În Secțiunea 6.3, explorarea noastră s-a aprofundat în relația dintre Scaled AIC și variabilele de control „frecvența compound-urilor” și „lungimea compound-urilor”. Frecvența compound-urilor a fost exclusă din analiză deoarece era perfect coliniară cu Scaled AIC. Pe de altă parte, s-a observat o scădere a valorilor Scaled AIC atunci când lungimea compound-urilor devenea un factor relevant în cadrul modelelor. Concomitent, lungimea compound-urilor a fost cel mai relevantă pentru sarcina de denumire.
În ceea ce privește ajustarea covariatelor, atât sarcina de decizie lexicală, cât și lungimea compound-urilor au fost predictive pentru modele inferioare.
În Secțiunea 6.4, atenția noastră s-a concentrat asupra relației dintre Scaled AIC și transparența semantică. Întrebarea de cercetare a fost dacă pozitivitatea și nivelul de semnificație al coeficienților transparenței din modelele lui Gagné et al. (2019) au avut un impact asupra Scaled AIC. Obiectivul principal al metodei noastre a fost detectarea unor posibile efecte de supraajustare. Am postulat că modelele cu valori Scaled AIC inferioare ar putea poseda coeficienți semnificativi care prezintă relevanță
296
Acta Linguistica Lithuanica XC
Page 25
Exploring Scaled AIC within English Closed Compounds
conform exclusiv setului de date LADEC. Deși am observat o tendință de creștere a valorilor Scaled AIC (=inferioare) pentru un grup de coeficienți negativi semnificativi la nivelul compound-urilor — în concordanță cu ipoteza noastră privind supraajustarea — testul Jonckheere–Terpstra a arătat că această tendință nu a atins semnificație statistică.
În concluzie, explorarea diferiților parametri folosind Scaled AIC ca variabilă dependentă a evidențiat diversele moduri în care categoriile de modele, sursa timpilor de răspuns, sarcinile de procesare, variabilele de control și transparența semantică influențează adecvarea modelelor. Recunoscând relațiile nuanțate dintre aceste elemente, cercetătorii sunt mai bine pregătiți să ia decizii informate privind selecția, ajustarea și interpretarea modelelor.
REFERENCES
Akaike Hirotugu 1973: Information Theory and an Extension of the Maximum Likelihood Principle. – Second International Symposium on Information Theory, eds. B. F. Csaki, B. N. Petrov, Budapest: Academiai Kiado, 267–281.
Aldrich John R. 1997: R. A. Fisher and the Making of Maximum Likelihood 1912–1922. – Statistical Science 12(3), 162–176.
Baayen Harald R., Piepenbrock Richard, Gulikers Leon 1995: The CELEX Lexical Database (Data set, Release 2, CD-ROM), Linguistic Data Consortium, University of Pennsylvania. Available at: https://catalog.ldc.upenn.edu.
Balota David A., Yap Melvin J., Cortese Michael J., Hutchison Keith I., Kessler Brett, Loftis Bjorn, Neely James H., Nelson Douglas L., Simpson Greg B., Treiman Rebecca 2007: The English Lexicon Project. – Behavior Research Methods 39, 445–459.
Brysbaert Marc, New Boris 2009: Moving Beyond Kučera and Francis: A Critical Evaluation of Current Word Frequency Norms and the Introduction of a New and Improved Word Frequency Measure for American English. – Behavior Research Methods 41, 977–990. DOI: doi.org/10.3758/BRM.41.4.977.
Burnham Kenneth P., Anderson David R. 2002: Model Selection and Multimodal Inference: A Practical Information-Theoretic Approach, 2ⁿᵈ edition, New York: Springer. DOI: dx.doi.org/10.1007/b97636.
Charitonidis Chariton 2022: Context Concreteness for the Second Constituent Slows Down Compound-Word Processing. – Lexis 20. DOI: doi.org/10.4000/lexis.6769.
Straipsniai / Articles
297
Page 26
CHARITON CHARITONIDIS
Charitonidis Chariton 2024: The Role of Hyponymy and Context Concreteness in Compound Word Processing. – Studia Neophilologica. DOI: doi.org/10.1080/00393274.2024.2336851.
Chen Xiaocong, Dong Yanping, Yu Xiufen 2018: On the Predictive Validity of Various Corpus-Based Frequency Norms in L2 English Lexical Processing. – Behavior Research Methods 50, 1–25. DOI: doi.org/10.3758/s13428-017-1001-8.
Field Andy 2009: Discovering statistics using SPSS, 3rd edition, London: Sage Publications.
Fisher Ronald A. 1922: On the Mathematical Foundations of Theoretical Statistics. – Philosophical Transactions of the Royal Society of London, Series A 222, 309–368.
Gagné Christina L., Spalding Thomas L., Schmidtke Daniel 2019: LADEC: The Large Database of English Compounds. – Behavior Research Methods 51, 2152–2179. DOI: doi.org/10.3758/s13428-019-01282-6.
Gagné Christina L., Spalding Thomas L., Spicer Patricia, Wong Dixie, Rubio Beatriz, Perez-Cruz Karen 2020: Is Buttercup a Kind of Cup? Hyponymy and Semantic Transparency in Compound Words. – Journal of Memory and Language 113. DOI: doi.org/10.1016/j.jml.2020.104110.
Hastie Trevor, Tibshirani Robert, Friedman Jerome 2009: The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd edition, New York: Springer.
Keuleers Emmanuel, Lacey Paula, Rastle Kathleen, Brysbaert Marc 2012: The British Lexicon Project: Lexical Decision Data for 28,730 Monosyllabic and Disyllabic English Words. – Behavior Research Methods 44, 287–304. DOI: doi.org/10.3758/s13428-011-0118-4.
Kullback Solomon 1959: Information Theory and Statistics. New York: Wiley.
Navarro Daniel J., Myung Jay I. 2005: Model Evaluation. – Encyclopedia of Statistics in Behavioral Science, vol. 3, eds. B. S. Everitt, D. C. Howell, Chichester: Wiley, 1239–1242.
Steiger James H. 1980: Tests for Comparing Elements of a Correlation Matrix. – Psychological Bulletin 87(2), 245–251. DOI: doi.org/10.1037/0033-2909.87.2.245.
Wagenmakers Eric-Jan, Farrell Simon 2004: AIC Model Selection Using Akaike Weights. – Psychonomic Bulletin & Review 11(1), 192–196.
298
Acta Linguistica Lithuanica XC
Page 27
Exploring Scaled AIC within English Closed Compounds
I N T E R N E T D I S C U S S I O N S
Model comparison with AIC based on different sample size. Available at: https://stats.stackexchange.com/questions/94718/model-comparison-with-aic-based-on-different-sample-size [accessed 15.5.2024].
What is the acceptable range of skewness and kurtosis for normal distribution of data? Available at: https://www.researchgate.net/post/What_is_the_acceptable_range_of_skewness_and_kurtosis_for_normal_distribution_of_data [accessed 15.5.2024].
L A R G E L A N G U A G E M O D E L S
GPT-3.5 (available at: https://chat.openai.com/) and Google Gemini (available at: https://gemini.google.com [accessed 11.10.2023]) were selectively used as auxiliary proofreading and editing tools. The responses from both AI tools were further proofread and edited by the author.
Anglų kalbos uždarųjų junginių (sudurtinių žodžių) skalės AIC tyrimas
S A N T R A U K A
Šiame tyrime nagrinėjamos modifikuotos Akaikės informacijos kriterijaus, pavadinto skalės kriterijumi, t. y. AIC, kaip tinkamumo rodiklio, padalinto iš imties dydžio, varianto ypatybės. Tyrimo objektas – 66 daugialypės regresijos modeliai, susiję su uždarųjų (sudurtinių) anglų kalbos žodžių junginių, paimtų iš Gagné'es ir kitų (2019) Anglų kalbos sudurtinių žodžių (junginių) didžiosios duomenų bazės (angl. LADEC), apdorojimu. Toliau pateikiami išsamios analizės rezultatai:
1. Modelių kategorijų modeliai pasižymi nevienareikšmiais rezultatais. Britų kalbos žodyno projekto (angl. BLP) leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto (angl. ELP) įvardijimo modeliai veikia geriau (tai rodo mažesnis AIC), palyginus su Anglų kalbos žodyno projekto (angl. ELP) leksinių sprendimų modeliais.
Straipsniai / Articles
299
Page 28
CHARITON CHARITONIDIS
2. Laiko šaltinio ir leksikos apdorojimo užduočių atsakymais atskleidžia reikšmingus pagrindinius skalės AIC rezultatus. Britų kalbos žodyno projekto leksinių sprendimų modeliai ir Anglų kalbos žodyno projekto įvardijimo modeliai veikia gerai, o pastarojo projekto leksinių sprendimų modeliai yra mažiau veiksmingi.
3. Įvertinus kontrolinius kintamuosius, tokius kaip junginių dažnumas ir junginių ilgis, matyti, kad modelių rezultatyvumas skiriasi. Junginių dažnumas yra stiprus veiksnys (parodo didesnis produktyvumas), o sudėtinio ilgio modelių prognozės blogesnės.
4. Kalbant apie pirmosios ir antrosios žodžių junginių sudedamųjų dalių, taip pat ir apie junginių semantinį skaidrumą, modeliai nerodo per didelio suderinamumo. Tai parodo, kad semantinis skaidrumas nesumažina modelių galėjimo apibendrinti naujus duomenis.
