Mity o morderstwie i wielokrotnej regresji


Original article: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm

Mity o morderstwie i wielokrotnej regresji

Przez Ted Goertzel

Uniwersytet w Rutgers, Camden NJ 08102 

Opublikowano w The Sceptyczny Inquirer, tom 26, nr 1, styczeń / luty 2002, str. 19-23. 
Tłumaczenie na język hiszpański jako "El Modelo Econometrico Como Ciencia Basura" w Psicologia Politica, nr 24 (Walencja, Hiszpania). 

Jeśli chcesz, aby dłużej, bardziej techniczna wersja tego dokumentu w formacie Word kliknij tutaj .

Czy wierzysz, że za każdym razem, gdy w Stanach Zjednoczonych zostaje więzień, ośmiu przyszłych morderstw zostanie zlekceważonych? Czy uważasz, że wzrost liczby obywateli o licencjach noszących ukryte broń o 1% powoduje 3,3% spadek wskaźnika morderstwa w państwie? Czy uważasz, że 10 do 20% spadku liczby przestępstw w latach dziewięćdziesiątych spowodowane było wzrostem aborcji w latach siedemdziesiątych? Albo, że od 1974 roku stopa morderstwa wzrosła o 250%, jeśli Stany Zjednoczone nie zbudowały tak wielu nowych więzień?

Jeśli byłeś wprowadzony w błąd przez którekolwiek z tych badań, mógłbyś spaść na szkodliwą formę nauk śmiecia: stosowanie modeli matematycznych bez udokumentowanej zdolności predykcyjnej do wyciągania wniosków politycznych. Badania te są powierzchownie imponujące. Napisane przez renomowanych naukowców z prestiżowych instytucji często pojawiają się w recenzowanych czasopismach naukowych. Wypełnieni złożonymi obliczeniami statystycznymi dają precyzyjne numeryczne "fakty", które mogą być wykorzystane jako punkty debaty w argumentach politycznych. Ale te "fakty" będą "wisiały". Zanim atrament wyschnie w jednym badaniu, drugi pojawia się z zupełnie odmiennymi "faktami". Pomimo ich naukowego wyglądu, modele te nie spełniają fundamentalnego kryterium użytecznego modelu matematycznego: zdolność do przewidywania lepszych niż losowa szansa.

Chociaż ekonomiści są wiodącymi praktykami tej sztuki tajnej, socjologowie, kryminolodzy i inni naukowcy społeczni również mają takie wersje. Znane jest z różnych nazw, w tym "modelowanie ekonometryczne", "modelowanie równań strukturalnych" i "analiza ścieżek". Wszystkie te sposoby wykorzystują korelacje między zmiennymi, aby wywołać spory przyczynowe. Problem z tym, jak każdy, kto miał przebieg statystyki wie, jest to, że korelacja nie jest przyczynowo. Korelacje między dwiema zmiennymi są często "fałszywe", ponieważ są spowodowane przez jakąś trzecią zmienną. Modelarze ekonometryczne próbują przezwyciężyć ten problem przez włączenie wszystkich istotnych zmiennych do swoich analiz przy użyciu techniki statystycznej zwanej "regresją wieloroczną". Gdyby ktoś miał doskonałe mierniki wszystkich zmiennych przyczynowych, działałoby to skutecznie. Ale dane nie są wystarczająco dobre. Powtarzające się próby wykorzystania wielokrotnej regresji w celu uzyskania ostatecznych odpowiedzi na pytania z zakresu polityki publicznej nie powiodły się.

Ale wielu naukowców społecznych niechętnie przyznaje się do porażki. Przez wiele lat poświęciły naukę i nauczanie modelowania regresji i nadal używają regresji do tworzenia argumentów przyczynowych, które nie są uzasadnione ich danymi. Nazywam te argumenty mitami wielokrotnej regresji i chciałbym wykorzystać przykłady w czterech badaniach dotyczących morderstw.

Mit: więcej broni, mniej zbrodni.

John Lott, ekonomista z Uniwersytetu Yale, wykorzystał model ekonometryczny, który twierdził, że "umożliwienie obywatelom ukrywania broni ukrywa gwałtowne przestępstwa, nie powodując przypadkowych zgonów". Analiza Lott dotyczyła "wydania" praw, które wymagają, aby władze lokalne wydały ukrytą broń, zezwalają każdemu obywatelowi, który ubiega się o prawo. Lott szacuje, że każdy jeden procent wzrostu udziału broni w populacji powoduje 3,3% spadek liczby zabójstw. Lott i jego współautor, David Mustard opublikował pierwszą wersję swojego badania internetowego w 1997 roku i dziesiątki tysięcy osób ją pobrało. Była to tematyka forów politycznych, kolumn gazetowych i często dość wyrafinowanych debat na temat sieci World Wide Web. W książce z chwytliwym tytułem More Guns, Less Crime, Lott zaatakował krytyków, oskarżając ich o ideologię przed nauką.

Praca Lotta jest przykładem statystycznej jednorodności. Ma więcej danych i bardziej złożoną analizę niż ktokolwiek inny studiujący temat. Żąda, aby ktokolwiek, kto chce kwestionować swoje argumenty, zanurza się w bardzo złożonej debacie statystycznej, opierającej się na obliczeniach tak trudnych, że nie mogą być wykonane przy użyciu zwykłych komputerów stacjonarnych. Wyzwala każdego, kto nie zgadza się z nim, aby pobrać jego zestaw danych i ponownie obliczyć jego obliczenia, ale większość socjologów nie uważa, aby warto było ich powtarzać, stosując metody, które wielokrotnie nie powiodły się. Większość badaczy kontroli pistoletu po prostu odrzuciła twierdzenia Lotta i Mustarda i kontynuowała pracę. Dwóch wysoko cenionych badaczy sprawiedliwości w sprawach karnych, Frank Zimring i Gordon Hawkins (1997) napisały artykuł wyjaśniający, że:

Podobnie jak panowie Lott i Mustard mogą z jednym modelem wyznań zabójstwa produkować statystyczne resztki sugerujące, że "wydają" prawa zmniejszają zabójstwo, oczekujemy, że określony ekonometria może prowadzić do traktowania tych samych okresów historycznych z różnymi modelami i Przeciwstawne efekty. Modelowanie ekonometryczne jest mieczem obosiecznym w celu ułatwienia statystycznych odkryć, aby rozgrzać serce prawdziwych wierzących dowolnego paska.

Zimring i Hawkins mieli rację. W ciągu roku dwóch wyznaczonych ekonometrii, Dan Black i Daniel Nagin (1998) opublikowały badania wykazujące, że jeśli nieco zmieniły model statystyczny lub zastosowały je do różnych segmentów danych, stwierdzenia Lotta i Mustarda znikły. Black i Nagin dowiedzieli się, że gdy Floryda została usunięta z próbki, "nie wykryto wpływu prawa do przewozu praw do morderstwa i gwałtu". Doszli oni do wniosku, że "wnioskowanie oparte na modelu Lott i Mustard jest niewłaściwe, a ich wyniki nie mogą być odpowiedzialnie wykorzystywane do sformułowania polityki publicznej".

John Lott kwestionował jednak ich analizę i nadal promował własne. Lott zebrał dane dla każdego z okręgów Ameryki każdego roku w latach 1977-1992. Problemem jest to, że powiaty w Ameryce różnią się znacznie pod względem wielkości i cech społecznych. Kilka dużych, zawierających duże miasta, stanowi bardzo duży odsetek morderstw w Stanach Zjednoczonych. Jak to się dzieje, żaden z tych bardzo dużych hrabstw nie "wyda" prawa kontroli pistoletu. Oznacza to, że ogromny zestaw danych Lotta był po prostu nieodpowiedni dla jego zadań. Nie zachowywał się w jego kluczowej zmiennej przyczynowo-prawnej - "wydaje" prawa - w miejscach, w których miało miejsce większość morderstw.

Nie wspomniał o tym ograniczeniu w swojej książce lub artykułach. Kiedy odkryłem, że w moim własnym badaniu jego danych brakuje "wydawania" prawa w głównych miastach, zapytałem go o to. Wzruszył ramionami, mówiąc, że w swojej analizie "kontrolował" wielkość populacji.Wprowadzenie statystycznej kontroli w analizie matematycznej nie polegało na tym, że po prostu nie miał danych dla największych miast, w których sprawa o zabójstwo była najbardziej dotkliwa.

Zajęło mi trochę czasu, aby znaleźć ten problem w jego danych, ponieważ nie byłem zaznajomiony z kwestią kontroli broni. Ale Zimring i Hawkins zintensyfikowali się natychmiast, ponieważ wiedzieli, że "wydają" prawa zostały ustanowione w stanach, w których National Rifle Association był potężny, głównie na południu, na zachodzie i na obszarach wiejskich. Były to państwa, które miały już niewielkie ograniczenia dotyczące broni. Zauważyli, że ta historia legislacyjna frustruje "naszą zdolność do porównywania tendencji w państwach" wydających "z tendencjami w innych państwach, ponieważ państwa, które zmieniły ustawodawstwo, różnią się od lokalizacji i konstytucji z państw, które tego nie zrobiły, porównania w kategoriach legislacyjnych będą zawsze Ryzyko pogłębienia wpływu demograficznego i regionalnego na wpływ zachowań różnych systemów prawnych ". Zimring i Hawkins ponadto zauważyli, że:

Lott i musztarda są oczywiście świadomi tego problemu. Ich rozwiązaniem, standardowa technika ekonometryczna, jest zbudowanie modelu statystycznego, który będzie kontrolował wszystkie różnice między Idaho i Nowym Jorkiem, które mają wpływ na liczbę zabójstw i przestępstw, poza prawem "wydającym". Jeśli w naszym modelu można "określić" główne czynniki wpływające na zabójstwo, gwałty, włamania i kradzieże samochodów, można wyeliminować wpływ tych czynników na różne tendencje. Lott i Mustard budują modele, które oceniają wpływ danych demograficznych, danych ekonomicznych i karania na różne przestępstwa. Modele te są ostateczną statystyczną kuchnią domową, ponieważ są tworzone dla tych zestawów danych przez tych autorów i badane tylko na danych, które będą wykorzystane do oceny wpływu, jaki ma być wykonany.

Lott i musztarda porównują trendy w Idaho i Wirginii Zachodniej i Mississippi z trendami w Waszyngtonie i Nowym Jorku. To, co faktycznie się zdarzyło, to że w latach osiemdziesiątych i dziewięćdziesiątych XX wieku nastąpiły eksplozje zabójstw związanych z crackiem w największych miastach wschodnich. Cały argument Lotta sprowadził się do twierdzenia, że ​​zdecydowanie wiejskie i zachodnie "wydają" stany ratowały epidemię zabójstw związanych z pęknięciem z powodu ich "wydawania" praw. Nigdy nie byłoby to poważnie traktowane, jeśli nie zostało zasłonięte przez labirynt równań.

Mit drugi: wyrzucenie większej liczby osób powoduje zbrodnię

Sprawa Lott i musztarda była wyjątkowa tylko w odniesieniu do zainteresowania opinii publicznej. Jest dość powszechne, a nawet typowe, aby rywalizujące badania mogły zostać opublikowane za pomocą metod ekonometrycznych, aby osiągnąć przeciwne wnioski dotyczące tej samej kwestii.Często nie ma nic złego w żadnym z analiz. Po prostu wykorzystują nieco inne zestawy danych lub różne techniki, aby osiągnąć różne wyniki. Wydaje się, że modelarze regresji mogą osiągnąć jakikolwiek wynik, bez żadnego naruszenia reguł analizy regresji. W jednym wyjątkowo szczerym stwierdzeniu frustracji z tego stanu rzeczy dwaj szanowani kryminolodzy, Thomas Marvell i Carlisle Moody (1997: 221), zgłosili się na temat otrzymanych badań dotyczących skutków uwięzienia w sprawie wskaźników zabójstw. Mówili, że:

Szeroko rozpowszechnione [ich] ustalenia wraz z wykorzystanymi danymi, dla kolegów, którzy specjalizują się w analizie ilościowej. Najczęstszą odpowiedzią jest to, że nie wierzą w wyniki niezależnie od tego, jak dobra analiza statystyczna. Za tym twierdzeniem jest pojęcie, często dyskutowane nieformalnie, ale rzadko opublikowane, że naukowcy społeczni mogą uzyskać pożądany rezultat poprzez manipulowanie stosowanymi procedurami. W istocie szeroki zakres szacunków dotyczących wpływu populacji więziennych jest dobrym dowodem na ciągliwość badań. Konsekwencją nawet wśród wielu osób, które regularnie publikują badania ilościowe, jest to, że niezależnie od dokładności analizy, wyniki nie są wiarygodne, jeśli nie są zgodne z wcześniejszymi oczekiwaniami. Dyscyplina badawcza nie może osiągnąć takiego celu.

Na ich wielką zasługę, Marvell i Moody szczerze przyznały się do problemów z regresją wielokrotną i przedstawiły pewne sugestie dotyczące poprawy. Niestety, niektórzy ekonometryści stają się tak zanurzeni w swoich modelach, że tracą wiedzę o tym, jak są arbitralni. Uważają, że ich modele są bardziej realne, bardziej ważne, niż bałagan, ponura, "niekontrolowana" rzeczywistość, którą mają wyjaśnić.

Mit trzeci: egzekwowanie ludzi usuwa zbrodnie

W 1975 r. The American Economic Review opublikował artykuł wiodącego ekonomisty Isaac Ehrlich z University of Michigan, który oceniał, że każde wykonanie zepsuło osiem morderstw. Przed Ehrlichem najbardziej znanym specjalistą od skuteczności kary śmierci był Thorsten Sellen, który stosował znacznie prostszą metodę analizy. Przygotowywano wykresy porównujące trendy w różnych stanach. Znalazł niewielką lub żadną różnicę między państwami z lub bez tej kary śmierci, więc stwierdził, że kara śmierci nie ma żadnego znaczenia. Ehrlich, działając statystycznie jednorazowo, twierdził, że jego analiza była ważniejsza, ponieważ kontrolowała wszystkie czynniki wpływające na wskaźniki zabójstw.

Jeszcze przed opublikowaniem, praca Ehrlicha została przytoczona przez radcę prawnego Stanów Zjednoczonych w sprawie amicus curiae złożonej w sądzie Najwyższym Stanów Zjednoczonych w obronie kary śmierci. Na szczęście Trybunał postanowił nie polegać na dowodach Ehrlicha, ponieważ nie został potwierdzony przez innych badaczy. Było to mądre, ponieważ w ciągu roku lub dwóch innych naukowców opublikowano równie wyrafinowane analizy ekonometryczne wykazujące, że kara śmierci nie miała żadnego efektu odstraszającego.

Kontrowersje nad pracami Ehrlicha były tak ważne, że Krajowa Rada Badań Naukowych zwołała niebieską wstążkę ekspertów, aby ją przeanalizować. Po dokładnym przeanalizowaniu opinii panel zadecydował, że problem dotyczy nie tylko modelu Ehrlicha, lecz także wykorzystania metod ekonometrycznych do rozwiązywania sporów dotyczących polityk sprawiedliwości w sprawach karnych. Oni (Manski, 1978: 422) stwierdzili, że:

Ponieważ dane, które mogą być dostępne dla takiej analizy, mają ograniczenia, a zachowania przestępcze mogą być tak złożone, nie powinno się oczekiwać pojawienia się ostatecznego badania behawioralnego leżącego na spoczynek wszelkich kontrowersji dotyczących behawioralnych skutków polityki odstraszania.

Większość ekspertów uważa, że ​​Sellen miał rację, że kara śmierci nie ma żadnego dowodu na morderstwo. Ale Ehrlich nie został przekonany. On jest teraz samotnym wierzącym w prawdziwości swojego modelu. W niedawnym wywiadzie (Bonner i Fessendren, 2000) nalegał, by "gdyby pojawiły się odchylenia, takie jak bezrobocie, nierówność dochodów, prawdopodobieństwo obawy i chęć użycia kary śmierci, kara śmierci wykazuje znaczący efekt odstraszający".

http://crab.rutgers.edu/~goertzel/poof.JPG

Mit czwarty: Legalizacja aborcji spowodowała upadek przestępczości w latach dziewięćdziesiątych.

W 1999 roku John Donohue i Steven Levitt opublikowali opracowanie z nowym wyjaśnieniem ostrego spadku wskaźników morderstw w latach dziewięćdziesiątych. Twierdzili, że legalizacja aborcji przez Sąd Najwyższy Stanów Zjednoczonych w 1973 r. Spowodowała spadek liczby narodzin niechcianych dzieci, nieproporcjonalnie dużą liczbę osób, które mogłyby stać się przestępcami. Problemem z tym argumentem jest fakt, że legalizacja aborcji była jednorazowym wydarzeniem historycznym, a zdarzenia jednorazowe nie dostarczały wystarczających danych do prawidłowej analizy regresji. Prawdą jest, że w niektórych stanach dokonano legalizacji aborcji w niektórych stanach, a Donohue i Levitt wykorzystują ten fakt. Ale wszystkie te państwa przeżywały te same historyczne procesy, a wiele innych wydarzyło się w tym samym okresie historycznym, które doprowadziły do ​​morderstw. Prawidłowa analiza regresji musiałaby przechwycić wszystkie te rzeczy i przetestować je w szerokim zakresie zmian. Istniejące dane nie pozwalają na to, aby wyniki analizy regresji były różne, w zależności od wybranych danych do analizy.

W tym przypadku Donohue i Levitt postanowili skupić się na zmianach w ciągu dwunastu lat, ignorując fluktuacje w tych latach. Robiąc to, jak zauważył James Fox (2000: 303), "w tym okresie brakowało większości zmian przestępczości - tendencji wzrostowej w okresie późnego 1980 r. I coraz większej korekty w okresach po rozbiciu. Coś takiego jak badanie efektów faz księżyca na oceanach, ale tylko rejestrowanie danych w okresach odpływu ".

Kiedy piszę ten artykuł, dodałem wyrok stwierdzający "wkrótce inny analityk regresji prawdopodobnie ponownie analizuje te same dane i osiągnie różne wnioski". Kilka dni później moja żona przekazała mi gazetę o takim właśnie badaniu. Autorem był John Lott z Yale, a także John Whitley z Uniwersytetu w Adelajdzie. Skarżowali te same liczby i stwierdzili, że "legalizacja aborcji zwiększyła liczbę morderstw o ​​około 0,5 do 7 procent" (Lott i Whitely, 2001).

Dlaczego tak wyraźnie odmienne wyniki? Każdy zestaw autorów po prostu wybrał inny sposób modelowania nieodpowiedniego zbioru danych. Ekonometria nie może stanowić ważnego prawa ogólnego z faktu historycznego, że aborcja została zalegalizowana w latach siedemdziesiątych, a przestępczość w latach 90. ucichła. Potrzebne nam co najmniej kilkadziesiąt takich historycznych doświadczeń dla ważnego testu statystycznego.

Wnioski.

Testem kwasowym w modelowaniu statystycznym jest przewidywanie. Przewidywanie nie musi być doskonałe. Jeśli model może przewidzieć znacznie lepiej niż przypadkowe zgadywanie, jest to przydatne. Na przykład, jeśli model może przewidzieć ceny akcji nawet nieco lepiej niż przypadkowe zgadywanie, to sprawiłoby, że jego właściciele byli bardzo bogaci. Więc wiele wysiłku przeszło do testowania i oceny modeli cen akcji. Niestety, naukowcy, którzy stosują techniki ekonometryczne do oceny polityki społecznej bardzo rzadko poddają swoje modele testom predykcyjnym. Ich wytłumaczenie polega na tym, że zbyt długo trwa zbyt długo, aby wyniki były znane. W ciągu kilku minut nie otrzymujesz nowych danych dotyczących ubóstwa, aborcji czy zabójstwa, podobnie jak w przypadku akcji. Ale naukowcy mogą przeprowadzać testy predykcyjne na inne sposoby. Mogą opracować model wykorzystujący dane z jednej jurysdykcji lub okresu czasu, a następnie użyć go do przewidywania danych z innych czasów lub miejsc. Ale większość badaczy po prostu nie robi tego, lub jeśli nie modeli nie i wyniki nigdy nie są publikowane.

Czasopisma, które publikują badania ekonometryczne dotyczące kwestii związanych z polityką publiczną często nie wymagają testów predykcyjnych, co wskazuje, że redaktorzy i recenzenci mają niewielkie oczekiwania co do ich dziedzin. Więc naukowcy zbierają dane przez pewien czas i starannie dostosowują swój model aż do momentu "wyjaśnienia" trendów , które już się zdarzyły . Zawsze istnieje wiele sposobów na to, a we współczesnych komputerach nie jest ciężko starać, dopóki nie znajdziesz czegoś, co pasuje. W tym momencie naukowiec przestaje, pisze odkrycia i wysyła gazetę do publikacji. Później inny badacz może dostosować model do uzyskania innego wyniku. To wypełnia strony czasopism naukowych, a wszyscy udają, że nie zauważają, że osiągnięto niewielki postęp. Ale my nie jesteśmy bliżej posiadania ważnego modelu ekonometrycznego wskaźników morderstw niż my, kiedy Isaac Ehrlich opublikował pierwszy model w 1975 roku.

Społeczność naukowa nie ma dobrych procedur uznawania nieudolności powszechnie stosowanej metody badawczej. Metody zakorzenione w programach magisterskich w wiodących uniwersytetach i opublikowane w prestiżowych czasopismach są często utrwalane. Wielu świeckich zakłada, że ​​jeśli badanie zostało opublikowane w recenzowanym dzienniku, jest ono ważne. W sprawach zbadanych pokazujemy, że nie zawsze tak jest. Kontrola wzajemna zapewnia, że ​​przestrzegane praktyki zostały przestrzegane, ale jest mało pomocne, gdy te same praktyki są wadliwe.

W roku 1991 David Freedman, wybitny socjolog z Uniwersytetu Kalifornijskiego w Berkeley i autor podręczników dotyczących ilościowych metod badawczych, potraktował podstawy modelu regresji, kiedy szczerze mówił: "Nie sądzę, że regresja może przynieść wiele ciężaru Argumenty przyczynowe, a same równania regresji same w sobie nie pomagają w kontrolowaniu zmiennych "(Freedman, 1991: 292). Artykuł Freedmana wywołał wiele silnych reakcji. Richard Berk (1991: 315) zauważył, że argument Freedmana "będzie bardzo trudno tolerować dla większości socjologów ilościowych, co przekłada się na serce ich empirycznego przedsiębiorstwa, a tym samym stwarza zagrożenie dla całej kariery zawodowej".

W obliczu krytyków, którzy chcą mieć pewien dowód na to, że mogą przewidzieć trendy, modelarze regresji często opowiadają się za statystycznymi zmianami. Sprawiają, że argumenty są tak złożone, że tylko inni wysoce wyszkoleni analitycy regresji mogą zrozumieć, nie mówiąc już o ich lekceważeniu. Często technika ta działa. Potencjalni krytycy po prostu zrezygnowali z frustracji. David Boldt z Filadelfijskiego Inquirera (1999), po wysłuchaniu Johna Lotta, mówił o ukrytych wartościach uzbrojenia i zabójstwach, a także z innymi ekspertami, narzekał, że "próbowanie wyeliminowania argumentów akademickich jest prawie głupim zadaniem. -statystyk, zmiennych objaśniających i metod analizy danych "Poisson" vs. "najmniej kwadratów".

Boldt słusznie podejrzewał, że został zwabiony do misji głupca. W rzeczywistości nie ma istotnych ustaleń w dziedzinie socjologii lub kryminologii, których nie można przekazać dziennikarzom i decydentom politycznym, którzy nie posiadają dyplomów ukończenia studiów wyższych w dziedzinie ekonometrii. Nadszedł czas, aby przyznać, że cesarz nie ma odzieży. Przedstawiając model ekonometryczny, konsumenci powinni domagać się udowodnienia, że ​​mogą przewidzieć trendy w danych innych niż dane wykorzystane do jego utworzenia . Modele, które nie spełniają tego kryterium, są naukami śmieciami, bez względu na złożoność analizy.

REFERENCJE

Berk, Richard.A. 1991. W kierunku metodologii dla zwykłych śmiertelników, "Metodologia socjologiczna 21: 315-324. 
Boldt, David. 1999. " Badania dowodów na broń ", Philadelphia Inquirer, grudzień 14. Pobierz w dniu 17 maja 2000 r .: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm . 
Czarny, Dan. I Daniel Nagin 1998. Czy prawa do przenoszenia praw odstraszają przestępstwa z użyciem przemocy? Journal of Legal Studies 27: 209-219. 
Bonner, Raymond i Ford Fessendren. 2000. Państwa nieposiadające kary śmierci mają niższe wskaźniki zabójstw ", New York Times, 22 września. Pobrane z: http://www.nytimes.com/2000/09/22/national/22DEAT.html . 
Donohue, John i Steven Levitt. 1999. Legalizacja aborcji i przestępczości. Stanford University Law School. Pobrał w sierpniu 2000 od: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508 . 
Fox, James. 2000. Demografie i amerykańskie zabójstwo, W A. Blumstein i J. Wallman (red.), The Crime Drop in America , Cambridge University Press, New York, s. 288-317. 
Freedman, David 1991. Modele statystyczne i skóra obuwia. Metodologia socjologiczna 21: 291-313. 
Lott, John. 2000. Więcej broni, mniej zbrodni: zrozumienie prawa w zakresie kontroli przestępczości i broni . University of Chicago Press, drugie wydanie z dodatkowymi analizami. 
Lott, John. I John Whitley. 2001. Aborcja i przestępstwo: niechciane dzieci i nieślubne urodziny ", Yale Law & Economics Research Paper No. 254. Pobierz w dniu 9 lipca 2001 r .: http://papers.ssrn.com/sol3/papers.cfm ? Abstract_id = 270126 . 
Marvell, Thomas i Carlisle Moody, C. 1997. Wpływ więzienia na zabijanie. Badania nad zabójstwami 1: 205-233. 
Zimring, Frank i Gordon Hawkins. 1997. Ukryte pistolety: fałszywe odstraszanie, Wspólnota Odpowiedzialna 7: 46-60.