효과는 상품이 아니라 비교 대상이 정한다
조기교육 투자에서 돈이 증분을 만들지 못하는 조건
앞의 두 편은 근거가 틀렸거나 없는 경우를 다뤘다. 이 편은 다른 경우다. 근거가 진짜인데도 나에게는 값이 나오지 않는 상황.
이쪽이 더 까다롭다. 판매자가 인용하는 연구가 실재하고, 설계도 훌륭하고, 결과도 크다. 앞 편의 여덟 질문을 다 던져도 걸리는 데가 없다. 그런데 그 숫자를 내 상황에 옮기면 크게 부풀려진다.
원인은 하나다. 효과라는 값이 절대량이 아니라 차이이기 때문이다. 무언가를 했을 때의 결과에서 하지 않았을 때의 결과를 뺀 값이고, 뒤쪽 항은 관찰되지 않는다. 연구는 대조군으로 그 항을 추정한다. 그 대조군이 나와 다르면 앞의 계산이 나에게 성립하지 않는다.
조기교육이 이 문제가 가장 선명하게 드러난 영역이다. 같은 종류의 프로그램에서 효과 크기가 시대와 지역에 따라 크게 벌어졌고, 최근에는 음수까지 나왔다.
가장 유명한 조기교육 근거는 3년 만에 사라졌다
페리 프리스쿨은 조기교육 투자론의 원형이다. 1960년대 미국에서 저소득 흑인 아동을 무작위 배정한 프로그램이고 지금까지 추적되고 있다. 조기교육 수익률을 계산한 자료 대부분이 이 연구에서 나온다.
인지 쪽 숫자는 이렇게 움직였다.
| 시점 | 지능 검사 효과 크기 |
|---|---|
| 5세 (프로그램 종료) | 0.75 표준편차 |
| 8세 | 0.08 표준편차, 통계적으로 유의하지 않음 |
3년 만에 사실상 사라졌다.
그런데 성인기 추적에서는 다른 것이 남았다. 고용률과 소득이 높았고 범죄율이 낮았으며 건강 지표가 나았다. 지능 점수는 수렴했는데 인생 결과는 갈렸다는 것이 이 연구가 계속 인용되는 이유다.
여기에 단서를 하나 달아야 한다. 페리의 장기 효과와 수익률을 계산해 온 연구 집단은 조기교육 투자를 정책적으로 옹호하는 활동과 결합돼 있다. 최근에는 54세 시점까지 인지 이득이 유지된다며 소멸 서사 자체를 반박하는 분석도 같은 계열에서 나왔다. 그 반박이 맞을 수도 있다. 다만 앞 편의 두 번째 질문, 그 자료를 누가 썼는가가 여기서도 유효하다.
가장 잘 설계된 연구에서 값이 음수로 나왔다
테네시주 자발적 프리킨더가튼 평가는 대규모 주정부 프로그램에 대한 첫 무작위 대조 시험이다. 설계 강도만 놓고 보면 이 영역에서 가장 신뢰할 만한 자료다.
결과는 이렇다. 문해와 언어와 수학의 효과가 유치원 말에 사라졌고, 3학년 말에는 음의 방향으로 전환됐다. 6학년까지 추적된 자료에서도 부정적 결과가 보고됐다.
패턴은 정확히 읽어야 한다. 연구진은 소멸보다 따라잡기에 가깝다고 설명한다. 참여군이 퇴행한 것이 아니라 대조군 아이들이 유치원에서 더 크게 성장해 참여군 점수에 수렴했다.
헤드 스타트에서도 시대에 따라 결과가 갈린다. 초기 프로그램에서는 시험 점수 차이가 사라진 뒤에도 성인기 결과에 긍정적 효과가 남았는데, 측정 기간을 늘리면 그 효과가 줄었다. 최근 코호트 자료에서는 대체로 부정적 효과가 나타난다.
같은 종류의 개입인데 결과가 이렇게 다른 이유를 프로그램의 질만으로는 설명할 수 없다.
무엇이 달라졌는가
비교 대상이 달라졌다.
| 연구 | 시기 | 대조군이 그 시간에 받은 것 |
|---|---|---|
| 페리 프리스쿨 | 1960년대 | 사실상 없음 |
| 헤드 스타트 초기 | 1960~70년대 | 거의 없음 |
| 헤드 스타트 최근 | 2000년대 이후 | 다른 보육·유치원 |
| 테네시 프리킨더가튼 | 2000년대 이후 | 다른 보육·가정 양육 |
개입의 효과는 개입이 무엇을 주었는가가 아니라 개입이 없었을 때와 비교한 차이다. 1960년대 페리의 대조군은 아무것도 받지 못했으니 차이가 컸다. 지금은 대조군도 무언가를 받는다. 그래서 차이가 작아지고, 프로그램의 질이 대조군이 그 시간에 하는 일보다 낮으면 값이 음수가 된다.
여기서 나오는 질문이 실무적으로 유일하게 중요한 질문이다. 이 프로그램이 좋은가가 아니라, 아이가 그 시간에 하게 될 다른 일보다 나은가.
여력이 있는 가정일수록 이 계산이 불리해진다. 기본 조건이 이미 좋기 때문이다. 아이가 그 시간에 하지 않게 되는 것의 값이 높다는 뜻이고, 그만큼 프로그램이 얻어내야 할 증분이 커진다.
돈이 있으면 좋은 것을 살 수 있다. 다만 좋은 것을 산다고 증분이 생기지는 않는다. 두 문장은 다른 얘기다.
조건이 좋을수록 값이 커지는 개입도 있다
앞 절의 논리를 그대로 밀면 여력이 있는 쪽은 아무것도 살 게 없다는 결론이 된다. 그렇지는 않다. 반대로 나오는 사례가 있고, 그 사례가 무엇을 사야 하는지 알려준다.
대화식 책읽기는 그림책을 읽어주기만 하는 것이 아니라 읽는 도중에 아이에게 묻고 아이가 답하게 하는 방식이다. 일반적인 책읽기와 비교한 16개 연구 메타분석에서 표현 어휘에 대한 효과 크기가 0.59로 나왔다.
여기서 값이 갈린 방향이 통념과 반대다.
| 집단 | 어휘 효과 크기 |
|---|---|
| 언어·문해 위험군 아동 | 0.13 |
| 위험군이 아닌 아동 | 0.53 |
보통의 개입은 기저값이 낮은 집단에서 효과가 크다. 여기서는 반대로 조건이 좋은 쪽에서 네 배 가까이 크다. 나이도 마찬가지로, 4세에서 5세로 가면서 효과가 줄어든다.
이유는 개입의 형식에서 찾을 수 있다. 묻고 답하는 구조는 아이 쪽에서 일정 수준의 언어 능력을 이미 요구한다. 주고받을 수 있는 상태여야 주고받는 개입이 작동한다.
이런 형태의 개입이 따로 있다. 기본기를 대체하는 것이 아니라 기본기 위에서만 작동하는 것들이다. 여력이 있는 쪽이 찾아야 할 것은 좋은 상품이 아니라 이 종류의 개입이다.
잘 돌아가는 가게에 컨설팅이 잘 안 먹히는 이유
같은 산술이 사업에도 적용된다. 컨설팅과 시스템 도입의 성공 사례가 대개 어떤 곳에서 나오는지를 보면 알 수 있다.
장부가 없던 곳에 장부를 넣으면 값이 크게 나온다. 예약 관리를 수기로 하던 곳에 시스템을 넣어도 그렇다. 반대로 이미 정리돼 있는 곳에 같은 것을 넣으면 값이 작다. 도구가 나빠서가 아니라 대체된 것이 이미 괜찮았기 때문이다.
그래서 사례 자료를 볼 때 확인할 것은 도입 전 상태다. 개선 폭이 큰 사례는 대개 도입 전이 나빴다. 그 폭을 내 상황에 그대로 옮기면 실제 값의 몇 배를 기대하게 된다.
| 확인 항목 | 물어볼 것 |
|---|---|
| 도입 전 상태 | 그 점포는 도입 전에 무엇을 쓰고 있었는가 |
| 대체 대상 | 이걸 넣으면 지금 하는 무엇이 빠지는가 |
| 시간 배분 | 그 시간에 하던 일의 값은 얼마인가 |
| 기저 수준 | 우리 매장이 그 사례 매장보다 이미 나은 항목은 무엇인가 |
두 번째 줄이 자주 빠진다. 새로 넣는 것의 값만 계산하고 빠지는 것의 값을 계산하지 않으면, 테네시 사례처럼 값이 음수인 도입을 양수로 착각하게 된다.
그래서 증분이 큰 곳은 따로 있다
이 논리를 뒤집으면 쓸모가 생긴다. 증분이 큰 지점은 기저값이 낮은 곳이다.
앞선 편들에서 돌봄 시장을 훑으며 반복해서 확인한 것도 같은 자리였다. 조부모의 도움이 없고 주 양육자가 고립되는 구조에서는 그쪽 기저값이 낮다. 아이에게 무엇을 더 해주는 지출보다, 그 구조를 메우는 지출이 값이 큰 이유다.
돈이 해결하는 항목과 해결하지 못하는 항목이 나뉘고, 나누는 기준은 상품의 가격이 아니라 지금 그 자리가 얼마나 비어 있는가다.
사기 전에 계산하는 순서
증분을 계산하는 일은 어렵지 않다. 다만 순서가 있고, 대부분 첫 단계를 건너뛴다.
1단계. 그 자리가 지금 비어 있는가. 상품 설명을 보기 전에 확인할 것이다. 아이가 그 시간에 무엇을 하고 있는지, 우리 매장이 지금 그 항목을 어떻게 처리하고 있는지. 이 답이 없으면 다음 단계로 갈 수 없다.
2단계. 무엇이 빠지는가. 새로 넣는 것의 값만 세면 계산이 성립하지 않는다. 시간과 예산은 고정이므로 무언가는 반드시 빠진다. 빠지는 것의 값이 넣는 것의 값보다 크면 순값이 음수다.
3단계. 사례의 도입 전 상태를 확인한다. 판매자가 제시하는 개선 폭은 그 사례의 도입 전 상태에 달려 있다. 도입 전이 나빴던 사례의 폭을 내 조건에 옮기면 몇 배로 부풀려진다.
4단계. 기본기 위에서 작동하는 개입인지 본다. 앞 절의 대화식 책읽기처럼 조건이 좋을수록 값이 커지는 종류가 있다. 이 유형이면 3단계의 계산이 뒤집힌다.
네 단계 중 1단계와 2단계는 판매자에게 물을 필요가 없다. 물어도 답을 모른다. 자기 상황을 아는 쪽이 계산한다.
3단계와 4단계는 앞 편의 여덟 질문으로 넘어간다. 두 편이 여기서 붙는다.
세 편을 한 줄로 줄이면
돌봄 시장을 훑고 그다음 시장까지 온 결과가 세 문장이다.
파는 쪽이 품질을 아는 시장에서는 검증 장치를 세우면 좁혀진다. 세우지 않는 이유는 유인이다. 파는 쪽도 모르는 시장에서는 장치를 세워도 좁혀지지 않는다. 그래서 판단을 위임할 수 없다. 그리고 근거가 진짜인 상품이라도, 내 조건에서 값이 나올지는 그 상품이 아니라 지금 그 자리가 얼마나 비어 있는지가 정한다.
세 번째가 실무적으로 가장 자주 어긋난다. 좋은 것을 사는 판단과 값이 나오는 판단이 다른데, 시장은 첫 번째만 이야기한다. 두 번째는 사는 쪽이 계산해야 하고, 계산에 필요한 정보는 상품 설명서가 아니라 자기 상황에 있다.
비어 있는 자리를 찾는 일이 상품을 고르는 일보다 먼저다. 순서를 바꾸면 좋은 것을 사고도 아무 일이 일어나지 않는다.
출처
- Heckman JJ et al. The Rate of Return to the HighScope Perry Preschool Program. https://pmc.ncbi.nlm.nih.gov/articles/PMC3145373/
- Perry Preschool at 50: What Lessons Should Be Drawn. NBER Working Paper 32972. https://www.nber.org/system/files/working_papers/w32972/w32972.pdf
- Perry Preschool Project Outcomes in the Next Generation. NBER Digest. https://www.nber.org/digest/aug19/perry-preschool-project-outcomes-next-generation
- Durkin K, Lipsey MW et al. Effects of a Statewide Prekindergarten Program on Children's Achievement and Behavior through Sixth Grade. https://pmc.ncbi.nlm.nih.gov/articles/PMC9716729/
- Pion GM, Lipsey MW. Impact of the Tennessee Voluntary Prekindergarten Program: Results From a Regression-Discontinuity Design, 2021. https://journals.sagepub.com/doi/10.1177/23328584211041353
- Bailey DH, Duncan GJ, Cunha F, Foorman BR, Yeager DS. Persistence and Fade-Out of Educational-Intervention Effects: Mechanisms and Potential Solutions. Psychological Science in the Public Interest, 2020. https://edre.uark.edu/_resources/pdf/Bailey_PSPI_2020.pdf
- Elusive Longer-Run Impacts of Head Start: Replications Within and Across Cohorts. https://arxiv.org/pdf/1903.01954