근거를 확인하는 여덟 가지 질문
교육 상품과 컨설팅 제안을 같은 방식으로 검증하는 법
앞 편의 결론은 부담스러운 쪽이었다. 판매자의 자격을 보는 것으로는 판별이 안 되고, 판매자가 인용하는 근거를 수요자가 직접 확인하는 수밖에 없다는 것.
그 확인을 매번 논문까지 찾아가며 할 수는 없다. 다만 대부분의 과장은 몇 개의 정해진 지점에서 발생한다. 그 지점을 질문으로 만들어두면 상담 자리에서 바로 쓸 수 있다.
여덟 개다. 셋 이상 답이 막히면 그 자료는 근거가 아니라 판매 문구로 보는 편이 맞는다.
1. 1차 자료가 존재하는가
가장 먼저 확인할 것은 원본이 있느냐다. 없는 경우가 생각보다 많다.
신사임당 교육법을 다룬 콘텐츠가 그 예다. 신사임당은 조선 중기의 화가이자 시인이었고 그 성취는 실재한다. 그런데 그가 아이를 어떻게 가르쳤는지 기록한 동시대 문서는 사실상 없다. 현모양처 이미지는 근대 이후, 특히 유신 체제 시기 국가 기념 문화를 통해 강화된 것으로 분석된다. 유신기 사임당 기념 사업을 상징 정치의 사례로 다룬 연구가 나와 있다.
즉 그 자리에 방법론이 있었던 것이 아니라, 20세기에 필요했던 여성상이 그 자리를 채웠다. 방법을 재구성한 것이 아니라 이미지에서 역산한 콘텐츠다.
비교 대상으로 정약용의 유배기 서간이 있다. 무엇을 어떻게 시켰는지가 편지에 그대로 남아 있다. 같은 조선 시대 인물인데 자료의 성격이 완전히 다르다.
2. 그 자료를 누가 썼는가
자료가 있어도 저자를 봐야 한다.
19세기 초 조기 교육의 성공 사례로 인용되는 칼 비테의 기록은 아버지가 썼다. 1818년에 출간된 교육 기록이고, 저자에게는 실패를 기록할 유인이 없다.
같은 시기 비슷한 교육을 받은 존 스튜어트 밀과 노버트 위너의 기록은 본인이 썼다. 밀은 스무 살에 정신적 위기를 겪고 아버지의 분석 중심 교육이 정서 발달을 억눌렀다고 자서전에 적었다. 위너는 아버지가 자신을 빠르게 만들었고 동시에 평생 불안하고 대인관계가 어려운 사람으로 만들었다고 적었다.
네 사례 중 아버지가 쓴 기록만 성공담이고, 본인이 쓴 기록 둘은 대가를 명시했다. 자료의 저자가 결과의 이해관계자인지가 내용의 방향을 상당 부분 결정한다.
3. 원 연구의 대상이 누구였는가
앞 편에서 본 모차르트 효과가 표준 사례다. 1993년 원 연구의 대상은 태아가 아니라 대학생 36명이었다. 태아용 상품의 근거로 인용되는데 태아가 연구에 없었다.
조기 교육 투자의 수익률 근거로 널리 쓰이는 페리 프리스쿨도 대상 확인이 필요하다. 1960년대 미국에서 저소득 흑인 아동을 대상으로 한 프로그램이었고, 대조군은 사실상 아무 프로그램도 받지 못했다. 이 조건에서 나온 효과 크기를 일반 가정의 조기 교육 지출 근거로 옮기면 과대 계산이 된다.
4. 원 연구가 측정한 것이 무엇인가
대상이 맞아도 측정 항목이 다를 수 있다.
모차르트 효과 연구가 측정한 것은 지능이 아니라 공간추론 과제 수행이었고, 효과는 15분 안에 사라졌다. 지능이라는 단어는 원 논문에 결론으로 등장하지 않는다.
태아 청각 연구에서도 같은 일이 일어난다. 1986년 디캐스퍼와 스펜스 연구는 임신부 16명이 마지막 6주 동안 같은 동화를 매일 읽었을 때 신생아가 그 이야기에 더 강하게 반응한다는 것을 보였다. 확인된 것은 친숙성 선호다. 그것이 이후 지능이나 언어 능력으로 이어진다는 내용은 연구에 없다. 그 뒤의 문장은 전부 판매자가 붙였다.
5. 원 제도에서 무엇을 뺐는가
수입된 방법론에 적용하는 질문이다. 하브루타가 예다.
원형은 실재한다. 예시바와 코렐에서 두 사람이 마주 앉아 같은 텍스트를 놓고 논쟁하며 공부하는 방식이고, 도서관이 조용하지 않고 시끄럽다. 오래 유지된 학습 제도다.
국내로 들어오면서 무엇이 빠졌는지를 보면 성격이 드러난다.
| 원형의 구성 요소 | 국내 상품에 남았는가 |
|---|---|
| 토라와 탈무드라는 특정 텍스트 | 대개 없음 |
| 종교 공동체와 그 안의 지위 | 없음 |
| 평생에 걸친 지속 | 없음 |
| 학습 자체가 종교적 수행이라는 목적 | 없음 |
| 둘이 짝 지어 논쟁하는 형식 | 남음 |
형식만 남기고 나머지를 전부 뺐다. 국내 연구에서도 종교적 배경과 도입 시 발생하는 근본적 제약이 과제로 지적되고, 유대 민족에 대한 과대 포장과 효과 과장에 대한 비판이 나와 있다.
짝을 지어 질문하고 논쟁하는 형식 자체는 나쁘지 않다. 다만 그 형식을 유대인의 성취와 연결하는 논리는 성립하지 않는다.
6. 실패 사례가 자료에 있는가
성공 사례만 모인 자료는 표본이 아니라 광고다.
조기 교육 사례가 특히 그렇다. 같은 방식으로 아이를 키웠는데 아이가 그저 보통 사람이 된 부모는 책을 쓰지 않는다. 우리가 아는 사례는 크게 성공했거나 극적으로 실패한 경우뿐이고, 중간이 얼마나 두꺼운지는 알 수 없다.
프랜차이즈 매출 자료에 같은 질문을 적용하면 답이 빨리 나온다. 그 평균 매출에 폐점한 점포가 포함돼 있는지를 물으면 된다.
7. 장기 추적 결과가 있는가
초기 효과가 유지되는지는 별도 자료가 필요하고, 대개 유지되지 않는다.
모유수유 촉진 개입의 인지 효과가 명확한 사례다. 벨라루스에서 17,046쌍을 대상으로 한 군집 무작위 시험에서 6.5세 시점 전체 지능 차이가 5.9점이었는데, 16세 추적에서는 전반적인 신경인지 기능에 이점이 확인되지 않았고 언어 영역에서만 1.4점 차이가 남았다.
초기 수치만 인용하고 추적 결과를 빼는 것은 거짓말이 아니라 편집이다. 그래서 잡아내기 어렵고, 그래서 물어야 한다.
8. 개입의 형태가 근거와 일치하는가
같은 내용이라도 전달 형태가 다르면 결과가 달라지는 경우가 있다. 영유아 외국어 노출이 그 예다.
2003년 쿨 연구진의 실험은 생후 9개월 미국 아기를 세 조건에 배정했다. 중국어 원어민과 직접 상호작용한 집단, 같은 화자가 같은 자료를 읽은 것을 영상이나 음성으로만 들은 집단, 영어만 들은 대조군이다.
직접 상호작용 집단은 중국어 소리 구별 능력의 하락이 역전됐다. 녹화 노출 집단은 대조군과 차이가 없었다. 같은 사람이 같은 말을 같은 횟수로 했는데 화면을 통하면 학습이 일어나지 않았다.
영유아 영어 음원과 영상 상품이 근거로 드는 민감기는 실재한다. 그런데 그 민감기에 효과가 있었던 형태는 사람이고, 효과가 없었던 형태가 음원과 영상이다. 근거의 앞부분만 가져오고 형태를 바꾼 경우다.
사장이 받는 제안에 그대로 옮기면
여덟 질문은 육아 상품용으로 만든 것이 아니다. 근거를 제시하는 모든 제안에 적용된다.
| 질문 | 프랜차이즈·컨설팅·솔루션 제안에 옮기면 |
|---|---|
| 1. 1차 자료가 있는가 | 그 수치의 원본 자료를 볼 수 있는가 |
| 2. 누가 썼는가 | 그 자료를 만든 곳이 판매 당사자인가 |
| 3. 대상이 누구였는가 | 어떤 규모·업종·상권의 점포에서 나온 값인가 |
| 4. 무엇을 측정했는가 | 매출인가 영업이익인가, 점주 인건비가 빠져 있는가 |
| 5. 무엇을 뺐는가 | 본사 지원 항목 중 계약서에 없는 것이 설명에 들어갔는가 |
| 6. 실패 사례가 있는가 | 폐점·해지 점포가 자료에 포함됐는가 |
| 7. 장기 결과가 있는가 | 3년 차 이후 수치가 있는가 |
| 8. 형태가 일치하는가 | 성공 사례의 조건이 내 조건과 같은가 |
여섯 번째 줄이 실무에서 가장 자주 걸린다. 평균 매출은 살아남은 점포만 세면 자동으로 올라간다. 없앨 필요도 없이 세는 대상에서 빠지기만 하면 된다.
여덟 번째 줄은 다르게 걸린다. 성공 사례를 부풀린 게 아니라 진짜인데, 그 사례의 조건이 내 조건과 다른 경우다. 이건 판매자를 탓할 수도 없다. 확인은 사는 쪽 몫이다.
질문을 다 던져도 확답이 안 나오는 경우가 있다. 그때 알게 되는 것이 하나 있다. 판매자가 답을 갖고 있지 않다는 사실 자체가 정보다.
여덟 질문
| 번호 | 질문 | 걸리면 나오는 것 |
|---|---|---|
| 1 | 1차 자료가 존재하는가 | 원본 없이 이미지에서 역산한 콘텐츠 |
| 2 | 그 자료를 누가 썼는가 | 결과의 이해관계자가 쓴 성공담 |
| 3 | 원 연구의 대상이 누구였는가 | 다른 집단에서 나온 수치의 전용 |
| 4 | 원 연구가 측정한 것이 무엇인가 | 측정 항목을 결론으로 바꿔치기 |
| 5 | 원 제도에서 무엇을 뺐는가 | 형식만 남기고 조건을 제거한 수입품 |
| 6 | 실패 사례가 자료에 있는가 | 살아남은 표본만 센 평균 |
| 7 | 장기 추적 결과가 있는가 | 초기 수치만 인용하고 추적 결과를 뺀 편집 |
| 8 | 개입 형태가 근거와 일치하는가 | 효과가 없었던 형태로 바꾼 상품화 |
셋 이상 막히면 근거가 아니라 판매 문구다.
상대의 반응이 답을 대신하는 경우
여덟 질문을 실제로 던져보면 답보다 반응에서 정보가 나오는 때가 있다.
| 반응 | 읽히는 것 |
|---|---|
| 자료를 바로 보내준다 | 확인해 볼 만하다. 다만 자료를 봐야 판단이 끝난다 |
| 어느 대학 연구라고만 답한다 | 원문을 본 적이 없을 가능성이 높다 |
| 다들 그렇게 한다고 답한다 | 근거를 관행으로 대체하고 있다 |
| 그런 것까지 따지는 분은 처음이라고 답한다 | 그 질문을 받아본 적이 없다는 뜻이고, 시장이 검증 없이 굴러간다는 뜻이다 |
| 불쾌해한다 | 판별 대상이 상품에서 관계로 옮겨간 상태다 |
마지막 줄이 실무에서 가장 다루기 어렵다. 질문이 상대를 의심하는 행위로 읽히는 순간 대화가 성립하지 않는다.
그래서 질문의 형식을 바꾸는 편이 낫다. 상대를 검증하는 문장이 아니라 자료를 요청하는 문장으로 하면 대개 통과한다. 어떤 근거로 그렇게 말하느냐가 아니라, 그 자료를 나도 읽어보고 싶다고 하면 된다.
앞 편에서 정리한 대로 판매자 대다수가 악의를 갖고 있지 않다. 자기가 배운 대로 설명하고 있을 뿐이다. 그 전제로 대하면 질문이 훨씬 쉬워진다.
출처
- 유신체제의 신사임당 기념과 현모양처 만들기. Journal of Korean Culture. https://kiss.kstudy.com/Detail/Ar?key=3863258
- 신사임당. 우리역사넷, 국사편찬위원회. https://contents.history.go.kr/mobile/eh/view.do?levelId=eh_n0420_0010&code=eh_age_30
- 정약용, 박석무 편역, 『유배지에서 보낸 편지』, 창비. https://www.changbi.com/BookDetail?bookid=3330
- Witte KHG. The Education of Karl Witte: Or the Training of the Child. 1818년 독일어 원저, 1914년 영역본. https://www.loc.gov/item/14005318/
- Mill JS. Autobiography, 1873. 정신적 위기 부분 개요. https://plato.stanford.edu/entries/mill/
- Wiener N. Ex-Prodigy: My Childhood and Youth, 1953. 서평. https://www.commentary.org/articles/gertrude-himmelfarb/ex-prodigy-my-childhood-and-youth-by-norbert-wiener/
- Rauscher FH, Shaw GL, Ky KN. Music and spatial task performance. Nature 365, 1993.
- DeCasper AJ, Spence MJ. Prenatal maternal speech influences newborns' perception of speech sounds. Infant Behavior and Development, 1986.
- Heckman JJ et al. The Rate of Return to the HighScope Perry Preschool Program. https://pmc.ncbi.nlm.nih.gov/articles/PMC3145373/
- Yang S et al. Breastfeeding during infancy and neurocognitive function in adolescence: 16-year follow-up of the PROBIT cluster-randomized trial. PLOS Medicine. https://journals.plos.org/plosmedicine/article?id=10.1371%2Fjournal.pmed.1002554
- Kramer MS et al. Breastfeeding and child cognitive development: new evidence from a large randomized trial. https://pubmed.ncbi.nlm.nih.gov/18458209/
- Kuhl PK, Tsao FM, Liu HM. Foreign-language experience in infancy: Effects of short-term exposure and social interaction on phonetic learning. PNAS, 2003. https://www.pnas.org/doi/pdf/10.1073/pnas.1532872100
- 유대인 하브루타 학습의 이해와 정착을 위한 과제. 한국학술지인용색인. https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002093212