미국 한인 비영리 program evaluation — logic model 가이드 (2026)

Program Evaluation — Logic Model ㆍ Outcome 측정 실무

미국 funder (foundation, government, individual donor) 는 점차 outcome-based grant making 으로 전환 중. "몇 명에게 service 했나" (output) 가 아닌 "참가자에게 무엇이 변했나" (outcome) 를 묻는다. Logic Model (W.K. Kellogg Foundation 1998 도입) 은 input → activities → outputs → outcomes → impact 의 인과 체인을 시각화하는 표준 framework. 본 글은 한인 비영리가 grant proposal ㆍ board reporting ㆍ funder reporting 에 활용할 수 있는 evaluation 실무를 정리한다.

Logic Model 5 요소 (FACT)

Inputs / Resources — staff, funding, facilities, partners, curriculum
Activities — 무엇을 하는가 (ESL class, mental health counseling, job training, food distribution)
Outputs — 측정 가능한 산출 (참가 수, 시간, units delivered). e.g. "100명 참가, 1,200 hours of training"
Outcomes — 참가자 변화. short-term (knowledge, attitude), intermediate (behavior, skill), long-term (condition, status)
Impact — 장기적 social change. 단체 단독 attribution 어려운 영역

Outcome 예시 (FACT)

ESL program — Short: 어휘 score +30%. Intermediate: 시민권 시험 통과율 70%. Long: 영주권 ㆍ 시민권 취득, job mobility
Mental Health counseling — Short: PHQ-9 점수 -25%. Intermediate: hospitalization -40%. Long: 자살 시도 감소
Workforce program — Short: resume / interview 준비 완료. Intermediate: job placement rate 60%. Long: 12개월 retention 75%, 평균 wage $15→$22/시간
Senior service — Short: 외출 빈도 증가. Intermediate: 사회적 고립 (UCLA Loneliness Scale) 감소. Long: 우울 ㆍ 인지저하 progression 지연

측정 도구 (FACT)

Pre-Post survey — 가장 기본. program 시작 / 종료 같은 instrument
Standardized scales — PHQ-9 (depression), GAD-7 (anxiety), UCLA Loneliness Scale, ACASI (substance use)
Validated tools (한국어판) — PHQ-9-K, K-CES-D, K-MMSE (Korean Mini Mental State Exam)
Administrative data — attendance, hours, demographics, referral source
Qualitative — focus group, key informant interview, case story
Third-party data — school records (parental consent), employment / wage data (state UI)

Evaluation 유형 (FACT)

Formative evaluation — Program 초기 (디자인 ㆍ pilot) 개선용
Process evaluation — 운영 fidelity (intended 대로 실행되었나)
Outcome evaluation — 참가자 변화
Impact evaluation — 장기 ㆍ 인과 attribution (RCT, quasi-experimental)
Cost-effectiveness analysis — $ 당 outcome unit (e.g. $/job placed)

한인 비영리 특화 고려 (INFERENCE)

Limited English Proficient (LEP) — Survey 한국어 ㆍ 영어 bilingual, literacy level 6학년 이하
Confidentiality 우려 — 한인 community 좁아 small program 익명성 어려움 → aggregate reporting, ID 분리
Cultural validity — Western depression scale (e.g. somatic symptoms) 한인 underreport. 한국 validated 도구 사용
Stigma — Mental health, domestic violence, addiction program 한인 참가자 self-disclosure 낮음 → indirect measure
Generation 1 vs 1.5 vs 2 — 세대별 outcome 분리 분석 권장
Religious context — Church-based program 평가 시 종교성 control 변수

Evaluation 도구 ㆍ 인프라 (FACT)

Survey platform — SurveyMonkey, Qualtrics, Google Forms (small), REDCap (academic / health)
Case management — Salesforce Nonprofit Cloud, ETO, Apricot (Bonterra)
Data visualization — Tableau Public (무료), PowerBI, Google Data Studio
External evaluator — 큰 grant (federal, $250K+) 는 외부 평가자 권장. 통상 budget 5-15%
IRB / consent — Research publishing 의도면 IRB 필요 (academic partner)

Funder Reporting 표준 (FACT)

Interim Report (6개월) — narrative + outputs to date + budget actual vs planned
Final Report — outputs + outcomes + lessons learned + financial
Site visit — funder 의 in-person 방문, program 직접 관찰 + staff interview
Logic model 첨부 — Application 시 logic model 첨부 funder 증가 추세 (Ford, MacArthur, Kresge)
SOAR / Theory of Change — Logic Model 대안 framework

한인 비영리 evaluation 자주 만나는 함정 (INFERENCE)

Output 만 report — "300명 참가" 만 보고하면 funder 가 outcome 요구
Self-report 의존 — "잘 받았다" 90% → social desirability bias. Behavior change 측정 병행
Pre survey 없이 post 만 — Change 측정 불가능. Baseline 필수
한국어 ㆍ 영어 survey 비교 불가 — Translation validation 부재로 데이터 분리 못함
Small N — 한인 program 자주 N<30, statistical significance 어려움 → descriptive + case story 병행
Logic model 작성 후 미사용 — Proposal 첨부 후 staff 가 활용 안 함. Logic model 은 quarterly review tool
외부 평가자 의존 — Internal capacity 안 키우면 grant 종료 후 evaluation 중단

출처

W.K. Kellogg Foundation Logic Model Guide, CDC Evaluation Framework, American Evaluation Association, Urban Institute, REDCap.

※ Evaluation methodology ㆍ funder requirement 는 매년 evolves. 본 글은 2026-05 기준 일반 가이드. Federal grant ㆍ multi-year foundation grant 는 별도 외부 evaluator 와 evaluation plan 사전 설계 권장.