기업 선물 방식 두 가지를 비교할 때 먼저 결정해야 할 것은 선물 상자의 모양이 아니다. 누가 대상인지, 두 군이 정확히 무엇만 다르게 경험하는지, 어떤 결과를 언제까지 관찰할지, 배송과 운영 비용을 어디까지 포함할지를 발송 전에 정해야 한다. 이 빈 설계표는 마케팅 운영, 분석, 재무, 개인정보와 수령 규정 담당자가 같은 결정 기록을 볼 수 있도록 만든다. 입력한 자료의 배정 인원, 예상 비용, 관찰된 결과 비율을 계산하지만 선물이 사업 성과를 일으켰다고 증명하거나 통계적 유의성을 판정하지 않는다.
실험의 이름보다 바꿀 의사결정을 먼저 적는다
“선물은 효과가 있는가”는 너무 큰 질문이다. 영업 담당자는 미팅을, 운영 담당자는 배송을, 인사 담당자는 체감 경험을, 재무 담당자는 총지출을 떠올릴 수 있다. 한 실험에서는 이 모두를 동시에 주요 성과라고 부르지 않는다. 예를 들어 “승인된 기존 고객군의 갱신 안내에 현재의 영업 연락 방식만 사용할 것인가, 같은 연락에 회사가 승인한 선택형 선물 초대를 추가할 것인가”는 실제로 고를 수 있는 두 방식이다. 대조군은 아무것도 하지 않는 집단이 아니라 현재 허용되는 방식일 수 있다. 문구, 보낸 사람, 발송 날짜, 영업 후속 연락까지 같이 바꾸면 결과 차이를 선물에만 돌릴 수 없다.
결정 책임자는 결과를 보고 확대, 수정, 재실험, 중지 중 하나를 선택할 수 있어야 한다. 분석 담당자는 배정 파일과 사건 정의를 고정한다. 실행 담당자는 정해진 방식이 실제로 전달됐는지 기록한다. 재무 담당자는 최대 비용과 실제 청구액을 구분한다. 개인정보와 상대 조직의 수령 규정은 해당 권한자가 판단한다. 작은 조직에서 한 사람이 역할을 겸하더라도 언제 무엇을 승인했는지는 별개로 남겨야 한다. 결과가 마음에 들지 않는다는 이유로 주요 성과를 바꾸는 것은 원래 질문에 대한 답을 버리는 일이다.
미국 국립표준기술연구소의 실험 설계 안내는 목적과 변수, 무작위 배정과 묶음 설계의 선택을 구분한다. 영국 정부의 비교 연구 안내는 가설, 대조 방식, 변화 방식, 표본과 기간, 무작위 분할, 분석 순서를 설명한다. 영국 안내는 디지털 보건 서비스의 맥락이며 한국 기업 선물의 효과를 입증하는 자료가 아니다. 여기서는 검토 가능한 설계를 먼저 적는 방법만 참고한다.
배정 전에 한 장의 사전 약정을 완성한다
「가설」 시트에 주요 결과를 한 가지 기록한다. “초대 후 30일 안에 적격한 갱신 미팅이 실제로 열렸는가”처럼 원천 체계, 일시, 판정 기준이 있는 사건이 필요하다. 단순히 약속만 잡은 미팅, 취소된 미팅, 기간이 지난 뒤 열린 미팅은 같은 사건이 아니다. 표준 시간대도 적어 둬야 한다. 결과가 다섯 단계 만족도라면 이 설계표의 0 또는 1 결과 칸을 임의로 적용해서는 안 된다. 질문의 척도에 맞는 조사와 분석을 따로 준비해야 한다.
적격 조건과 제외 사유, 배정 단위, 대조군과 처리군의 내용, 관찰 시작일과 종료일, 예산 상한, 중단 조건을 같은 버전에서 고정한다. 한 고객사에 여러 담당자가 있고 서로 정보를 주고받는다면 사람마다 다르게 배정하는 것보다 고객사 단위 배정이 적절할 수 있다. 그러나 독립적인 단위의 수가 줄어들므로 분석 담당자가 필요한 규모와 방법을 다시 검토해야 한다. 지역이나 계정 크기별로 나눌 계획이라면 그 층의 뜻도 결과를 보기 전에 적는다. 지금 파일은 층 표시를 보관하지만 각 층을 정확히 반반으로 나누는 완전한 배정 장치는 아니다.
실행 이후 어떤 자료를 근거로 확대할지도 미리 정한다. 예컨대 초대와 배송이 원래 방식대로 이뤄졌는지, 주요 결과의 기록이 충분히 완전한지, 비용이 승인 범위에 있는지, 수령자 불편이나 규정 위반이 없었는지를 함께 확인한다. 이는 운영상 판단 규칙이지 통계 검정의 경계값이 아니다. 반드시 특정 크기의 차이를 검출해야 한다면 전문 분석자가 시작 전에 표본 규모와 추론 계획을 별도로 세워야 한다. 이 파일은 검정력, 신뢰구간, 유의확률을 계산하지 않는다.
| 사전 약정 | 배정 전에 확정할 내용 | 책임자 | 확인할 증거 |
|---|---|---|---|
| 대상 | 적격, 제외, 배정 단위 | 프로그램 책임자 | 날짜가 있는 가명 번호 목록 |
| 두 군 | 단 하나의 계획된 차이 | 실행 책임자 | 사양과 변경 기록 |
| 결과 | 주요 사건과 관찰 기간 | 분석 책임자 | 자료 출처와 시간 판정 |
| 비용 | 선물, 배송, 세금 예상, 운영 | 재무 책임자 | 승인 상한과 정산 근거 |
| 제약 | 개인정보, 수령 규정, 중단 | 해당 규정 책임자 | 서면 승인 또는 거절 |
이 표는 팀이 재현 가능한 약속을 만들기 위한 것이지 한국의 모든 사업장에 똑같은 법률 절차가 적용된다고 말하는 것이 아니다. 처음 정한 기준과 중간에 바꾼 기준을 분리해서 볼 수 있다는 점이 가장 중요하다.
적격 대상 목록과 배송 명단을 분리한다
「적격 대상」 시트는 가명 식별번호, 층, 적격 여부, 제외 이유, 개인정보 고지나 처리 근거, 승인자를 위한 곳이다. 고객 관계 시스템에서 내보낸 이름, 주소, 전화번호, 직무 평가, 사적인 선호 메모를 그대로 붙여 넣는 곳이 아니다. 조직 안에서 가명 번호를 개인에게 다시 연결할 수 있다면 그 번호도 충분히 조심해서 다뤄야 한다. 연결표는 접근 권한과 보존기간을 통제하는 기존 체계에 두고, 설계표에는 분석에 필요한 최소 정보만 둔다. 배송에 필요한 정보는 승인된 이행 절차에서 취급한다.
대한민국 개인정보보호위원회의 공식 안내는 적용할 제도와 자료를 확인하는 출발점이다. 어떤 고지, 동의, 위탁, 국외 이전 또는 보존 조건이 실제 캠페인에 필요한지는 기업의 개인정보 담당자와 법률 담당자가 판단해야 한다. 이 글과 빈 파일은 법률 자문이나 개인정보 처리 허가가 아니다. 수령자가 선물을 거절했거나 수령 기관 규정이 금지한다면 실험 설계가 그 결정을 뒤집을 수 없다. 먼저 승인된 사용 목적과 실제 자료 흐름을 확인한다.
제외 기준은 결과를 보기 전에 만든다. 고객이 연락 중단을 요청했거나, 선물을 금지하는 구매 규정이 있거나, 중요한 서비스 불만을 해결하는 중이라면 선물 초대가 부적절할 수 있다. 두 군에 같은 기준을 적용한다. 배정 이후 새 제한을 발견했다면 원래 명단과 날짜가 있는 예외 기록을 보존하고 해당 단계의 발송을 멈춘다. 결과를 유리하게 만들기 위해 행을 삭제해서는 안 된다. 중복 번호도 먼저 원천 자료에서 중복 추출인지, 한 고객사의 다른 연락처인지, 번호 충돌인지 판별한다.
공유 권한도 처음부터 나눈다. 분석자가 보는 가명 자료, 배송 파트너가 보는 실행 자료, 재무가 보는 청구 자료, 임원이 보는 집계 보고서는 같은 수준으로 공개할 이유가 없다. 작은 지점이나 소수 직원의 층별 수치는 이름이 없어도 사람을 짐작하게 할 수 있다. 저장 위치, 열람자, 반출 방식, 삭제 시점과 사고 시 담당자를 적어 두지 못한다면 계산식을 먼저 완성했어도 출발을 늦추는 편이 안전하다.
초대, 수령자 선택, 이행, 자료 보존과 삭제까지의 전체 흐름을 설계하려면 기업 선물 데이터 거버넌스 안내를 함께 검토할 수 있다. 이 실험 설계표는 승인된 비교에 필요한 최소 기록을 담는 도구이지 조직 전체의 개인정보 관리 절차나 위탁 계약을 대신하는 문서는 아니다.
무작위 값은 파일 밖에서 만들고 고정한다
「무작위 배정」 시트는 적격 목록을 연결하지만 무작위 값을 스스로 만들지 않는다. 분석 담당자가 승인된 재현 가능 방법으로 각 적격 가명 번호에 0 이상 1 미만의 값을 생성하고, 발송 전에 고정해서 입력한다. 0.5 미만은 A군, 0.5 이상 1 미만은 B군이다. 빈칸, 음수, 1 이상의 수는 배정되지 않는다. 원하는 군이 나오지 않았다고 다시 뽑지 않는다. 물품이 부족해도 원래 배정과 실제 받은 처리를 따로 남긴다. 재배정이 불가피하면 이유, 범위, 승인자와 원본 버전을 보존한다.
첫 번째 버전의 계산과 확인 범위는 5행부터 104행까지로, 대상 기록 100개다. 105행에 값을 적었다고 연결식과 진단 합계가 자동으로 늘어나는 것은 아니다. 더 큰 모집단이 필요하면 새 버전을 만들고 모든 참조 범위를 함께 확장한 후 처음과 마지막 행을 검증한다. 빈칸, 0, 음수, 0.5, 1, 중복 번호, 관찰 기간 안팎, 비용 0과 누락을 시험한다. 변경한 사람이 스스로만 확인하지 말고 다른 권한자가 식과 표시 결과를 검토하도록 한다. 이 수는 파일의 용량이지 적절한 표본 규모에 대한 권고가 아니다.
두 군 인원이 비슷해 보여도 지역, 고객 규모, 이전 접촉 상태가 다를 수 있다. 작은 실험에서는 정상적인 무작위 과정에서도 불균형이 생긴다. 사전에 중요하다고 정한 특성을 살펴보되, 결과가 마음에 들 때까지 수동으로 군을 바꾸지 않는다. 지점 단위 배정이나 층별 정확한 균형이 꼭 필요하다면 승인된 별도 절차와 그에 맞는 분석 계획을 마련한다. 「층」이라는 열 하나로 그 절차가 자동 완성되는 것은 아니다.
실행 팀은 배정된 군과 허용된 최소 정보만 받아 발송한다. 분석 팀은 변하지 않는 배정 원본, 생성 방법, 입력 날짜를 보관한다. 같은 파일을 여러 사람이 동시에 덮어쓰거나 같은 이름의 첨부 파일을 전자우편으로 돌리면 원래 무엇이 배정됐는지 잃기 쉽다. 권한을 통제하는 협업 위치와 명확한 버전 이름을 사용해야 한다. 각 군의 실제 발송 시각, 배송 완료와 대체품도 분리해 남겨야 의도한 처리와 실제 처리를 비교할 수 있다.
아홉 시트는 결정 순서대로 채운다
「사용 방법」은 작업 순서와 정보 경계를 설명한다. 「가설」에는 결정 책임자, 주요 결과, 기간, 배정 단위와 두 군을 정한다. 「적격 대상」은 승인된 가명 목록을 보관한다. 「무작위 배정」은 외부에서 고정한 값을 받는다. 「비용」은 두 군의 예상 지출을 계산한다. 「결과」는 배정된 대상의 이진 결과와 발생일을 담는다. 「진단 지표」는 각 군 인원, 기간 안의 관찰, 긍정 결과, 관찰 비율의 차이와 예상 비용을 보여 준다. 「방법과 한계」는 계산하지 않는 것을 분명히 밝힌다. 「품질 점검」은 번호 중복, 배정 누락, 기간 안 결과 누락과 잘못된 날짜를 알린다.
가설과 자료 사용의 승인 없이 진단 지표부터 살펴보지 않는다. 템플릿이 비어 있을 때 표시되는 0은 선물의 효과가 0이라는 뜻이 아니라 입력 자료가 없다는 뜻일 수 있다. 가설 날짜와 적격 인원부터 확인한 뒤 배정을 고정하고 결과를 읽는다. 품질 점검에 이상이 없다고 표시되어도 출처 사건 수, 표본의 날짜, 시간대, 실제 지출, 제외와 대체품을 사람이 대조해야 한다. 점검 상태는 개인정보 승인이나 통계적 판정, 회계 마감을 대신하지 않는다.
쉼표 구분 파일은 가명 번호, 층, 적격 표시, 무작위 값, 군, 번호 검사, 결과와 관찰일의 여덟 열을 갖는다. 허가된 분석 도구와 자료를 주고받는 데 도움이 되지만 아홉 시트의 식과 방법, 비용 가정, 모든 검사를 옮기지 않는다. 다른 프로그램으로 불러올 때 문자 인코딩, 날짜 해석, 구분 기호, 숫자로 바뀌면 안 되는 번호를 확인한다. 화면에 행이 나타났다는 사실만으로 정확히 가져온 것은 아니다. 원본과 전체 행 수, 고유 번호 수, 표본 날짜를 비교하고 내보낸 시점도 보존한다.
예상 비용과 실제 관찰을 같은 표에서 혼동하지 않는다
「비용」에는 군별 예산 대상 인원, 1인 선물 가격, 배송비, 세금 예상액과 운영비를 입력한다. 식은 단가 네 가지의 합계에 예정 인원을 곱해 예상 총비용을 내고, 다시 인원으로 나눠 1인 비용을 보여 준다. 예상치이지 세무 판단이나 공급업체의 실제 청구액은 아니다. 미수령, 반품, 재배송, 관세, 이용 수수료, 지원 대응과 환율 차이를 어느 항목에 넣을지는 재무 담당자가 두 군에 일관되게 정한다. 대조군에도 영업 연락과 인건비가 들어간다면 처리군만 그 비용을 부담하게 해서 비교를 왜곡하지 않는다.
진단 지표의 관찰 비율은 배정되고, 미리 정한 기간 안에 0 또는 1의 결과와 날짜가 모두 있는 기록을 분모로 쓴다. 처음 배정한 전체 대상을 분모로 하는 분석과 다르다. 배송 실패, 수령 거부, 사건 기록 누락, 기간이 끝난 뒤 입력한 결과가 어느 군에 더 많은지 보면 해석이 달라진다. 배정 수, 실제 전달 수, 기간 안에 판정 가능한 수, 빠진 이유를 나란히 적는다. 빈칸을 자동으로 실패라고 처리하거나 B군의 결과를 더 많이 포함시키려고 기간을 연장하지 않는다. 정식 추정 대상과 결측 처리 방식은 전문 분석자가 설계한다.
해외 지점이 함께 참여하면 지역 통화의 원래 금액, 환산 날짜와 방법을 남긴다. 서로 다른 통화의 숫자를 단순 합산하면 비용 차이를 제대로 볼 수 없다. 예산, 발주, 배송, 환불, 청구 완료 단계도 나눠 표시한다. 처리군의 관찰 비율이 높으면서 비용도 크다면 주요 결과의 가치와 운영 부담을 별도로 판단해야 한다. 이 파일은 비율 차이에 영업 기회 금액을 곱해 “추가 매출”을 만들지 않는다. 후속 운영 지표를 연결하려면 기업 선물 측정 체계와 기여도 설명을 참고할 수 있지만, 이 실험의 사전 약정과 원천 자료부터 확정해야 한다.
가상 사례 하나: 계약 갱신 고객에게 보내는 초대
다음은 설명을 위한 가상 사례이며 실제 고객 성과가 아니다. 고객 마케팅 책임자는 계약 갱신을 앞둔 회사에 기존 담당자가 같은 문구로 면담을 제안하는 A군과, 그 문구에 승인된 선택형 선물 초대를 덧붙이는 B군을 비교하려 한다. 한 회사 안의 여러 연락처가 서로 다른 방식으로 처리되지 않도록 회사 단위로 배정한다. 주요 결과는 발송일부터 30일 안에 실제로 열린 적격 면담이다. 예약만 한 회의, 취소, 재일정, 기간 밖 회의를 어떻게 다룰지 고객 관계 체계의 사건 정의에 적는다.
프로그램 책임자는 상대 회사의 선물 수령 금지, 연락 거부, 중대한 서비스 문제가 있는 대상을 발송 전 같은 기준으로 제외한다. 개인정보 책임자는 초대와 배송 정보를 사용할 수 있는지 결정하고, 재무 담당자는 회사당 예산 상한을 승인한다. 분석자는 회사와 가명 번호의 연결을 통제된 곳에 두고 무작위 값을 고정한다. 실행자는 같은 날짜와 영업 후속 절차를 지키고, B군에서만 생긴 품절과 지연을 기록한다. 공급 가능성이 불확실하다면 먼저 효과를 주장하지 않는 작은 배송 시험을 하는 방법도 있다. 그것은 운영 위험을 줄이지만 선물의 효과에 관한 같은 질문에 답하지 못한다.
가령 B군에서 관찰된 면담이 더 많지만 일부 선물이 재고 문제로 늦게 갔다고 하자. 분석자는 원래 기간을 B군에만 늘리지 않는다. 실제로 어떤 회사가 초대를 제때 받았는지, 두 군의 결과 기록이 얼마나 완전한지, 지연이 결과를 바꿀 수 있는지 확인한다. 원래 비교가 불가능하다면 “이행 문제를 확인했으나 성과 차이는 판정 불가”라고 결론을 남기고 공급을 고쳐 재실험한다. 수용할 증거는 사전 약정, 승인 대상 목록, 고정 배정, 실제 발송과 배송 사건, 면담 기록, 비용 정산, 예외 기록과 결정 책임자가 서명한 다음 행동이다.
가상 사례 둘: 직원 인정 선물의 선택 방식
두 번째 가상 사례에서 인사팀은 승인된 고정 선물과 같은 예산대의 선택형 선물을 비교한다. 주된 관심이 수령 경험이라면 단순한 호감과 실제 수령 절차를 구분한다. 이진 주요 결과를 “알림 뒤 21일 안에 수령 절차 완료”로 정한다면 두 군의 알림 시점, 재알림 횟수, 유효기간과 배송 가능 지역을 맞춘다. 다섯 단계 만족도를 알고 싶다면 이 파일의 0/1 칸으로 사후 변환하지 말고 그 척도에 맞는 별도 조사와 분석을 한다. 응답자의 의견이 응답하지 않은 전체 직원을 대표하지 않을 수 있다는 점도 계획한다.
인사 규정 담당자는 어떤 인정 상황과 고용 집단이 대상인지, 관리자와 직원 사이의 공정성은 어떤지, 지역별 수령·세금 취급에 차이가 있는지 점검한다. 개인정보 담당자는 자발적 의견을 가명 번호와 연결할 수 있는지, 보존기간을 어떻게 정할지 검토한다. 분석자는 같은 사무실 사람들이 선물 이야기를 나누는 영향을 고려한다. 필요하면 사무실 단위로 배정하지만 그 순간 독립 단위와 필요한 분석도 달라진다. 운영자는 두 방식의 물품을 같은 기간에 제공할 수 있는지 확인하고, 대체품이 필요하면 승인된 규칙과 기록을 따른다.
선택형 선물에 관한 자유 의견이 긍정적이어도, 실제 수령률은 낮고 고객지원 비용이 더 크다면 “직원은 선택형을 선호한다”고 단정하지 않는다. 높은 기대가 복잡한 신청 절차 때문에 실망으로 이어졌을 수도 있고, 의견을 보낸 사람만 특별히 만족했을 수도 있다. 알림을 개선하거나 선택지를 줄이고 다시 시험하는 편이 나을 수 있다. 정책 승인, 대상 정의, 배정 원본, 배송 일시, 신청 결과, 지원 비용, 결측과 거절의 비중을 남긴다. 아주 작은 부서별 수치를 공개해 직원을 짐작할 수 없도록 한다.
비율 차이보다 분모와 빠진 기록을 먼저 살핀다
파일은 각 군의 기간 안 긍정 결과를 그 군의 기간 안 판정 가능한 결과로 나누고 B군의 비율에서 A군의 비율을 뺀다. 어느 군이든 분모가 0이면 비율을 비워 둔다. 보이는 차이는 정해진 입력 규칙 아래의 기술적 수치일 뿐 유의확률, 신뢰구간, 검정력, 인과 효과 또는 다음 캠페인의 예상 수익이 아니다. 회사 단위 배정, 층별 비율, 반복 접촉, 노출 기간 차이나 결측 자료를 자동 보정하지도 않는다. 경영 결정에 정식 추론이 필요하면 고정 계획과 승인된 가명 추출을 전문 분석자에게 전달한다.
누가 분모에서 빠졌는지를 물어야 한다. 알림이 전달되지 않았는지, 수령을 거절했는지, 배송이 늦었는지, 업무 체계가 사건을 기록하지 않았는지에 따라 대응이 다르다. 한 군의 누락이 더 많다면 남아 있는 사람들의 비율만으로 두 방식을 평가하기 어렵다. 배정 수와 배송 수, 관찰 완료, 빠진 이유를 군별로 비교한다. 주요 결과가 좋아 보여도 수령자 불만, 규정 예외, 예산 초과나 물류 부담이 있으면 확대를 중단할 수 있다. 이런 판단은 숫자를 숨기는 것이 아니라 원래 의사결정에 필요한 조건을 함께 보는 것이다.
판단 메모는 네 부분으로 쓰면 간결하다. 사전에 무엇을 정했는지, 실제로 무엇을 전달했는지, 무엇을 관찰했는지, 아직 무엇을 모르는지를 구분한다. 이어서 확대·수정·반복·중지 가운데 선택과 책임자를 적는다. 통계적 경계가 필요할 때는 관찰된 숫자를 보고 유리한 기준을 찾지 말고 다음 연구의 설계 전에 정한다. 이번 자료가 운영 가능성만 보여 준다면 그렇게 한정해서 보고한다.
무작위 배정이 어려우면 시행 전후만 비교해도 될까?
전후 비교는 운영상 단서를 제공하지만 계절, 대상 구성, 다른 영업 활동이 함께 달라질 수 있다. 비무작위 관찰이라고 명시하고 해석의 한계를 설명해야 한다. 그 차이를 선물의 무작위 비교 결과로 바꾸어 말하지 않는다.
실험이 어긋났을 때 숨기지 않고 복구한다
가명 번호가 중복되면 원천 명단으로 돌아가 이중 가져오기인지, 같은 고객사의 다른 연락처인지, 번호 생성 충돌인지 확인한다. 적격인데 군이 없다면 배정이 완료되지 않았으므로 그 명단으로 발송하지 않는다. 군은 있으나 기간 안 결과가 없으면 배송, 거절, 기록 체계, 날짜와 시간대를 각각 점검한다. 종료일이 시작일보다 이르면 사전 약정을 수정하고 승인자와 이전 버전을 남긴다. 기간 밖 결과는 예외로 보관할 수 있지만 원래 주요 결과에 섞지 않는다. 범위를 벗어난 난수값을 유리한 군으로 수동 수정하지 않고 분석자가 정해진 절차로 다시 생성한다.
실험 중 품절, 가격 변동, 문구 변경이 생기면 실행 책임자는 영향을 받은 대상, 시점, 실제 제공한 것과 승인자를 기록한다. 운영상 선물을 끝까지 보냈다는 사실과 연구상 처음의 질문에 답할 수 있다는 사실은 별개다. 개인정보 고지, 수령 규정, 상대의 거절 의사에 걸리는 단계라면 중지하고 해당 권한자의 판단을 받는다. 실험 계획이나 선물 제공 업체가 법률, 세금, 급여, 고용주 규정 또는 개인정보 결정을 대신하지 않는다.
「품질 점검」의 중복, 미배정, 관찰 누락, 날짜 오류는 조기 경보일 뿐 전체 감사를 끝내 주지 않는다. 원천 사건의 일부를 뽑아 날짜와 군, 실제 지출과 환불을 대조한다. 식이나 행 범위를 고치면 새 파일 버전에서 빈칸, 0, 음수, 0.5, 1, 중복, 기간 안팎과 두 군의 비용 시험을 다시 수행한다. 다른 권한자가 같은 규칙으로 결과를 재구성할 수 있어야 조사와 투자 판단을 맡길 수 있다.
다음 실험에 남겨야 할 의사결정 기록
경영진에게 B군 비율 하나만 크게 보여 주는 화면은 불충분하다. 원래 적격 대상, 군별 배정, 실제 발송과 배송, 기간 안 판정 가능한 수, 긍정 결과, 누락과 제외 이유, 예상과 실제 비용을 함께 보여 준다. 각 수치에 자료 출처와 추출 날짜를 붙인다. 업무 시스템에서 사건이 늦게 반영되면 어느 시점까지의 자료인지 표시한다. 재무의 청구가 아직 끝나지 않았으면 예상치와 실적을 섞지 않는다. 다른 기간의 비용과 결과를 나란히 놓을 때는 그 차이도 설명한다.
회의에서는 계획한 처리가 실제로 전달됐는지, 자료가 처음 질문에 답하는지, 다시 한다면 물류·측정·대상 조건·선물 방식 중 무엇을 먼저 바꿀지 차례로 묻는다. 결론은 선택, 근거, 남은 제한, 책임자와 다음 확인일을 포함해야 실행할 수 있다. “아직 판정할 수 없음”도 이유와 복구 경로를 기록했다면 유용한 결론이다. 불완전한 시험을 성공 사례로 포장해 큰 예산을 쓰는 일을 막기 때문이다.
팀 사이에 배포할 것은 다른 캠페인의 가명 번호가 들어 있는 복사본이 아니라 깨끗한 빈 원본이다. 언어별 제목이 같아도 국가별 수령 규정, 통화, 시각, 배송 상태와 조사 방식은 다를 수 있다. 공통의 핵심 정의는 지키되 지역별 책임자 판단은 따로 남긴다. 주요 결과나 계산식을 바꿨다면 버전을 올리고 이전 판단을 덮어쓰지 않는다. 분기마다 출처와 방법을 점검하며 중요한 변경이 발생하면 그때 즉시 갱신한다. 2026년 10월 14일이라는 파일 날짜가 모든 후속 실험의 유효성을 보장하지는 않는다.
실험을 시작하기 전의 실제 점검 회의
실행 직전 회의에서는 슬라이드의 목적 문장보다 현장에서 멈출 수 있는 조건을 확인한다. 프로그램 책임자는 처음의 대상 기준과 제외 명단에 변경이 없는지 읽어 준다. 개인정보 책임자는 명단 추출 목적과 접근권한이 승인된 범위를 벗어나지 않는지 확인한다. 수령 규정 책임자는 상대 회사나 직원의 선물 금지 조건을 다시 확인한다. 분석 담당자는 가명 번호 수, 고유 번호 수, 유효한 난수값 수, 군별 수와 배정 원본의 저장 위치를 제시한다. 운영 담당자는 두 군의 발송 시각, 메시지, 배송 가능 지역과 대체품 조건을 대조한다. 재무는 승인 예산과 예상 총비용이 같은 기준으로 계산됐는지 확인한다. 이때 어느 한 항목을 “나중에 처리”로 남겨야 한다면 그 항목의 소유자와 발송을 멈출 범위를 명시한다.
예를 들어 한 지역에서 처리군의 선물만 기한에 맞춰 조달할 수 없다는 사실을 발견했다면 세 가지 선택이 있다. 해당 지역 전체의 발송을 미루고 두 군의 일정도 함께 조정한다. 지역을 처음부터 제외할 수 있는지 정책과 분석 담당자에게 다시 판단받아 새 버전의 대상 범위를 승인한다. 아니면 물류 확인만 하는 시험으로 목적을 바꾸고 효과에 관한 결론을 포기한다. 처리군 대상만 뒤늦게 빼거나 대조군을 다른 지역 사람으로 채우는 방식은 처음의 배정 약속과 다르다. 각 선택에는 일정, 비용, 해석 가능성의 대가가 있으므로 책임자가 문서로 결정해야 한다.
발송 이후에도 고정된 관찰 종료일까지 매일 점검할 것은 결과 비율이 아니라 자료 수집 과정이다. 초대가 실제로 전달되는지, 배송 실패가 특정 군에 몰리는지, 원천 시스템 사건이 일관된 시간대로 기록되는지, 동의 철회나 거절이 적절히 처리되는지 살핀다. 문제가 나타났을 때 분석자가 미리 정한 주요 결과를 수정해서는 안 된다. 운영상 복구를 할 수 있다면 실제 수정일, 대상과 영향을 기록하고 연구상 비교가 여전히 가능한지 별도로 평가한다. 이 구분을 지키면 수령자 지원은 계속하면서도 불완전한 실험을 유효하다고 포장하지 않을 수 있다.
결산 회의에는 처음 승인한 실험 약정과 변경 내역을 함께 놓는다. 배정 파일, 발송·배송·반품 자료, 사건 추출, 비용 명세, 품질 점검, 통계 담당자의 해석 범위를 확인한 뒤 다음 행동을 고른다. 결재자는 숫자뿐 아니라 누락의 원인과 수령자에게 생긴 불편을 이해해야 한다. 이해하기 어려운 차이라면 원인을 먼저 분류하고 다음 시험의 질문을 좁힌다. 서명된 결정문에 누구에게 어느 버전의 자료를 보여 주었는지, 검토 자료가 언제까지의 사건을 포함하는지까지 적어 두면 다음 담당자가 과거 결론을 재사용할 때도 맥락을 잃지 않는다.
결론: 보낼 선물보다 재현할 판단을 먼저 만든다
좋은 기업 선물 실험은 적격 대상, 두 군 사이의 차이, 고정 기간, 한 가지 주요 결과, 전체 비용, 정책 제한과 실패 시 조치를 한 버전에 남긴다. 빈 복사본에 가상의 번호를 몇 개 입력해 0.5 경계, 음수와 1, 중복, 기간 밖 결과를 먼저 시험하면 팀이 파일의 능력과 한계를 함께 이해할 수 있다. 그런 다음 권한 있는 사람이 실제 자료 사용을 승인하고 분석자가 배정을 고정하며 실행자가 배송과 예외를 기록한다. 결과가 흐릿하다면 먼저 기록과 운영을 고친 뒤 다시 비교한다. 그 과정 자체가 예산과 수령자를 보호한다.
조직이 실험 설계, 수령 규정, 개인정보 처리와 예산을 승인했다면 Giftpack 기업 선물 담당팀과 승인된 선택지, 수령자당 지출 한도, 국가별 이행 방식을 논의할 수 있다. Giftpack은 무작위 배정의 통계적 타당성, 법률·세무·급여·고용주 규정 판단이나 최종 투자 결정을 대신하지 않는다.