사업계획서를 통해 정부과제를 성공적으로 수주한다면 연구·개발을 성공적으로 진행하고 과제 종료 평가에서 '미흡'이 발생하지 않도록 진행해야 합니다.
정부과제를 성공적으로 완료하기 위한 조건으로는 적절한 예산집행, 성실한 연구·개발 등 여러 가지가 있습니다.
오늘은 정부과제를 성공적으로 수행하기 위한 요건 중 '미흡'이 발생하지 않도록 하는 가장 중요한 역할을 하는 테스트결과서에 대한 내용을 다뤄보고자 합니다.
1. 정부과제에서 테스트 결과서란 무엇일까?
아래 내용은 2023년 AI바우처지원사업 공고문 중 내용을 발췌한 내용입니다.
○ 공급기업이 제공하는 솔루션에 대해서는 사업기간 내 자체 시험결과가 아닌 제3자가 수행한 테스트 결과서*를 필수 제출해야 함
* 단, 제출 테스트 결과서에는 성능목표, 학습/테스트데이터, 사용 알고리즘, 사용언어, 개발프레임워크 등이 제시되어야 하며 KOLAS 인증 기업의 테스트결과서만 허용
** 기한 내 미제출 시 참여제한, 사업비환수 등 제재조치를 취할 수 있음
여기서 말하는 테스트 결과서의 조건은 아래와 같습니다.
1) KOLAS 인증 기업의 테스트 결과서만 허용
2) 제 3자가 수행해야 함
3) 성능목표, 학습/테스트데이터, 사용 알고리즘, 사용언어, 개발프레임워크 등이 제시되어야 함
4) 기한 내 미제출 시 참여제한, 사업비 환수 등 제재조치가 있을 수 있음
2. 테스트 결과서 어디에서 신청해야 할까?
위 내용을 기반으로 보았을 때 테스트 결과서는 회사 내부에서 자체적으로 진행하지 않고 KOLAS 인증 기관을 통해 진행해야 합니다.
KOLAS 인증기관은 대표적으로 아래 기관들이 있으며, 이 기관 이외에도 KOLAS 인증기관이면 무방합니다.
TTA(한국정보통신기술협회) https://www.tta.or.kr/tta/index.do
KTR(한국화학융합시험연구원) https://www.ktr.or.kr/main/index.do
KTC(한국기계전기전자시험연구원)http://www.ktc.re.kr/web_united/
3. 테스트 결과서 신청 절차는?
- KOLAS 인증기관 홈페이지를 통해 시험 ·검사신청서를 작성 (공인인증시험, 성능평가 등 업체별 용어가 상이할 수 있으니 정부과제 성능평가용이라고 문의하시기 바랍니다.)
- 담당시험관을 배정받고 '시험절차서'를 작성
시험절차서는 시험 받을 내용, 시험 환경에 대한 모든 내용을 기재하게 됩니다.
시험환경 :하드웨어의 스펙부터 크롬브라우저의 버전, 톰캣의 버전 등 세세한 부분까지 모두 기재하게 되어있습니다. - 시험절차서 내에 시험항목, 성능목표, 만족기준을 작성
시험 절차서에서 어떠한 환경에서 어떤 방식으로 시험을 진행하고 목표한 성능을 어떠한 방식으로 확인하는가를 기재해야 합니다.(평가 시 성능목표와 만족기준은 정부과제의 사업계획서에서 작성한 성능 목표와 동일하거나 더 높은 성능으로 작성되어야 합니다.) - 시험성적서 수령
4. 테스트 언제 신청해야 할까?
- KOLAS 인증기관에 테스트를 신청하는 것은 대게 과제 종료일 45~60일 전에 최초 신청을 합니다.
- 인증기관에서 담당 연구원을 배정받은 이후 시험절차서를 작성하고 시험일 또는 시험 기간을 협의합니다.
- 시험을 종료 한 이후 10~14일 정도 이후 시험성적서가 발급됩니다. 과제 종료보고 이전 시험성적서가 확보되지 않을 경우 문제가 발생할 수 있으니 유의하시기 바랍니다.
5. 테스트 비용은?
시험 방법이나 시험항목에 따른 차이가 있습니다.
때문에 정부과제 사업계획서를 작성할 때 과제비에 포함될 수 있도록 시험 항목과 내용에 대해서 사전에 KOLAS인증기관과 소통하여 사업계획서를 작성 하는 것이 좋습니다.
6. 기타 주의사항?
테스트 결과서를 받기 위한 시험은 시험에 필요한 모든 환경, 시험 내용을 전부 기록하고 캡쳐하도록 되어있습니다.
시험은 의뢰자가 제시한 환경에서 목표한 성능이 달성되는가를 의뢰자가 제시한 '만족 기준'에 따라 여러차례에 걸쳐 평가하게 되어있습니다.
예를 들어 아래와 같은 Recall을 측정할 시 동일한 시험환경에서 10회 이상 테스트를 진행하여 평균값을 기록합니다.
시험항목 : AI알고리즘을 적용한 콘텐츠 추천 모델 적용_사용자기반 CF
성능목표 : Recall 60% 이상
만족기준 :
(1) 콘텐츠 추천 테스트 데이터 추출
* 테스트 데이터는 회원 1,000명에 대한 콘텐츠 수강 이력 추출
(2) 학습된 추천 모델에 테스트 데이터 입력 후, 회원별 추천 아이템 (아이템의 수=25) 추출
(3) 회원이 시청한 모든 콘텐츠 중에서 추천 모델이 추천한 콘텐츠가 얼마나 포함되는지의 비율을 계산