536만건·75TB 데이터 품질관리 자동화
누락·오류 추적하고 품질 점수 산출
내부 검증 거쳐 연구 현장에 개방
농진청 전경. ⓒ데일리안DB
농촌진흥청이 농생명 연구 데이터의 오류와 품질을 인공지능(AI)으로 자동 검증하는 기술을 개발했다. 전문 인력이 일일이 자료를 확인하던 과정을 자동화해 농업의 인공지능 전환(AX)을 뒷받침한다는 구상이다.
농진청은 슈퍼컴퓨터와 AI를 결합한 농생명 연구 자료 품질관리 자동화 기술을 개발했다고 15일 밝혔다.
유전체와 전사체 연구 등에서 생산된 농생명 데이터는 국립농업과학원 국립농생명공학정보센터(NABIC·나빅)에 기탁된다. 이를 빅데이터 분석에 활용하려면 원시 자료의 오류와 과학적 정밀성을 확인하는 내용 검증을 거쳐야 한다.
나빅이 보유한 데이터는 약 536만건, 75TB 이상이다. 매년 데이터가 약 20%씩 증가하면서 내부 전문 인력만으로 품질을 검증하는 데 한계가 있었다.
이번 기술은 유전 정보의 파일 구조를 자동으로 분석하고 표준화된 품질 지표를 적용한다. AI가 데이터 누락 여부를 판단하고 분류 알고리즘을 통해 실제 분석에 적합한 품질인지 점수로 산출해 연구자에게 제공한다.
품질관리는 총 4단계로 진행된다. 슈퍼컴퓨터가 원시 자료를 전처리한 뒤 AI가 염기서열 해독 기기와 연번 등 헤더 정보와 실험 날짜를 분류한다. 이후 데이터 유형별 기준에 따라 오류를 추적하고 자동 채점한 뒤 최종 품질 점검 보고서를 생성해 나빅에 저장한다.
농진청은 외부 공개에 앞서 내부 부서를 중심으로 기술의 안정성과 실효성을 검증하고 있다. 서버 등 추가 기반 시설이 확보되는 2028년부터 외부 연구 현장에서도 활용할 수 있을 것으로 전망된다.
이태호 농진청 슈퍼컴퓨팅센터장은 “연구자들이 데이터 품질 검증에 쓰던 시간을 연구개발에 투입할 수 있어 연구 효율을 크게 높일 수 있을 것으로 기대된다”고 말했다.
댓글 쓰기