정보 검색
정보 검색(情報檢索, information retrieval)은 집합적인 정보로부터 원하는 내용과 관련이 있는 부분을 얻어 내는 행위를 말한다. 이를 위해 메타데이터나 색인이 사용될 수 있다.
자동화된 정보 검색 시스템은 소위 ‘정보 과부하’라 불리는 상태를 완화시키기 위해 사용된다. 많은 대학 및 공공 도서관들이 보유 서적 및 저널, 각종 문서들에 대한 접근성을 제공하기 위해 정보 검색 시스템을 구축한다. 웹 검색 엔진은 일상적으로 가장 쉽게 접할 수 있는 정보 검색 시스템 중 하나이다.
역사
편집| “ | 지난 몇 달 동안 일기를 계속 녹음해 왔지만 찾아보고 싶을 때 어떻게 찾아봐야 할까, 하는 생각은 단 한 번도 해보지 못했습니다. | ” |
정보를 검색하기 위해 컴퓨터를 사용한다는 아이디어는 1945년 버니바 부시가 디 애틀랜틱 지에 기고한 '우리가 생각하는 대로(As We May Think)'를 통해 대중화되었다.[2] 최초의 자동화 정보 검색 시스템은 1950~1960년대에 도입되었다. 1970년까지 수 천 개 문서의 모음인 크랜필드 콜렉션(Cranfield collection)과 같은 소규모 말뭉치를 대상으로 하는 몇몇 방법들이 학계에 소개되었다.[2] 록히드 다이얼로그 시스템(Lockheed Dialog system)과 같은 대규모 검색 시스템은 1970년대 초부터 사용되기 시작하였다.
1992년 미국 국방부는 미국 국립표준기술연구소(NIST)와 함께 텍스트 검색 컨퍼런스(Text Retrieval Conference, TREC)를 후원하였으며, 이것은 TIPSTER 텍스트 프로그램의 일부였다. 이 프로그램의 목적은 대규모 텍스트를 위한 텍스트 검색 방법론의 성능 측정에 필요한 제반 시설을 지원함으로써 정보 검색 관련 학계를 후원하는 것이었다. 이를 통해 매우 큰 말뭉치에 적용 가능한 확장성 높은 검색 방법에 대한 연구가 촉진되었다. 그리고 웹 검색 엔진의 등장으로 인해 이러한 대규모 검색 시스템에 대한 요구는 더욱 커지게 되었다.
정보 검색 요소
편집오늘날의 정보검색시스템은 크게 데이터집합, 색인, 랭킹, 표현, 사용자 피드백이라는 다섯 가지 요소로 구성되어 있다.
- 데이터집합: 검색의 대상이 되는 데이터로서 크게 DB형 데이터와 문서형 데이터로 구분될 수 있다. DB형 데이터는 날씨, 주가, 기차시간표 등과 같이 일정한 스키마를 갖고 DB에 저장되어 있는 데이터인 반면, 문서형 데이터는 제목과 본문, 생성날짜 등으로 구성된 데이터를 말한다. 문서형데이터는 다시 정형적 문서형데이터와 비정형적 문서형데이터로 나뉘는데, 정형적 문서형데이터는 지식검색데이터나 블로그데이터와 같이 비교적 나름대로의 서식을 갖추고 있는 데이터이고, 비정형적 문서형데이터는 웹문서와 같이 상대적으로 자유로운 형식의 데이터를 의미한다.
- 색인: 색인(indexing)은 문서형데이터집합에 대하여, 각 단어별 문서리스트를 생성한 것을 의미하며, 흔히 역문서리스트(inverted list)라는 용어로도 표현된다. 한편 색인방식에 따라 데이터집합을 한꺼번에 색인하는 일괄색인(batch indexing)과 점증색인(incremental indexing)으로 구분될 수 있는데, 뉴스검색은 대표적으로 점증색인을 적용하는 분야이다. 정보검색을 위한 색인과정에서 중요한 것은 주어진 문서에서 색인어를 추출하는 과정인데, 언어적 특성과 상관없이 적용될 수 있는 n-gram 방식과, 자연언어처리의 형태소분석을 통한 방식이 존재한다.
- 랭킹: 랭킹(ranking)은 입력된 질의(query)에 대하여 가장 적합한 순으로 문서형데이터들을 나열하는 작업을 의미하며, 이를 위한 다양한 검색알고리즘들이 존재한다. 여기서 적합성(relevance)은 질의와 문서와의 유사성(similarity), 문서의 최신성(freshness), 문서 고유의 품질(quality), 그리고 사용자 검색로그를 포함한 기타 여러 정보가 적절히 혼합되어 판단될 수 있다. 구글의 페이지랭크는 질의와는 상관없이 문서 고유의 품질을 문서간의 링크관계에 따라 규정하는 대표적인 품질측정 알고리즘이라 할 수 있다.
- 표현: 검색의 결과는 구글과 같이 단순리스트형식으로 사용자에게 제시될 수도 있고, 유사한 결과들이 그룹화되어 제시될 수도 있으며, 데이터의 종류(이미지, 블로그, 웹문서)등으로 구분지어 제시될 수도 있다.
- 사용자 피드백: 사용자피드백은 검색의 품질을 개선하는 데 활용되는 것으로, 사용자가 직접 검색결과에 피드백을 주는 명시적 피드백(explicit feedback)과 사용자의 검색행위를 기록해놓은 검색로그가 대표적인 암묵적 피드백(implicit feedback)으로 구분될 수 있다. 최근에는 암묵적 피드백 정보를 활용하여 검색결과를 개선하려는 연구가 활발히 진행되고 있다.
정보 검색 모델
편집정보 검색 모델에는 불리안 모델(boolean model), 벡터 모델(vector model) 등이 있다. 불리안 모델은 한 개의 질의어에 있는 두 개 이상의 키워드가 and, or, not에 의하여 연결되어 있는 경우, 이들을 논리곱의 합의 형태로 변환하여, 각각의 논리곱이 각 문서에 존재하는지를 체크하는 방법이다. 벡터 모델은 질의어와 각각의 문서를 모든 색인어에 대한 벡터 형태로 나타낸 후, 질의어와 각 문서의 벡터곱을 유사도로 이용하여 문서들을 랭킹하는 방법이다.[3][4]
같이 보기
편집
각주
편집- ↑ 브램 스토커 지음, 박종윤 옮김 (2009년 7월 30일). 《드라큘라2》. 펭귄클래식코리아. ISBN 8901099063.
- ↑ 가 나 Singhal, Amit (2001). “Modern Information Retrieval: A Brief Overview” (PDF). 《Bulletin of the IEEE Computer Society Technical Committee on Data Engineering》 24 (4): 35–43.
- ↑ 《Modern Information Retrieval》 Ricardo Baeza-Yates, Berthier Ribeiro-Neto. 2007.
- ↑ 《최신정보검색론》 Ricardo Baeza-Yates, Berthier Ribeiro-Neto 저. 김명철 외 역. 홍릉과학출판사. ISBN-10 : 8972831735. 2001.