Седьмой Российский семинар по Оценке Методов Информационного Поиска
(РОМИП'2009)
Февраль 2009 - Сентябрь 2009
http://romip.ru
К участию приглашаются все заинтересованные лица - как создатели поисковых
систем, так и исследователи, занимающиеся проблемами информационного поиска.
В 2009 году очная часть РОМИП будет проводиться совместно с летней школой по
информационному поиску RuSSiR (http://romip.ru/russir2009). Студенты и
аспиранты, участвующие в семинаре РОМИП будут иметь преимущество при отборе
участников летней школы.
Рассматриваемые задачи
----------------------
Предварительно, программа семинара в 2009 году будет состоять из следующих
секций (дорожек), каждая из которых посвящена оценке методов решения одной
из задач информационного поиска:
* классическая задача поиска по запросу
o по коллекции нормативно-правовых документов
o по Веб-коллекции
o по смешанной коллекции
* тематическая классификация
o нормативно-правовых документов
o Веб-сайтов
o Веб-страниц
* фактографический поиск по новостной коллекции
* кластеризация новостного потока
* контекстно-зависимое аннотирование текстовых документов
* поиск похожих документов по документу образцу или фрагменту текста
* вопросно-ответный поиск
* поиск нечетких дубликатов в коллекции изображений
* поиск изображений по визуальному подобию
Окончательный список будет сформирован по результатам обсуждения в форуме и
предпочтений заявившихся участников. Подробные описания дорожек и правила
проведения обсуждаются в списке рассылки РОМИП и будут опубликованы на сайте
семинара.
Наборы данных
-------------
При проведении оценки используются следующие коллекции
(список может быть расширен):
* Веб коллекция Narod.Ru (700.000 документов)
* Веб коллекция BY.web (1.500.000 документов)
* Веб коллекция KM.RU (3.000.000 документов)
* Веб коллекция DMOZ (300.000 документов)
* Коллекция нормативных документов (300.000 документов)
* Новостная коллекция (32.000 документов)
* Коллекция фотографий (20.000+ изображений)
* Коллекция нечетких дубликатов изображений
Процедура и условия участия
---------------------------
Все участники подписывают лицензионные соглашения об использовании коллекций
РОМИП исключительно для исследовательских (некоммерческих) целей в рамках
проекта РОМИП.
Участник, получив набор данных и заданий, в оговоренные сроки предоставляет
результат(ы) выполнения заданий своей системы для их независимой оценки,
которая проводится с соблюдением анонимности источника результата.
Поощряется также и решение модифицированных задач на основе используемых
наборов данных.
Участник обязуется предоставить статью с описанием общих принципов
использованного подхода и полученных результатов для публикации в трудах
семи-нара и сделать доклад на очной части семинара.
Предполагается также, что участники компенсируют часть затрат на
распространение тестовых корпусов и оценку результатов, пропорционально
степени их участия. Компенсации могут быть производится как путем оплаты
оргвзносов, так и путем выделения трудовых ресурсов для проведения оценки.
Результаты тестирования предназначены для использования исключительно в
исследовательских целях и не могут быть использованы в маркетинговых или
коммерческих целях.
Очный семинар
-------------
В 2009 году предполагается совмещение очной части РОМИП с летней школой по
информационному поиску (RuSSIR'2009) и российской конференцией по
электронным библиотекам (RCDL'2009). По предвариетльному плану очная часть
РОМИП пройдет в Петразаводске, 15 сентября 2009 года.
Правила подачи заявки
---------------------
Заявка на участие в семинаре РОМИП должна содержать следующую информацию:
* краткая (в 1-2 абзаца) презентация системы
(название, Веб-сайт, краткое описание принципов используемого подхода)
* контактная информация (организация, email контактного лица)
* список дорожек, в которых вы заинтересованы принять участие
Заявки принимаются по адресу: romip@romip.ru
Важные даты:
------------------------------------
Приём заявок на участие: до 8 марта
Распространение заданий: до 1 апреля
Предоставление результатов выполнения заданий: с 1 мая по 20 мая (по графику)
Результаты оценки: 1 - 15 июля
Тексты докладов: 15 августа
Очная встреча: 15 сентября
О РОМИП:
========
РОМИП - это инициатива по проведению независимой оценки методов
информационного поиска, ориентированных на работу с русскоязычной
информацией.
Методология организации семинара во многом схожа с известными мировыми
аналогами - американским TREC, европейским CLEF и японским NTCIR.
Отличительной чертой РОМИП является использование русскоязычных коллекций и
активное участие исследователей из России.
Материалы семинаров РОМИП 2003-2008 годов свободно доступны на сайте семинара.
Цели и аудитория
----------------
Основными целями Российского семинара по Оценке Методов Информационного
Поиска являются:
* создание и развитие информационных ресурсов, обеспечивающих
исследования в области информационного поиска
(информационно-поисковых систем, экспертных систем, баз данных)
* проведение независимой оценки методов информационного поиска,
ориентированных на работу с русскоязычной информацией
* формирование среды для исследования проблем информационного поиска на
актуальных для российского пользователя задачах
* формирование требований к оформлению текстовых коллекций для тестирования
* формирование "правил игры" - этических норм представления и
использования результатов
Дополнительными целями проекта являются:
* консолидация сообщества российских исследователей и разработчиков,
занимающихся информационным поиском
* сотрудничество с зарубежными инициативами по тестированию систем
информационного поиска
* расширение контактов с зарубежными исследователями и разработчиками,
занимающимися многоязычным информационным поиском
* привлечение широкого внимания к проблемам и перспективам информационного
поиска и интенсификация исследований в этой области в России
* создание предпосылок и стимулов для дальнейшего развития участвующих
систем с целью совершенствования качества поиска.
Оргкомитет
----------
* Михаил Агеев (МГУ, Москва)
* Александр Антонов (Галактика, Москва)
* Павел Браславский (Яндекс, УГТУ-УПИ, Екатеринбург)
* Наталья Васильева (HP Labs, Санкт-Петербург)
* Максим Губин (IAC Search & Media, USA)
* Борис Добров (УИС РОССИЯ, Москва)
* Михаил Костин (Mail.Ru, Москва)
* Игорь Кураленок (Яндекс, ПМПУ СПбГУ, Санкт-Петербург)
* Игорь Некрестьянов (мат-мех СПбГУ, Санкт-Петербург)
* Марина Некрестьянова (Nebuad, Санкт-Петербург)
* Владимир Плешко (RCO, Москва)
* Илья Сегалович (Яндекс, Москва)
* Влад Шабанов (Вертикальный поиск, Москва)
Дополнительная информация
-------------------------
Веб сайт семинара - http://romip.ru
Основным средством общения и координации в РОМИП является электронная почта.
Для получения оперативной информации и обсуждения вопросов, связанных с
проведением семинара, приглашаем подписаться на рассылку РОМИП
http://www.yahoogroups.com/group/romip.