Специалисты Яндекса рассказали в своем блоге о том, какую роль в интернет-поиске играет лингвистика. Не секрет, что лингвисты и большие поисковые компании тесно связаны между собой. Например, в Яндексе (более 5000 чел.), в Google (более 50 000 чел.), в Байду (более 20 000) от трети до половины сотрудников работают непосредственно на поиск. Лингвисты внутри этих компаний примерно поровну делятся между поиском и остальными направлениями - новостями, переводом и т.д.
м
Та, часть лингвистов, которая пересекается с поиском, на диаграмме обозначена штриховкой. Возможно, в Google и других компаниях все устроено немножко иначе, чем в Яндексе, тем не менее, общая картина примерно такая: лингвистика является важным, но не определяющим направлением работы поисковых компаний. Еще одно важное дополнение: в жизни, конечно, границы расплывчаты – невозможно сказать, например, где заканчивается лингвистика и начинается машинное обучение. Каждый лингвист, работающий в поиске, немного занимается программированием, немного - машинным обучением.
Разница между миром науки и миром производства существует. На графике, приведенном ниже, на оси Х показана сложность решаемых задач, на оси У – отдача от этих задач, неважно, в деньгах или в совокупной пользе для человечества:
Люди, занимающиеся производством, очень любят выбирать себе задачи, находящиеся в верхнем левом квадранте – несложные и с большой отдачей, а люди науки – задачи с правого края, сложные и никем еще не решенные, но при этом с достаточно произвольным распределением отдачи. Где-то в верхнем правом квадранте они встречаются. Очень хотелось бы надеяться, что именно там находятся задачи, которыми занимаемся мы с вами.
Читать далее в блоге Яндекса на habrahabr.ru