Вопрос Сообществу: Можно ли анализировать контент независимо от языка?

— Доктор, вот уже пять лет, как я не сплю с женой. — А сколько вам лет? — 65. — Это возраст, батенька, возраст. — А вот соседу 75, он говорит, что ежедневно… — Ну, и вы говорите…

> у них искусственный интеллект В их мокрых фантазиях. А вообще, http://habrahabr.ru/company/abbyy/blog/115226/ -> Ctrl-F -> ABBYY Compreno

Я убежден, что автоматический анализ тональности упоминаний в социальных мидиях [на русском языке] в принципе невозможен. Ну, в смысле, надёжность его работы такова, что опираться на результаты его работы нельзя ни в чём. Буду очень рад, если найдётся игрок рынка средств мониторинга социальных мидий, который возьмётся меня разубедить. Тогда Яндекс, возможно, сможет стать клиентом такого игрока.

Роман, а пока вы тут, не могли бы заодно ответить на этот комментарий? http://roem.ru/2011/08/23/addednews34489/?c#message101920

Технология проста: если текст написан грамотно, хорошо отформатирован, проиллюстрирован, монолитен и ворд не предлагает половину слов заменить как «просторечные» — то это джинса (положительная тональность). Если текст 11!!, половина слов отсутствует в словаре, а вторая — находится на луркморе в заголовках статей — то это отзыв клиента (отрицательная тональность; если также есть много ссылок и иллюстрации — то отзыв может быть конструктивным). Но от языка все равно зависит.

Ну, в смысле, надёжность его работы такова, что опираться на результаты его работы нельзя ни в чём. У нас есть клиенты, они нимало сумняшеся опираются. При том, что там можно почитать каждую публикацию, у которой оценена тональность и проверить оценку. Там довольно всё неплохо по полноте-точности. Есть пока проблемы с оценками персон в политических срачах в ЖЖ (не всегда легко понять кто в ответ на какой камент иронически назвал кого уёбком в знак несогласия с такой характеристикой от врагов), а вот с оценками продуктов (мобильных телефонов, мобильных операторов или банковских услуг) — нормально. Буду очень рад, если найдётся игрок рынка средств мониторинга социальных мидий, который возьмётся меня разубедить. Ну давай Володя Ермаков, гендиректор Крибрума, к тебе заедет и покажет всё. Или пришлёт ссылку на.

Давай, жду письма.

> Давай, жду письма. Письмо ушло, на адрес @ya.ru

ну вот, в топик на Кворе понабежали представители российский сервисов и давай там смммить. А Крибрум не понабежал. Снобизм?

На 100%, конечно, сможет определять только искусственный интеллект. Если ребята изобрели искуственный интеллект, вряд ли бы они занимались мониторингом брендов в твиттере)) А к дискуссии: смысл автоматического определения тональности не в чистоте,а в скорости. То есть реальный негатив «<<<>> — говно и сломалось» автоматическая система определит мгновенно, а вот ручками в инструментах, где нет такой системы, это может случиться только когда руки менеджера до этого дойдут, и когда негатив уже может распространиться, переретвититься, гуглплюснуться, и вовконтактнуться.

на любом не возможно, на многих — возможно. Просто нужен набор ключевых слов, и их аналог в нужном вам языке, причем тут искусственный интеллект.

Может работать на голых н-граммах, а могут не договаривать, что у них есть русская морфология и мб даже грамматика. Одно другому не мешает. Кстати, некое подобие морфологии и грамматики тоже можно намайнить по голым текстам при желании.

SoDash Once trained, it will automatically tag messages that are sales leads, positive or negative comments about your brand or your competitors, deliver market information, ghost-write responses and much more. Т.е. это скорее всего такой поиск, который узнаёт про негативные термы от пользователя, а индексировать со более-менее универсальным стеммингом можно документы на большинстве языков мира. Другое дело, что обученное лингвистами, а не роботами в данном случае работать должно сильно лучше.

на любом не возможно, на многих — возможно. Просто нужен набор ключевых слов, и их аналог в нужном вам языке, причем тут искусственный интеллект. Да, да. Всё на коленке за три дня сделаю. Такой беззаботный и беспроблемный полёт фантазии, что аж завидно. Вы разберите с помощью ключевых слов хотя бы конструкцию с заменой на местоимение типа: «Купил Самсунг Галакси 2. Принёс домой, включил заряжаться, а он не показывает зарядку». Или две оценки разных параметров в одной фразе: «у МТС интернет летает, а голоса нормального нет». Ну и тому подобное: Или «Экран у него яркий, а тач — говно». Или отрицание обработайте: «не всякий раз хорошо слышно по громкой связи». Ключевыми словами делается разбор с примерно 50+% ложных тревог и ошибок. Что и наблюдается у большинства игроков рынка. При этом с низкой полнотой. Кстати, некое подобие морфологии и грамматики тоже можно намайнить по голым текстам при желании. Можно при желании и на помойке питаться. И такие люди есть. Никакой разумной морфологии и грамматики по текстам не построишь — не хватит представительности. И результат будет тот же самый 50:50, проще виртуальную монетку подбрасывать в программе. Это как байесом спам фильтровать. Ну если ну очень напрячься, учить и переучивать каждый день, то процентов 70 или даже 80 детекции спама можно получить. А надо 95% как минимум. К несчастью для любителей статистики, борьба в таких системах ИИ, анализирующих смысл текста, идёт за пару-тройку последних процентов, а не за 30% или 40%.

А Крибрум не понабежал. Снобизм? Просто, возможно, мы лучше понимаем, чего стоит какой вопрос. В России есть реальные клиенты, им нужен русский анализ. Это мы делаем. Есть клиенты в англоязычном Интернете, им нужен английский анализ. Это тоже делаем. Есть арабы, им нужен английский и арабский, это мы тоже делаем. Есть юговосточноазиаты — китайцы/вьетнамцы/… — для них сделаем в 2012. Во всех случаях клиент здесь — это крупняк, имеющий миллионы потребителей и тысячи упоминаний бренда/продукта в день, иначе ему нет смысла покупать услугу мониторинга мнений. Но англоязычный клиент, желающий русского и задающий вопрос на Куоре — это, скорее всего, что-то настолько геморройное, что давайте в другой раз. И так не успеваем пилоты запускать.

а что, в приведенном вами примере дофига ключевых слов))) Никто не говорит что вы сделали за три дня на коленке, у вас вон какой набор лингвистов сидит, не коим образом не претендую на ваши лавры))) И насчет процентов понятно — на 20% процентов качества уходит 80% работы. Я ввообще не крибрум критиковал, а отвечал в общем и целом автору поста. Тем более как говорите большинство конкурентов на коленке лепят то, что я описал, и довольны. Может об этом и говорилось в Quore. Хотя конечно интересно как вы вычиляете смысл елси не опираясь на семантику и выцепляя ключевые понятия (сложным образом выцепляя, но тем не менее))) А да, я пишу «)))», да.

а что, в приведенном вами примере дофига ключевых слов Да, но что делать с отрицанием и двойным отрицанием? Наборы ключевых слов — это то, с чего рекламные агентства начинают делать свою технологию мониторинга. На этом обычно и останавливаются, потому что других технологий нет, программисты дороги, а управлять ими мучительно. Собственно извлечение мнений состоит из нескольких стадий: — обнаружение объектов (бренд/продукт), — обнаружение интересующих заказчика свойств объектов (экран, время работы без зарядки, задержки рейсов, питание на борту, качество номеров, расстояние до пляжа), — вычисление отношения говорящего (тональности) и привязка его к свойствам объектов. Почти ничего из этого, работая с мешками ключевых слов, сделать нельзя. И никаких языково-независимых технологий — не бывает.

>> К несчастью для любителей статистики, борьба в таких системах ИИ, анализирующих смысл текста, идёт за пару-тройку последних процентов, а не за 30% или 40%. Для больших брендов с десятками тысяч упоминаний ошибка в 3% — это пипец, ИМХО. Уж проще платить facebook’у и вконтакте, жж и пр., чтобы замечать комментируемые события

По теме вспомнилась одна история из молодости, когда работал на одном из предприятий нашей оборонки в конце 90х — разрабатывали систему слежения ПВО для прибрежной зоны (наблюдение за низколетающими и плавающими целями). По заданию заказчика (министерства обороны) в среднем ложное срабатывание должно было происходить с вероятностью 0.01%. Вероятность несрабатывания при этом не должна была превышать 0.000001%. Если со вторым всё понятно (врага пропустить никак нельзя), то первое было мотивиривано исследованиями психолгов (да, в 90х минобороны такие проводила!): при бОльшей вероятности ложного срабатывания проявлялся эффект подобный сказке про мальчика-пастуха, который несколько раз ради шутки звал на помощь: ответственные наблюдающие переставали обращать внимание на сработавшую тревогу. Так вот пока подобные системы не смогут обеспечить сравнительного уровня срабатывания, их использование будет сильно ограничено. И их распространение — чистый маркетинг.

Для больших брендов с десятками тысяч упоминаний ошибка в 3% — это пипец, ИМХО. Ваша имха — неправильная. Во-первых, брендов с десятками тысяч упоминаний — мало. Это Каддафи, ну может быть, ещё Эппл. Так-то в среднем упоминаний — от нескольких сотен до нескольких тысяч. Во-вторых, какая именно ошибка является пипецом? Или пипцом? Пропуск цели или ложное обнаружение? Поясню на примере: вот у вас система распознавания нехороших лиц в аэропорту. Пропуск цели — это пропуск террориста. Очень плохо. Нельзя ни одного пропустить, да? Ложное обнаружение на уровне 1% — это несколько тысяч ложных утаскиваний пассажиров в заднюю комнату для допроса в Лягардия или Хитроу. Тоже очень плохо. Поэтому автоматические системы распознавания лиц и поснимали везде, где их поставили. Но что такое ошибка оценки мнений? В каком случае она настолько плоха?

>> Но что такое ошибка оценки мнений? В каком случае она настолько плоха? Речь как бы и про ложные срабатывания и про несрабатывания)) Любая система оперирует сразу обоими показателями. И никак иначе! Если Вы оперируете одним — хм… Для системы ошибки оценки мнений оба фактора существенны. Если говорить про ложные срабатывания, то они вряд ли существенны, если составляют менее 100% от настоящих. А вот пропустить хоть одно истинниое событие — это и есть пипец) Вот тут что малому бренду (а ему тем более), что большому — проще сортирующую обезьянку посадить.

> проще платить facebook’у и вконтакте, жж и пр., чтобы замечать комментируемые события Не подскажете, где у них касса находится?

>> Не подскажете, где у них касса находится? Кажется, я обговорился про большие бренды) Если есть спрос — предложение возникнет. Договориться можно всегда. Все друг другу льют информацию. А там и для малых выкатят функционал=) Конечно же, фантазирую. Ну а так — смотрите, у кого есть договор на индексацию. А то типа квибрум обладает бОльшим объемом информации, чем мы с вами? Да фиг там! Источники-то по пальцам пересчитать можно. На то и нужны всякие интернет-маркетологи и прочие приближенные к инетернету в компаниях, чтобы владеть подобной информацией.

> Конечно же, фантазирую Именно. Потому что непонятно, откуда в ФБ, Вконтакте и проч. возьмётся функционал по анализу тональности, который будет лучше, чем то, о чём сейчас говорит Ашманов. Дело не в количестве данных, а в возможностях их анализа. > Для системы ошибки оценки мнений оба фактора существенны. Если говорить про ложные срабатывания, то они вряд ли существенны, если составляют менее 100% от настоящих. А вот пропустить хоть одно истинниое событие — это и есть пипец) Вот тут что малому бренду (а ему тем более), что большому — проще сортирующую обезьянку посадить. Странный набор букофф. Во-первых, что такое «ложные срабатывания» для системы оценки мнений? Во-вторых, почему проще посадить обезьянку? В-третьих, кто сказал, что обезьянка безошибочна? Да и действительно, почему 3 % ошибки так важны в данном случае, по-вашему? Ну то есть в 3 % случаев система посчитала, что сказали «Нокиа говно», а на самом деле сказали «Нокиа — это круто, а не говно» (условно). В чём катастрофа?

>> Странный набор букофф. Не хотелось юзать мат. термины. Ложное срабатывание — статистическая ошибка первого рода, т.е. когда верная гипотиза неверно отвергнута, несрабатывание (пропуск цели) — это статистическая ошибка второго рода, т.е. когда верная гипотеза неверно принята. И для любой системы эти статистические термины неизменны) >>Да и действительно, почему 3 % ошибки так важны в данном случае, по-вашему? Ну то есть в 3 % случаев система посчитала, что сказали «Нокиа говно», а на самом деле сказали «Нокиа — это круто, а не говно» (условно). В чём катастрофа? Выше написал «Если говорить про ложные срабатывания, то они вряд ли существенны, если составляют менее 100% от настоящих». Реально тут пофиг, что 3%, что 50%) Ну сами подумайте, в чем преимущество Системы, которая из подавляющего большинства нейтральных отзывов (ну как минимум вообще не по теме) выделяет 50% стОящих (а это именно случай 100% ложных срабатываний от общего реальных)

Ashmanov, кстати, а как бы Крибрум работал с упоминаниями самого Крибрума и как бы он оценивал тот факт, что гики-выпендрежники целенаправленно коверкают название сервиса — то «квибрум», то еще как-то, постоянно вижу? какие бы делались выводы из количества таких искажений?

> Ложное срабатывание — статистическая ошибка первого рода, т.е. когда верная гипотиза неверно отвергнута, несрабатывание (пропуск цели) — это статистическая ошибка второго рода, т.е. когда верная гипотеза неверно принята. И для любой системы эти статистические термины неизменны) Давайте разницу на конкретных примерах, ну с вышеприведённой Нокией, скажем.

>>Давайте разницу на конкретных примерах, ну с вышеприведённой Нокией, скажем. Да не проблема)) система посчитала, что сказали «Нокиа говно», а на самом деле сказали «Нокиа — это круто, а не говно» (условно). Это случай ложного срабатывания, т.е. когда гипотеза «по умолчанию» (что Нокиа — это хорошо) неверно отвергнута. Данный случай не стоит борьбы за какие-то проценты (один-два-три) ибо увеличение инфополя для обрабататывающего информацию в 2-10 раз — пофих (банальный просмотр всех событий по ключевым запросам здесь более эффективен), т.к. обработка требует на несколько (на 2-3-4) порядка больше времени, чем просмотр. Вот если бы вероятность ложного срабатывания была бы сотые доли процента (о чем я говорил выше) — был бы эффект. Самое важное для такой системы не пропустить цель типа «Нокиа — саморазломайка». А ведь пропустит однозначно) Вот тут я и говорю о том, что лучше мониторить ВСЁ, что доступно.

И еще: не люблю кому-то что-то выговаривать. Но так нельзя) >>Ashmanov [24.08.2011 00:51:10]: >>Ваша имха — неправильная Нельзя так говорить, когда возникают такие вопросы: >>Но что такое ошибка оценки мнений? В каком случае она настолько плоха? Почитайте мат. часть. Математики за 20й век очень много придумали всего. Уж ошибка оценки мнений очень просто поддается сатистике=)

Именно. Потому что непонятно, откуда в ФБ, Вконтакте и проч. возьмётся функционал по анализу тональности, который будет лучше, чем то, о чём сейчас говорит Ашманов. Дело не в количестве данных, а в возможностях их анализа. Да у дяди Ашманова такие цены небось, что проще посадить пяток студентов последних курсов(менеджеров аналитиков!) для анализа текстов(тем, кому такой анализ требуется). Ведь выходит, что даже для крупных компаний это не затратно: брендов с десятками тысяч упоминаний — мало. Так-то в среднем упоминаний — от нескольких сотен до нескольких тысяч. Вот и получается, что одного человека достаточно, а лучше трёх, для перепроверки результатов.

Ложное срабатывание — статистическая ошибка первого рода, т.е. когда По-моему, вы просто не поняли моего вопроса. И принялись поучать. Я вообще-то в курсе, что такое ошибки первого и второго рода, поскольку закончил математический вуз и занимаюсь исключительно этим самым распознаванием в текстах уже 25 лет. Вопрос не в том, что такое пропуски цели и ложные срабатывания. Вопрос в том, почему пропуск 3% высказываний о том что Нокия плохая или принятие 3% хороших высказываний за плохие — катастрофа. А на этот вопрос вы упорно не отвечаете. Вы не знаете критерия качества для мониторинга мнений, на самом деле, и прикрываете это незнание цитированием определений из начального курса статистики. У каждой системы распознавания есть порог качества (обычно это порог ложных срабатываний), ниже которого её использовать нельзя. Например, даже у системы ПВО есть такой порог. И есть допуск — сколько ракет она всё-таки может пропустить, как бы ужасно это ни звучало. Например, если система правописания даёт ложных тревог больше, чем машинистка бьёт ошибок — эта система использоваться не будет (то есть если неизвестных правильных слов на странице больше, чем естественных ошибок). У антиспама это — количество хороших писем, помещённых в папку «спам». Мы в своё время в Спамтесте боролись за показатель 0, 001% (одно письмо на сто тысяч). Но каков этот порог минимально необходимого качества для системы мониторинга мнений? Ясно что потеря 50% мнений (любых) — не годится, но есть очень серьёзные сомнения, что 3% так уж важны. Если у Нокии есть системная проблема с каким-то аппаратом, то крика об этом будет не 3%. Вообще мне кажется, вы просто саму задачу не обдумали, иначе не писали бы такого: «банальный просмотр всех событий по ключевым запросам здесь более эффективен» . Сама причина появления систем мониторинга в том, что «банальный просмотр» в случае социальных медий невозможен или очень дорог. Например, количество упоминаний мобильных операторов в блогах и соцсетях , условно, 10 000 в день. Из них нужные нам (нужные клиенту) — 1000-2000 в день. Чтобы найти, просмотреть и оценить такое количество, нужна дежурная смена в 5-6 человек. (Человек не может эффективно найти и просмотреть более 15-30 объектов в час, даже с автоматизацией). И кстати, есть пиар-агентства, которые при таком количестве упоминаний держат такую смену из дешёвых операторов, чтобы мониторить упоминания для своего клиента. В реальности там 10-12 человек, рассеянных по всему СНГ, в том числе на Дальнем Востоке, чтоб с утра пораньше начать. И это только — просмотр упоминаний, но не реакция на них! Только наблюдение. Вы про то, что такое реакция на мнение, чего это требует, как выполняется — тоже не подумали. При этом эта белковая смена гарантированно захлебнётся при вводе нового тарифа или при шуме об утечке с сайта, как было с Мегафоном, потому что рост будет минимум в 3-4 раза. И как срезать пики ручной работой — никто не придумал. Нельзя быстро нанять ещё 10 человек, а потом их быстро уволить. В этом и смысл использования не белковой, а электромагнитной системы. Ей без разницы, какой там пик. Ну и вот простой расчёт: 5-6 человек с налогами и техникой стоят минимум 250-300 тысяч рублей в месяц. Значит, покупка услуги мониторинга за 50-100 тысяч в месяц при 1000 упоминаний в сутки — уже оправданна. Если она работает выше порога необходимого качества.

Да, и ещё про 3% или 1% или 0,0001%. Естественно, система мониторинга мнений в отличие от распознавания символов, проверки правописания или фильтрации спама, где каждый проверяемый объект имеет изначально равный вес, должна взвешивать мнения — по авторитетности блоггера, количеству перепостов и пр. Пропустить негатив про мобильный аппарат от Медведева или Муртазина — хуже, чем от лирушницы из Самары.

Да у дяди Ашманова такие цены небось Вроде у меня нету дяди. Ну то есть — есть, двоюродный, но он работал в Большом Театре, а сейчас на пенсии. Спрошу у него про цены. проще посадить пяток студентов последних курсов(менеджеров аналитиков!) для анализа текстов. Ну, как я показал выше — проще и дешевле не получается. Особенно для больших западных брендов в англоязычном Интернете, где упоминаний сильно больше, чем в Рунете. Эту группу нужно создать, обучить, оплачивать и управлять ею. Управленец такого класса — редок на рынке и дороже студента. Можно заказать создание и поддержку такой группы своему пиар-агентству, как многие пиар-агентства и делали раньше, пока это называлось пресс-клиппинг и касалось в основном СМИ. Однако, блоги и соцсети всё меняют — материала на порядки больше, чем в СМИ и возникает он на порядок быстрее. И ручной просмотр всё равно не решает проблему пиков. А пики — это самое важное, потому что это же о проблемах. Ведь выходит, что даже для крупных компаний это не затратно Нет, выходит наоборот.

Вроде у меня нету дяди. Ну то есть — есть, двоюродный, но он работал в Большом Театре, а сейчас на пенсии. Да было понятно, что это я к Вам обратился. По имени вроде не с руки, разница 20 лет, а по имени отчеству Вы не любите. Человек не может эффективно найти и просмотреть более 15-30 объектов в час, даже с автоматизацией В блогах оно наверное и так, а в социальных сетях отношение в несколько слов ведь, 2-4 минуты дороговато([URL=http://vkontakte.ru/search?cq=&csection=statuses]пример из вконтакте[/URL]). И ручной просмотр всё равно не решает проблему пиков. А пики — это самое важное, потому что это же о проблемах. А какая проблема пиков для крупной компании? У них же не военное положение, реакция в течении часа не нужна, а даже если и нужна, бюрократия всё притормозит. Даже если получат информацию сразу, отреагировать смогут спустя пару недель или месяцев(предполагаю).

Вообще скорость реакции в идеале должна быть не более 1-2 часов. Сообщение в социальных медиях протухает (тонет, теряет актуальность, заменяется другими на ту же тему) примерно за 6 часов. Пока мониторинг его скачает, пока пиарщик обнаружит в отчёте, на реакцию останется максимум 2-3 часа. Суть мониторинга — именно в реакции в реальном времени. То есть вектор развития — в построении социальной CRM или включении мониторинга и реакции в бизнес-процесс техподдержки или пиар-отдела. Второе применение мониторинга — вдумчивое изучение отчётов — действительно может задерживаться на недели.

Да было понятно, что это я к Вам обратился. Это была демонстрация омонимичности упоминаний в форумах.

>> Вопрос не в том, что такое пропуски цели и ложные срабатывания. Я не Вам отвечал на вопрос. Термины дал человеку, который не понял, о чем речь. >> У каждой системы распознавания есть порог качества (обычно это порог ложных срабатываний), ниже которого её использовать нельзя. Например, даже у системы ПВО есть такой порог. И есть допуск — сколько ракет она всё-таки может пропустить, как бы ужасно это ни звучало. А вот системами ПВО Вы вряд ли занимались. Я занимался достаточно долго. Порогом качества систем ПВО являются оба параметра (а не один из). Бессмысленно систему оценивать по одному из них. Реально вообще бессмысленно, т.к. практически любую систему можно подтянуть по одному из порогов к нулю (второй, как правило, при это становится огромным). И это касается любой другой системы. И не понимаю, как математику (коим Вы себя называете) могло прийти в голову упоминать всего лишь один из критериев (это нематематично просто ибо параметры коррелируют между собой). >>Вопрос в том, почему пропуск 3% высказываний о том что Нокия плохая или принятие 3% хороших высказываний за плохие — катастрофа. >>А на этот вопрос вы упорно не отвечаете Вроде бы всё выше написал. Соглашусь с полезностью системы мониторинга с обоиими порогами в районе 3% только в том случае, когда наблюдающему хочется успокоить совесть, а на реагирование пофих…

Погодите-ка, а что лучше: пропустить весь негатив или пропустить 3 % негатива? И какие есть решения, чтобы не пропускать 3 % негатива? Не считая стада «обезьянок», о проблемах которых написано выше, конечно.

Проблем обезьянок не существует — их выдумали)) Ну исключением может быть незамотивированный студент-дальний родственник. Отвечая на Ваш вопрос: нельзя определить, что лучше. Можно лишь упиваться критериями достаточности. Пропустить весь негатив — это решение задачи сведения к минимуму вероятности ложных срабатываний. Но нельзя забывать про критерий необходимости — 3% негатива пропускать никак нельзя!

3% негатива пропускать никак нельзя! Похоже, кроме восклицательных знаков, у вас никаких аргументов и нет. Почему же никак нельзя? Вы имеете таких клиентов, опрашивали их? Или сферически фантазируете в вакууме? А вот что происходит с крупными компаниями, у которых сейчас нет ни автоматического мониторинга, ни ручного? Они пропускают 100% негатива в блогах. И 100% позитива. Они разоряются? закрываются? Проблем обезьянок не существует — их выдумали)) То есть слишком большой поток упоминаний, высокая стоимость ручного труда, проблемы управления стадами операторов, невозможность реагировать на пики — выдумка? По-моему, вам просто охота поболтать. Ну исключением может быть незамотивированный студент-дальний родственник. Это вы?

В марте 2011 аналогичный проект Яндексу интересен не был по причине немассовости. http://startuppoint.ru/blog/public/34604.html#comment19985

Это не аналогичный проект. Это простенькая программистская фантазия, которая может быть выполнена внутри Яндекса левой ногой (индекс инцидентности, то есть совместная встречаемость слов программируется за день, точнее — подключается, потому что в большом индексе она есть). Но это никак не помогает определять тональность для клиентов, потому что: а) тональность не определяется по изолированным ключевым словам, а только по всей фразе/контексту, б) Яндекс не оказывает корпоративных услуг — кроме продажи рекламы. Так что неудивительно, что в Яндексе не заинтересовались. Был бы это бесплатный массовый проект — что-то что цепляет миллионы — сделали бы.

проблема автоматических систем — не позволяют отслеживать дискуссию. Система возьмет только сообщения с ключевыми словами. При таком подходе ветка обсуждения будет разорвана (в самом посте будет ключевое слово, в коментах нет). Заказчиков в большинстве случаев интересует дискуссия. Настроить системы чтобы она брала все тоже не резон — в дискуссиях до хрена блуда — если ничего не путаю под ресурсы, на которых нет рсс придется писать отдельного робота, что по ощущению будет удорожать проект. На практике каждый клиент будет требовать мониторинг набора принципиальных для него ресурсов (15-20). При этом на большинстве из-них актуальные сообщения будут появляться раз в сутки. Соответственно из-за этих лишних 15-20 сообщений придется делать лишних 15-20 роботов. а клиенту отказать не получится — мало кого интересуют просто мониторинг. заказчик хочет получать интерпретацию, анализ тем. Одними графиками тут не отделаешься — практически по всем проектам (за исключением Nokia, Apple, Путин)автоматические системы экономически неконкурентоспособны

> проблема автоматических систем пп 1 и 2 — решаемые и в некоторых системах решены. Насчет экономической неконкурентноспособности. Это зависит от задачи. Если нужна еще и оперативность (то есть, на сообщения надо реагировать, а реагировать имеет смысл в течении первых пары-тройки часов — я не вижу осмысленного способа устроить белковый конвейер с такими свойствами. Если речь про изготовление еженедельных отчетов и все — дело другое.

Это почти всё чистая правда. Конечно, место для ручной услуги всегда будет. Подробнее по технике (разрыв дискуссии и прочее), вероятно, ответит начальник Крибрума, если асилет. А, уже ответил, оказывается.

а как решены пп 1-2

1. Разрыв в дискуссии между самим постом и комментами, когда коммент основан на сказанном в посте — фактически, частный случай эллипсисов и анафор, которые встречаются и внутри одного комментария. Причём довольно редкий. Если вообще в системе эта проблема решается (обработка местоимений, умолчаний и прочего), то расширить фокус дискуссии между комментами — можно. Что сейчас и делается в Крибруме. 2. Анализ особых ресурсов для заказчика: любой собиратель мнений должен иметь собственный поиск по блогам и форумам. Потому что ни Яндекс, ни Технорати, ни Гугл не покрывают всего и довольно сильно косячат и с полнотой, и с глубиной выкачки. Да, те, кто делает мониторинг руками — вынуждены опираться на чужие инструменты. А если у тебя уже есть выкачивальщик форумов, то написать простые парсеры нескольких форумов для конкретного заказчика — не бином Ньютона. Особенно, если у тебя уже есть общая система парсеров с диагностикой смены дизайна. У нас такие задачи решаются с 2004 года, когда мы сделали Новотеку и выкачивали новости с сайтов, где нет RSS. При этом надо ещё понимать то обстоятельство, что большинство форумов и блогах в мире основаны на нескольких популярных движках.