|
|
alvus
Posts: 1409
 70
|
|
|
 Проект Синхронизатор
|
11 января 2005, 18:12 5 |
|
|
|
Проект Синхронизатор - это сервис рекомендаций. Сейчас его каталог содержит порядка 4000 фильмов и по очень многим из них Вы сможете получить прогноз Вашей вероятной оценки.
Как это работает
Вы выставляете некоторое количество оценок тем фильмам из каталога, которые Вы уже смотрели. Чем больше оценок , тем лучше. После этого система уже как бы знает Ваши вкусы и на основании этой информации делается прогноз для каждого фильма, который уже имеет оценки других пользователей. Более того, Вы всегда можете посмотреть из чего этот прогноз получился и возможно сделать свои собственные выводы из этой информации. Или просто почитать комментарии к оценкам.
По-сути, вся эта система моделирует то, как люди выбирают фильмы в обычной жизни. Человек слушает отзывы друзей (чьи вкусы он себе примерно представляет) и примеривает эти отзывы на себя. Чем более вкусы друзей похожи на его собственные, тем легче определиться.
А теперь представьте, что таких друзей у вас не 2-3, а, например, 100 и при этом они всегда готовы поделиться своим мнением. Это и есть проект Синхронизатор в идеале. Очевидно, что это работает не только с фильмами, а практически с любыми объектами, которым можно поставить оценку. На очереди книги, игры, музыка и т.д.
Важным аспектом сервиса является приватность. По умолчанию все пользователи известны только по номерам. Свой номер в системе Вы вправе всем рассказать, но вполне можете этого и не делать, а логины и сетевые адреса администрация сервиса обязуется не раскрывать.
(Те, кто хочет просто опробовать новый сервис, а не читать всякую чушь - могут сразу переходить к разделу Заключение)
История вопроса
Английское название технологии, на которой основан Синхронизатор – collaborative filtering – или «совместный отбор». Она имеет уже довольно долгую историю и множество практических применений. В бизнесе она вылилась в так называемые технологии персонализации. Например, многие интернет-магазины имеют подсказки типа: «людям которым понравился этот продукт, также нравятся эти:..». Но были и некоммерческие проекты, оперировавшие только информацией. Был сервис рекомендаций фильмов EachMovie, успевший набрать весьма внушительную базу оценок. Был проект Jester, где оценивали шутки. Был даже русскоязычный проект allRate.ru, на котором оценивали фильмы, книги, музыку и даже пытались это все увязать с психологическими тестами.
К сожалению, все эти проекты сейчас уже прекратили свою работу, но есть нынедействующий и довольно успешный проект – MovieLens (movielens.umn.edu/main). Как можно догадаться – это тоже сервис рекомендации фильмов. Это один из самых старых проектов и еще в 2000-м году в его базе было свыше миллиона оценок. Ведет этот проект научная группа Миннесотского университета - GroupLens (www.grouplens.org/) и с целью стимулирования исследований в этой области они уже дважды публиковали свою базу оценок (базы на 100 тысяч и миллион оценок). Вот на основании этих данных и была создана исходная база пользователей и оценок Синхронизатора.
Достоинства проекта Синхронизатор
MovieLens – отличный сервис и я сам им, с удовольствием, уже давно пользуюсь, но у него есть ряд существенных недостатков, которые вполне можно исправить:
1) Англоязычность – для глобального сервиса это идеально, но для местного использования это плохо.
2) Неоперативность и неактуальность каталога: Новые фильмы добавляются и редактируются только модераторами, возможности которых ограничены. К тому же они не всегда могут определить, что действительно следует добавить в каталог.
3) Закрытость прогнозов: Пользователь просто получает цифру прогноза и никак не может узнать на основании чего, и каким образом она получена.
4) Слишком упрощенная система оценок: Люди совершенно по разному подходят к выставлению оценок и в результате прямое их сравнение может привести к ошибочным результатам.
5) Отсутствие интеграции с источниками приобретения фильмов.
Все эти недостатки я попытался устранить в проекте Синхронизатор:
1) Основной язык сервиса – русский. Хотя первоначальная база фильмов – англоязычна, но постепенно все названия будут переведены на русский (это может делать любой пользователь)
2) Актуальность каталога достигается очень просто – его могут дополнять и редактировать сами пользователи. Каталог представляет из себя некое подобие wiki, где есть протоколирование версий и неограниченные возможности редактирования.
3) Информация о вычислении прогнозов полностью доступна. Можно посмотреть все оценки, из которых он выведен, а также исследовать базы оценок любого пользователя, выставившего эти оценки.
4) К простой пятибалльной оценке добавлены 2 необязательных модификатора, которые способны решить 2 основные проблемы: проблему неуверенности в своей оценке и проблему старых фильмов (которые обычно имеют либо слишком завышенные, либо слишком заниженные оценки). А также оценку можно сопроводить текстовым комментарием.
5) Синхронизатор тесно интегрирован с местной сетью eDonkey. Добавив всего одну строчку (подробнее см. раздел Помощь сервиса (merk.ttk.ru/synch2/index.php?do=help#goto7)) в файл webservices.dat Вашего клиента Emule (дистрибутив на Troitsk.org уже эту строчку содержит) Вы сможете через контекстное меню, прямо из Emule узнавать Ваш прогноз для выбранного фильма. Даже если прогноз пока отсутствует (слишком мало оценок), все равно этот сервис может быть очень полезен, так как он выводит русское название фильма, жанр, год выпуска, а в перспективе и любую другую полезную информацию.
Если же фильма вообще нет в каталоге – Вы можете буквально за считанные секунды его добавить, и если он уже Вами посмотрен – поставить оценку.
Есть и обратная связь: фильмы, которые есть в сети eDonkey, в каталоге имеют специальное свойство – «хеш». По-сути это ссылки, при нажатии на которые - тут же начинается закачка фильма.
Пока я своими силами добавил существенную часть (>400) всех фильмов в местной сети eDonkey. И надеюсь, что со временем уже сами пользователи будут вносить новые фильмы и дополнять описания. В конце концов, это выгодно всем.
Проблемы
Проблема №1. Сервис пока работает на моем домашнем компьютере. Включен он круглосуточно, но сам дом, в котором я живу иногда отключают от сети (бывает, что и на 1-2 дня). В перспективе эта проблема может решиться, когда и если сервис будет интегрирован в Troitsk.Org (возражений пока не поступало), но делать это мне кажется пока преждевременным. Во-первых, код сервиса весьма неоптимален и существенно нагружает компьютер (импульсно), во-вторых, в ближайшем будущем сервис будет постоянно дополняться новыми функциями и, наверное, удобнее делать это локально.
Проблема №2. Большого опыта сетевого программирования у меня нет (проект работает на php4 + javascript + mysql), поэтому постоянно возникают технические сложности и проблемы совместимости. Я могу предоставить исходный код сервиса тем, кто готов помочь в решении различных проблем и развитии сервиса. Вот некоторые из актуальных проблем:
1) Несовместимость с браузером Opera
2) У одного из бета-тестеров по неизвестной причине наблюдались проблемы с выставлением быстрой оценки (без перезагрузки страницы) под IE. У другого проблемы с регистрацией при работе через прокси под Mozilla.
Вообще приветствуется любая помощь. Возможно, сервису потребуются модераторы помимо меня (для целенаправленного исправления ошибок в описаниях, создания новых объектов и выполнения критичных операций объединения дублирующихся объектов). Но и просто качественное наполнение сервиса новой информацией и оценками – очень поможет проекту.
Заключение
В заключение попробую еще раз сформулировать все те причины, по которым Синхронизатор может быть Вам полезен:
1) Он помогает отобрать интересные именно для Вас объекты (фильмы, книги и т. д.)
2) Он помогает найти людей со схожими вкусами и постоянно знать их мнение обо всех новинках. А возможно и завязать знакомство на почве общих интересов.
3) Он помогает получать объективную информацию по объектам и производить автоматизированный поиск по различным свойствам.
4) Он позволяет вести своеобразный дневник своих впечатлений, к которому всегда можно вернуться. Это ценно уже само по себе.
5) Он создает удобный интерфейс для доступа к содержимому локальной сети eDonkey.
Остальную информацию можно узнать в разделе Помощь самого сервиса, а также на Форуме.
Регистрация здесь: merk.ttk.ru/synch2/index.php?do=gen_reg
Обновленный файл webservices.dat здесь: merk.ttk.ru/synch2/webservices.dat
|
| цитата |
|
|
|
reklamkin [rek]
Posts: 312
|
|
elio
Posts: 401
18  1
|
|
|
|
11 января 2005, 20:54 2 |
|
|
Интересная штука, будет хорошо если "заработает":)
Забавно, но я сам задумывался о идее такого сервиса, всмысле что было бы удобно. Идея-то - на поверхности. О том что существуют реализации не знал...
Хотелось бы узнать о используемой математике/алгоритмах для вычисления итоговых прогнозируемых оценок...
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
11 января 2005, 21:38 |
|
|
Математика совсем несложная (пока во всяком случае). Хотя по этой теме существует довольно много математических статей - я решил сделать упор на близость к реальной жизни.
Прогноз=Сумма(ВесПользователя(i)*ОценкаПользователя(i))/Сумма(ВесПользователя(i))
ВесПользователя=(Непохожесть>1)?0:(1-Непохожесть)
Непохожесть=Сумма(|ВашаОценка(i)-ОценкаПользователя(i)|)/КоличествоСовпадающихОценок
На эту формулу еще модификаторы влияют (в хелпе написано как)
Непохожесть можно наблюлюдать в разделе Пользователи, она имеет наглядный физ.смысл - средняя разница в баллах (хорошее совпадение это полбалла где-то)
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
12 января 2005, 00:02 |
|
|
Теперь можно указать в профиле свое имя, чтоб его все могли видеть
Хотелось бы еще пожелать не бояться создавать новые объекты и дополнять старые.
При заходе через вебсервис emule (когда объект отсутствует в каталоге), это довольно удобно делать - надо нажать на красную ссылку и тогда хеш и частично имя будут уже заполнены.
Да и с нуля создать несложно, главное не забыть перед сохранением нажать кнопку проверки на дублирование.
Пока объект создал только elio, за что ему большая благодарность :)
|
| цитата |
|
|
|
spacebar
Posts: 2469
184 18
|
|
|
|
|
12 января 2005, 18:36 |
|
|
Что то я въехать не могу... оценки опотм ставить нельзя? только по одному фильму? или я что-то не догоняю. И почему из осла открывается сразу 2 странички: синхронизатор и поисковик google?
--
Если вас грызет совесть - выбейте ей зубы, пусть она y вас нежно отсасывает.
http://spacebar.photofile.ru
http://www.amavto.ru
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
12 января 2005, 19:01 |
|
|
spacebar: оценки опотм ставить нельзя?
Смотря что имеется ввиду. Если кнопка типа "всем объектам на странице поставть пятерку", то такого нет и я думаю не нужно,и даже вредно.
А так оценки можно выставлять 2мя способами: через поле быстрой оценки (без перезагрзки страницы) и через редактирование свойств объекта (там еще можно комментарий добавить). Первый способ и сам по себе очень быстр.
Насчет google в первый раз слышу
Это по какой ссылке такое происходит? И что за браузер?
Возможно файл webservices.dat неправильный или spyware в браузере прописалось.
|
| цитата |
|
|
|
blooder
Posts: 328
26
|
|
|
|
|
12 января 2005, 19:07 |
|
|
Сор за тупость но как заходить через осла в синхронизатор?
Ниче не понял!
--
Я вскрою вены для тебя
Моя любовь хлынет рекою
В моих ладонях обошлось бы без огня
Но я так хотел бы остаться с тобою
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
12 января 2005, 19:46 |
|
|
Замени файл webservices.dat твоего emule на этот: merk.ttk.ru/synch2/webservices.dat
Теперь нажми на любой фильм в emule правой кнопкой мышки. Нижняя строчка - Web сервисы. Жмешь "Посмотреть прогноз на Синхронизаторе" - загружается браузер.
Если повезло - видишь прогноз (красное число).
Если не очень - видишь вместо прогноза вопросик (оценок близких к тебе пользователей пока нет)
Если совсем не повезло (фильма нет в каталоге) - жмешь на красную ссылку и создаешь новый объект..
Если что-то не получится - меня можно найти на канале #synch в мирке.
|
| цитата |
|
|
|
spacebar
Posts: 2469
184 18
|
|
|
|
|
12 января 2005, 19:53 |
|
|
когда из осла смотришь прогноз синхронизатора одновременно открывается прогноз и второе окно гугла с идиотской ссылкой типа lsdfjg85p1qgiapv940t[89yujds :)
браузер мозилла файрфокс, а спаев точно нет
--
Если вас грызет совесть - выбейте ей зубы, пусть она y вас нежно отсасывает.
http://spacebar.photofile.ru
http://www.amavto.ru
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
12 января 2005, 22:32 |
|
|
spacebar: идиотской ссылкой типа
Идиотская ссылка очень напомниает хеш, по которому и производится поиск. Видимо ссылка каким-то символом разбивается на 2, а все нестандартные ссылки обрабатываются как запросы к гуглу. У других врооде такого не наблюдается на файрфоксе. Попробуй заменить строчку в webservices.dat на такую: Посмотреть прогноз на Синхронизаторе,merk.ttk.ru/synch2/index.php?do=gen_objects_list&attrname=хеш&attrvalue=#filesize|#hashid&dname=#filename
Одна из основных задач которые выполняет Синхронизатор - выбор фильмов для просмотра. Раньше, если отсортировать все фильмы из локалки по прогнозу своей оценки, то наверху оказывались в основном случайные фильмы с одной-двумя оценками. Я постарался это исправить и сделал сортировку по комплексному прогнозу. То есть просто добавил к обычному прогнозу штраф за малое количество оценок из которых этот прогноз выводится. Вроде стало получше.
Соответственно готовый запрос №2 теперь немного другой. А если в нем занулить свойство хеш, то можно получить тоже интересный список, но там много не переведено пока.
А еще теперь появился раздел Новости
|
| цитата |
|
|
|
diafour
Posts: 2441
97
|
|
|
|
|
13 января 2005, 01:32 1 |
|
|
смешно получается, если в поле "По имени:" ввести * =)
и кстати в опере список не показывается
--
mwahahaha! i've got your candy.
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
13 января 2005, 02:45 |
|
|
diafour: в опере список не показывается
Opera, как я уже написал в хелпе, пока not supported. Если любители Оперы меня просветят из-за чего она может глючить - я попробую исправить.
diafour: смешно получается
Да, обхохочешься.. -fixed-
С проблемой spacebar`а тоже вроде разобрались. Если у кого-то тоже такое будет - замените просто знак | на ~ в webservices.dat
|
| цитата |
|
|
|
Elvin
Posts: 1212
80 18
|
|
|
|
|
13 января 2005, 10:39 |
|
|
Не сходится....может чуть чуть указывает общее направление, но к сожалению вцелом не работает. Да оно и понятно.......
[offtop]2Spacebar: Просто для информации - твой аватар - это аватар Финиста/offtop]
--
После смерти самым ценным будут воспоминания....живите, чтобы было что вспомнить.
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
13 января 2005, 12:45 |
|
|
Elvin: Да оно и понятно.......
Конечно понятно. 19 оценок без модификаторов наверное полностью отражают твои вкусы.. К тому же пока пользователей не так много, лучше уточнять прогнозы вручную: нажимаешь на ссылку с цифрой прогноза и получаешь все имеющиеся оценки этого объекта с указанием пользователя и его непохожести. Тут уж можно и самому выводы сделать.
PS Если прогноза нет (черный вопросик) - тоже можно нажать и получить оценки с непохожестью >1.
|
| цитата |
|
|
|
diafour
Posts: 2441
97
|
|
|
|
|
13 января 2005, 23:12 1 |
|
|
quick hack:
</center>
</fieldset>
<form action=index.php style="clear: left">
<input type=hidden name=do value=obj_list_multi>
<script language='javascript' src='rssuperlite.js'></script>
--
mwahahaha! i've got your candy.
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
14 января 2005, 00:26 |
|
|
Благодаря помощи diafour`а, теперь вполне можно пользоваться Оперой. Хотя кое-какие мелкие недочеты пока остались.
Добавлен раздел Импорт. Там можно ввести ссылки сразу на все фильмы в сети edonkey, получить список того чего не хватает в каталоге и сразу же перейти к созданию недостающих объектов.
Это сделано, чтобы все новые фильмы могли оперативно добавляться в каталог. На очереди ftp-сервера..
|
| цитата |
|
|
|
spacebar
Posts: 2469
184 18
|
|
|
|
|
14 января 2005, 01:08 1 |
|
|
Я отметил все что смотрел! Вышло около 190 фильмов и мультов. Остальное буду качать, только оценивайте объективно :) Уже качаю Спирит.Жеребец из Симарона. Давно этот мульт посмотреть хотел.
--
Если вас грызет совесть - выбейте ей зубы, пусть она y вас нежно отсасывает.
http://spacebar.photofile.ru
http://www.amavto.ru
|
| цитата |
|
|
|
Broken Worm
Posts: 3301
233 45
|
|
|
|
|
14 января 2005, 01:57 1 |
|
|
Поразительно, но Проект Синхронизатор действительно работает!!!
Алвус, ты гений! =)
--
届毕业生参加高考 不仅取消其当年各科成
|
| цитата |
|
|
|
spacebar
Posts: 2469
184 18
|
|
|
|
|
15 января 2005, 03:59 |
|
|
Хех! Я пока рекордсмен по просмотренным и оцененным фильмам :) 300 с чем то :)
--
Если вас грызет совесть - выбейте ей зубы, пусть она y вас нежно отсасывает.
http://spacebar.photofile.ru
http://www.amavto.ru
|
| цитата |
|
|
|
mReUGENE
Posts: 4344
165 13
|
|
|
|
|
15 января 2005, 13:43 |
|
|
Борь, просто ты уже давно в гипсе... Вот сейчас как догоню тебя =)
--
Удобство и безопасность - взаимоисключающи, т.е. повышать одно можно только за счет снижения другого.
|
| цитата |
|
|
|
tanat
Posts: 15
|
|
|
|
|
15 января 2005, 16:52 |
|
|
|
Почему-то иногда после того как фильм оценю, он в следующий раз все равно выводится как не оцененный мной... С чего бы это?
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
15 января 2005, 17:58 |
|
|
tanat: все равно выводится как не оцененный мной...
Да, такое возможно. У одного пользователя тоже запросы к серверу не уходили под ИЕ. Я сегодня сделаю в профиле переключение на альтернативный способ (он зато под оперой вроде не пашет).
Update: Сделал.
Если это изредка только бывает, то может просто по невнимательности (когда фокус на оценке, то любое движение колеса мышки влияет).
А какой браузер? И лучше уточнить все на канале #synch в мирке.
Редактировано alvus 15.01.05 - 19:20:33
|
| цитата |
|
|
|
tanat
Posts: 15
|
|
|
|
|
16 января 2005, 11:52 1 |
|
|
|
Браузер IE. С альтернативным способом заработало!
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
17 января 2005, 16:10 |
|
|
Добавлена сортировка по времени появления в каталоге,
а также поддержка ссылок на ftp и их автоматизированный импорт.
Благодаря этим нововведениям, теперь при помощи готового запроса №3 (например) можно постянно отслеживать все новинки местной сети.
Правда пока что результаты этого запроса отражают не реальное появление фильмов в локалке, а всего лишь хронологию моих усилий по вводу описаний уже давно появившихся фильмов. Но скоро я их доввожу и тогда все заработает как надо..
|
| цитата |
|
|
|
alvus
Posts: 1409
70
|
|
|
|
|
23 января 2005, 22:35 |
|
|
Итак, сервис практически вышел на рабочий режим. Все .avi файлы размером более 600мб из сети edonkey и те что можно найти через "Поиск по ФТП" - внесены в каталог. Процесс этот автоматизирован и в дальнейшем все обновления будут вносится достаточно оперативно.
После некоторых сомнений порнографию было решено в каталог не пускать. Спросом она, конечно, пользуется, но выводить прогноз для фильмов Тарковского из оценок порнографии это уж слишком (хотя вполне может и работать :))
Добавлен столбец быстрого выставления закладок (аналогично быстрой оценке). На буржуйских сайтах это обычно называется Wishlist. То есть, то что вас заинтересовало и что Вы планируете посмотреть. Доступ к самому списку через соответствующий фильтр (По закладкам).
Также появилась возможность пользваться сервисом совершенно анонимно. Через анонимайзер www.pureprivacy.com. Никаких специальных знаний и усилий для этого не нужно, подробности здесь .
Автоматически это означает, что сервисом можно теперь пользоваться извне. То есть через интернет. Правда внешние пользователи по умолчанию не могут редактировать объекты, но этот вопрос решается в частном порядке.
|
| цитата |
|
|
|
|
Уровень вашего доступа не позволяет вам оставить сообщение в данном форуме. Если вы не загеристрировались, то сделайте это по ссылке в меню! Просим извинить, но незарегистрированным пользователям и новичкам ограничено пользование некоторыми функциями, дабы избежать спама или злоупотреблений.
|
|
