Улучшенная индексация Flash

Вторник, 1 июля 2008 г.

Мы получили множество запросов на улучшение нашей индексации файлов Adobe Flash. Сегодня Рон Адлер и Янис Стипинс — инженеры-программисты из нашей команды индексации — предоставят нам более подробную информацию о нашем недавнем объявлении о том, что
мы значительно улучшили нашу способность индексировать Flash.

Какие файлы Flash Google теперь может индексировать лучше? Мы улучшили нашу способность индексировать текстовый контент в SWF-файлах всех видов. Сюда входят Flash-“гаджеты”, такие как кнопки или меню, автономные Flash-веб-сайты и все, что между ними.

Какой контент Google может лучше индексировать из этих Flash-файлов? Весь текст, который пользователи могут видеть при взаимодействии с вашим Flash-файлом. Если ваш веб-сайт содержит Flash, текстовый контент в ваших Flash-файлах может использоваться, когда Google генерирует сниппет (snippet) для вашего веб-сайта. Кроме того, слова, которые появляются в ваших Flash-файлах, могут использоваться для сопоставления поисковых запросов в Google.

В дополнение к поиску и индексации текстового контента в Flash-файлах, мы также обнаруживаем URL-адреса, которые появляются в Flash-файлах, и передаем их в наш конвейер сканирования (crawling) — точно так же, как мы это делаем с URL-адресами, появляющимися на не-Flash веб-страницах. Например, если ваше Flash-приложение содержит ссылки на страницы внутри вашего веб-сайта, теперь Google сможет лучше обнаруживать и сканировать большую часть вашего веб-сайта.

Как насчет нетекстового контента, такого как изображения? В настоящее время мы обнаруживаем и индексируем только текстовый контент в Flash-файлах. Если ваши Flash-файлы содержат только изображения, мы не будем распознавать или индексировать какой-либо текст, который может появиться на этих изображениях. Аналогичным образом, мы не генерируем никакой анкорный текст для Flash-кнопок, которые ссылаются на какой-либо URL-адрес, но не имеют связанного текста.

Также обратите внимание, что мы не индексируем FLV-файлы, такие как видео, воспроизводимые на YouTube, поскольку эти файлы не содержат текстовых элементов.

Как Google “видит” содержимое Flash-файла? Мы разработали алгоритм, который исследует Flash-файлы так же, как это сделал бы человек: нажимая кнопки, вводя данные и т. д. Наш алгоритм запоминает весь текст, с которым он сталкивается по пути, и этот контент затем становится доступным для индексации. Мы не можем рассказать вам все проприетарные детали, но мы можем сказать, что эффективность алгоритма была
улучшена
благодаря использованию новой библиотеки Searchable SWF от Adobe.

Что мне нужно сделать, чтобы Google проиндексировал текст в моих Flash-файлах? В принципе, вам ничего не нужно делать. Улучшения, которые мы внесли, не требуют каких-либо специальных действий со стороны веб-дизайнеров или веб-мастеров. Если у вас есть Flash-контент на вашем веб-сайте, мы автоматически начнем его индексировать в пределах наших текущих технических возможностей (см. следующий вопрос).

Тем не менее, вы должны знать, что Google теперь может видеть текст, который видят посетители вашего веб-сайта. Если вы предпочитаете, чтобы Google игнорировал ваш менее информативный контент, такой как сообщение “авторские права” (“copyright”) или “загрузка” (“loading”), подумайте о замене текста внутри изображения, что сделает его практически невидимым для нас.

Каковы текущие технические ограничения возможности Google индексировать Flash? В настоящее время существует три основных ограничения, и мы уже работаем над их устранением:

1. Googlebot не выполняет некоторые типы JavaScript. Поэтому, если ваша веб-страница загружает Flash-файл через JavaScript, Google может не знать об этом Flash-файле, и в этом случае он не будет проиндексирован.
2. В настоящее время мы не прикрепляем контент из внешних ресурсов, которые загружаются вашими Flash-файлами. Если ваш Flash-файл загружает HTML-файл, XML-файл, другой SWF-файл и т. д., Google проиндексирует этот ресурс отдельно, но он пока не будет считаться частью контента в вашем Flash-файле.
3. Хотя мы можем индексировать Flash практически на всех языках, встречающихся в сети, в настоящее время возникают трудности с Flash-контентом, написанным на двунаправленных языках. Пока это не будет исправлено, мы не сможем индексировать контент на иврите или арабском языке из Flash-файлов.

Мы уже добиваемся прогресса в этих вопросах, так что следите за обновлениями!

Обновление в июле 2008 г.: Всем спасибо за отличные вопросы и отзывы. Наша цель — улучшить качество поиска для всех пользователей, и с лучшей индексацией Flash мы создаем более содержательные результаты поиска. Ниже мы также ответили на некоторые из наиболее распространенных вопросов. Еще раз спасибо!

Flash-сайт в результатах поиска по запросу
nasa deep impact animation до и после улучшений, упомянутых в этом посте

Помощь нам в доступе и индексации ваших Flash-файлов

@fintan: Мы подтвердили с Adobe, что текстовый контент со старых сайтов (legacy), таких как сайты со скриптами на AS1 и AS2, может быть проиндексирован нашим новым алгоритмом.

@andrew, jonny m, erichazann, mike, ledge, stu, rex, blog, dis: Для нашего запуска 1 июля мы не включили индексацию Flash для Flash-файлов, внедренных через SWFObject. Сейчас мы внедряем обновление, которое включает поддержку распространенных методов JavaScript для внедрения Flash, включая SWFObject и SWFObject2.

@mike: В настоящее время контент, загружаемый динамически из файлов ресурсов, не индексируется. Мы приняли к сведению этот запрос функции от нескольких веб-мастеров — ищите это в ближайшем обновлении.

Обновление от 29 июля 1010 г.:
Обратите внимание, что наша возможность
загружать внешние ресурсы
активна.

Взаимодействие HTML-страниц и Flash

@captain cuisine: Текст, найденный в Flash-файлах, обрабатывается аналогично тексту, найденному в других файлах, таких как HTML, PDF и т. д. Если Flash-файл внедрен в HTML (как и многие найденные нами Flash-файлы), его содержимое связывается с родительским URL-адресом и индексируется как единое целое.

@jeroen: Предложение одного и того же контента в Flash и альтернативной HTML-версии может привести к тому, что мы обнаружим дублированный контент. Это не приведет к пенальти — мы не понижаем сайт в рейтинге из-за дублированного контента. Имейте в виду, однако, что результаты поиска, скорее всего, покажут только одну версию, а не обе.

@All: Мы стараемся предоставлять пользователям наиболее релевантные результаты независимо от типа файла. Это означает, что автономный Flash, HTML со встроенным Flash, только HTML, PDF и т. д. могут иметь потенциал для возврата в результатах поиска.

Индексация больших Flash-файлов

@dsfdgsg: Мы получали запросы на глубокие ссылки (deep linking) (ссылки на определенный контент внутри файла) не только для результатов Flash, но и для других крупных документов и презентаций. В случае с Flash возможность создания глубоких ссылок потребует дополнительной функциональности в Flash, с которой мы интегрируемся.

@All: Большинство существующих Flash-файлов в сети в порядке с точки зрения размера файла. Это не должно вызывать слишком много беспокойства.

Подробнее о нашем алгоритме индексации Flash

@brian, marcos, bharath: Что касается ActionScript, мы можем находить новые ссылки, загружаемые через ActionScript. Мы исследуем Flash так же, как это делает посетитель веб-сайта, мы не декомпилируем SWF-файл. Если вы не делаете ActionScript видимым для пользователей, Google не будет раскрывать код ActionScript.

@dlocks: Мы уважаем nofollowгде бы мы ни встретили его в HTML.

Написано Роном Адлером, Янисом Стипинсом и Майлом Охе