April 8, 2014
Fujitsu Laboratories Ltd.

Fujitsu разработала технологию ускорения передачи данных

Применима к различным типам сетевых сред; дедупликация данных и сжатие позволяют улучшить до 10 раз пропускную способность только за счет программного обеспечения

Кавасаки, Япония, 8 апреля 2014 — Fujitsu Laboratories Ltd. объявила сегодня о разработке технологии увеличения скорости передачи данных, которая может применяться в различныхтипах сетевых сред, используемых для облачных структур, мобильных приложений и других услуг.

Компании сегодня все чаще позиционируюи свои бизнес системы в облачных структурах и консолидируют свои сервера в центры обработки данных. Это ведет к быстрому росту объема обмена данными между множеством центров обработки данных, а также между датацентрами и оборудованием конечных пользователей. В то время, как модернизация специализированных аппаратных средств и сетей может ускорить обмен, это затратные подходы, которые не могут легко разворачиваться в облачных, виртуальных и мобильных средах.

Fujitsu Laboratories в настоящее время разработали технологии, которые используют исключение дубликатов данных и сжатие для уменьшения оббъема передаваемых данных, что позволяет обеспечивать значительно большую скорость передачи данных только за счет программного обеспечения. Данная технология может увеличить эффективные скорости передачи данных в 10 раз без дополнительных затрат на модернизацию сети, а также увеличить скорость передачи данных в широком диапазоне сетевых сред между облачными центрами обработки данных и оборудованием конечных пользователей.

Эта технология будет выставлена на Форуме Fujitsu 2014, который будет проходить 15-16 мая в рамках Международного Токийского форума в Токио.

Подоплека

Популярность облачных сервисов и мобильных устройств приводит к тому, что все большее число приложений доступны через сети, использующие разнообразные коммуникационные окружения. Каждый день компании используют центры обработки данных для передачи файлов, их совместного использования, резервного копирования и распространения данных на мобильные устройства. Принимая во внимание ежедневное увеличение объема передаваемых данных, существует растущая потребность недорогого ускорения передачи данных без модернизации сети или развертывания специализированного оборудования.

Вопросы

Первоначально Fujitsu Laboratories провели R&D в области протоколов высокоскоростной передачи данных в качестве способа ускорения передачи данных. Это эффективный метод для случая, когда пропускная способность сети используется не на полную мощность. Однако, когда пропускная способность задействована в полной мере, решение таких проблем, как сетевые задержки, требует обновления сетевых средств.

Для ускорения передачи данных без обновления сетевых средств другим эффективным подходом является уменьшение передаваемых данных. Сущетсвуют две техники выполнения этого (Рисунок 1). Одним из них является дедупликация данных, когда и отправитель, и получатель сохранябт копии данных, что может устранять дублирование передачи данных. Другая заключается в сжатии данных с использованием технологии компрессии файлов. Дедупликация данных и технология сжатия уже используются в системах хранения и специализированных аппаратных средств для ускорения передачи данных и являются эффективным средством увеличения скорости передачи. Однако реализация этих технологий в виде программного обеспечения, чтобы они могли быть использованиы, например, с мобильными устройстввами, вызывает следующие проблемы:

• Дедупликация данных основыается на сохранении копий данных и отправителем, и получателем, а это сложно реализовать на мобильных устройствах, которые имеют ограничения по объемам хранения.
• И дедупликация, и сжатие являются интенсивными потребителями процессора, следовательно, на мобильных устройствах, которые имеют ограничения в мощностях ЦПУ, эти методы могут замедлять эффективные скорости передачи данных.

О технологии

Fujitsu разработала в настоящее время высокоскоростные технологии передачи данных, которые могут эффективно повысить скорость передачи данных даже на мобильных устройствах при использовании программного обеспечения для сокращения объемов данных с применением дедупликации данных и технологий сжатия. Особенности технологии заключаются в следующем.

1. Высокая производительность дедупликации путем минимизации требований к хранению

Fujitsu Laboratories разработала технологию, которая выбирает данные, которые появляются с высокой статистической частотой в сети и определяет их приоритеты для сохранения. Это поддерживает высокую производительность дедупликации при одновременном снижении объема сохраненных данных с низкой частотой появления, так что ограниченный объем памяти на мобильных устройствах может быть использован более эффективно. При внутреннем тестировании это приводит к снижению объемаповторяющихся данных, сохраненных в памяти мобильного устройства на целых 80%.

2. Облегченная технология сжатия данных

Fujitsu Laboratories разработала технологию, уменьшающую нагрузку на процессор, предлагая процесс сжатия до одной четверти от уровня обычных технологий. Эта технология ищет повторяющиеся шаблоны, возникающие во входных данных . Если не найдено таких шаблонов, увеличивается интервал поиска. Если шаблон найден, данные в непосредственной близости просматриваются более тщательно. Это приводит к эффективности поиска в целом, одновременно значительно сокращая время, необходимое для сжатия.

3. Технология автоматического выбора для улучшения работы

Дедупликация и сжатие передаваемых данных будет в разы меньше скорости передачи данных, когда невелик размер передаваемых данных и дублирование данных встречается редко. Общая эффективность этих методов зависит от размера данных, доступной пропускной способности и мощности процессора. По этой причине данная технология будет периодически оценивать обсуждаемые параметры, определять преимущества ускорения и выбирать что является более эффективным на практике: дедупликация или сжатие. Это освобождает системных администраторов от необходимости настраивать параметры для каждого развертываемого окружения и улучшает работу.

Результаты

Эта новая технология, как ожидается, приведет к более простому использованию различных сетевых приложений в облачных, виртуальных и мобильных средах, которые, как ожидается, становятся все более популярными. Эта технология доступна в виде программного обеспечения, что означает, что она может быть интегрирована в существующие сервера и операционные системы, чтобы дать приемущества портативным компьютерам, планшетам, смартфонам и другим мобильным устройствам.

В одном из возможных сценариев, продавец, посещающий компанию А будет скачивать материалы для продаж из штаб-квартиры, а затем, при посещении компании Б будет скачивать слегка отличные материалы для компании Б. Часть этих материалов, которые повторяются, не нужно будет повторно скачивать, что эффективно увеличивает скорость загрузки (Рисунок 3). При соединении с доступной пропускной способностью в 10 Mbps, такой подход продемонстрировал повышение эффективной скорости передачи в 10 раз.

Дальнейшие планы

Fujitsu Laboratories будет проводить практические испытания этой технологии с целью коммерциализации в течение финансового 2014 года [прим перев.: до 31 марта 2015г]. Это будет способствовать более высокому качеству повсюду: от центров обработки данных на глобальных сетях до конечных пользователей с их мобильными устройствами.