Система DeepSort от Samsung заняла первое место на соревновании Sort Benchmark 2014
- воскресенье, 30 ноября 2014 г. в 02:11:44
geektimes
http://habrahabr.ru/company/samsung/blog/244511/
Добрый день, Хабр!
Cистема для сортировки данных DeepSort от компании Samsung Electronics заняла первое место на соревновании Sort Benchmark, известном как «Чемпионат мира» в области сортировки данных. Превзойдя конкурентные решения ведущих технологических компаний и исследовательских институтов, система от Samsung смогла проанализировать и реорганизовать 3,7 TБ данных за 60 секунд. Это более чем в два раза превышает предыдущий рекорд в 1,5 ТБ по результатам теста производительности MinuteSort Benchmark, который является отраслевым стандартом объема сортировки данных в минуту.
Система DeepSort была испытана в сетевой среде, состоящей из 384 серверов. Для того, чтобы более точным образом оценить реальную производительность системы, на протяжении всего испытания использовались умеренные параметры аппаратного и программного обеспечения. Например, такие параметры, как количество серверов, объем памяти (64 ГБ) и вычислительная мощность (2,1 ГГц) каждого из серверов, были значительно ниже по сравнению с параметрами, которые использовались основными конкурентами Samsung в соревновании Sort Benchmark 2014. В то же время, вместо значительно более быстрых твердотельных накопителей (SSD), для теста были использованы обычные жесткие диски (HDD).
Столь высокая производительность DeepSort обусловлена точной настройкой ряда ключевых элементов для ускорения скорости обработки данных, которая осуществляется в течение всего процесса сортировки. В числе прочего, это предотвращение дополнительного времени ожидания для серверов с более высокой нагрузкой (равномерное распределение нагрузки между всеми серверами), обеспечение единовременности процессов обработки, передачи и хранения данных (система способна параллельно обрабатывать несколько тысяч потоков), а также минимизация времени буферизации в серверных HDD путем максимального использования кэш-памяти.
Как ожидается, система DeepSort, совместно разработанная подразделением Samsung Software Center в Корее и Samsung Research America в Силиконовой долине, будет внедрена в ряде сервисов и мобильных приложений Samsung, включающих в себя функции поиска.
Успех DeepSort произошел на фоне сосредоточенности компании Samsung на инновациях в области программного обеспечения. В развитие этой инициативы компания вложила значительные финансовые и профессиональные ресурсы с привлечением более 40.000 разработчиков.
Добрый день, Хабр!
Cистема для сортировки данных DeepSort от компании Samsung Electronics заняла первое место на соревновании Sort Benchmark, известном как «Чемпионат мира» в области сортировки данных. Превзойдя конкурентные решения ведущих технологических компаний и исследовательских институтов, система от Samsung смогла проанализировать и реорганизовать 3,7 TБ данных за 60 секунд. Это более чем в два раза превышает предыдущий рекорд в 1,5 ТБ по результатам теста производительности MinuteSort Benchmark, который является отраслевым стандартом объема сортировки данных в минуту.
Система DeepSort была испытана в сетевой среде, состоящей из 384 серверов. Для того, чтобы более точным образом оценить реальную производительность системы, на протяжении всего испытания использовались умеренные параметры аппаратного и программного обеспечения. Например, такие параметры, как количество серверов, объем памяти (64 ГБ) и вычислительная мощность (2,1 ГГц) каждого из серверов, были значительно ниже по сравнению с параметрами, которые использовались основными конкурентами Samsung в соревновании Sort Benchmark 2014. В то же время, вместо значительно более быстрых твердотельных накопителей (SSD), для теста были использованы обычные жесткие диски (HDD).
Столь высокая производительность DeepSort обусловлена точной настройкой ряда ключевых элементов для ускорения скорости обработки данных, которая осуществляется в течение всего процесса сортировки. В числе прочего, это предотвращение дополнительного времени ожидания для серверов с более высокой нагрузкой (равномерное распределение нагрузки между всеми серверами), обеспечение единовременности процессов обработки, передачи и хранения данных (система способна параллельно обрабатывать несколько тысяч потоков), а также минимизация времени буферизации в серверных HDD путем максимального использования кэш-памяти.
Как ожидается, система DeepSort, совместно разработанная подразделением Samsung Software Center в Корее и Samsung Research America в Силиконовой долине, будет внедрена в ряде сервисов и мобильных приложений Samsung, включающих в себя функции поиска.
Успех DeepSort произошел на фоне сосредоточенности компании Samsung на инновациях в области программного обеспечения. В развитие этой инициативы компания вложила значительные финансовые и профессиональные ресурсы с привлечением более 40.000 разработчиков.