Sap hec что это
Все, что вы когда-либо хотели узнать о SAP HANA
Продукт HANA, разработанный и выпущенный в 2011 г. компанией SAP по инициативе ее основателя Хассо Платнера (поговаривают, что HANA — это акроним Hasso’s New Architecture), был представлен тогда как высокопроизводительная СУБД, способная размещать всю БД в оперативной памяти и обрабатывать ее там, не обращаясь к медленной дисковой подсистеме (in-memory). Сегодня она превратилась в полноценную платформу для разработки и исполнения приложений, запускаемых и в облаке, и на площадке заказчика. Более того, она стала базовой платформой для бизнес-приложений SAP, включая ее флагманский пакет SAP Business Suite.
Хотя в самых общих чертах о HANA сейчас знают практически все, кто следит за ИТ-рынком, есть важные детали, о которых люди, несомненно задумываются, но не удосуживаются либо стесняются спросить. Вот один из таких вопросов: «А что случится с БД в оперативной памяти, если сервер неожиданно будет обесточен?». По-видимому, специалисту из британской консалтинговой фирмы Bluefin Solutions Джону Эпплби, имеющему статус SAP Mentor и являющемуся одним из наиболее влиятельных членов комьюнити SAP HANA, с подобными вопросами приходится сталкиваться особенно часто. Это побудило его завести в своем блоге постоянно обновляемый раздел FAQ с ответами на самые животрепещущие из них. Мы оставили за скобками те, что представляют интерес для узких специалистов, и приводим в сокращенном изложении наиболее общие. Кроме того, мы дополнили этот FAQ ответами специалистов представительства SAP в странах СНГ.
Зачем SAP создала собственную СУБД?
Один из основателей SAP и председатель ее совета директоров Хассо Платнер задумался о том, что если бы была доступна СУБД с практически нулевым временем отклика, то бизнес-приложения можно было бы писать совсем по-другому и ИТ-ландшафт при этом был бы существенно упрощен. Как производителю таких приложений SAP было понятно, что ни один из традиционных софтверных вендоров создавать подобную платформу не собирается, а потому ее нужно разрабатывать самим. Кроме того, в компании были убеждены, что такая платформа послужит мощным трамплином для инновационного обновления и упрощения продуктов SAP на протяжении следующих 20 лет.
Каково происхождение HANA?
Продукт был разработан с нуля группой Института Хассо Платнера в Потсдаме, но при этом использовалась интеллектуальная собственность, реализованная в СУБД p*Time и MaxDB, поисковой машине TREX и in-memory-сервере BWA, а также полученная в результате покупки компаний Business Objects и Sybase (продукты Sybase IQ и Business Objects Data Federator).
HANA — это только СУБД?
Нет, она изначально включает в себя ряд важных дополнительных компонентов, необходимых для развертывания корпоративных приложений и поставляемых другими вендорами за отдельную плату (транзакционная и аналитическая БД, средства интеграции, поиска, прогнозирования и связи с Web).
Каковы основные отличия HANA от других подобных продуктов?
В этой БД все данные хранятся в оперативной памяти поколоночно и в сжатом виде. Поскольку все операции не требуют обращения к диску и выполняются очень быстро, отпадает нужда в индексах, материализованных представлениях, предварительно вычисляемых суммах и иных агрегатах, что позволяет уменьшить объем БД на 95% по сравнению с традиционными системами. Транзакционные и аналитические приложения могут функционировать одновременно на одном и том же экземпляре БД. SAP удалось решить основные проблемы БД с поколоночным хранением, такие как поддержка параллелизма (с помощью механизмов Multiversion Concurrency Control) и производительность операций вставки и обновления. HANA предоставляет ряд дополнительных сервисов БД, таких как обработка геоинформационных и текстовых данных, OLAP, анализ графов и др.
Кроме возможности хранения всех данных в оперативной памяти, какие еще преимущества есть у платформы?
Во-первых, благодаря совмещению свойств аналитической и транзакционной базы в одном продукте SAP HANA может без дополнительных усилий использоваться как аналитическая СУБД, что позволит сэкономить средства, требующиеся на создание специального аналитического хранилища. Во-вторых, она обладает линейной масштабируемостью: насколько позволяет память «железа», настолько эффективно будет работать SAP HANA. В-третьих, в ней изначально реализована сквозная интеграция с большинством бизнес-приложений SAP.
Каковы возможные сценарии использования HANA?
Сначала HANA применялась в основном для оперативного анализа данных, поскольку в этом случае высокая производительность сразу же достигалась штатными средствами. В типичных транзакционных приложениях (Finance, Supply Chain) рутинный переход с дисковой СУБД на HANA тоже обеспечивает повышение производительности, но не столь значительное (в финансовом модуле SAP на 50%). По-настоящему заметные преимущества возникают, когда приложение оптимизируется для HANA и часть прикладной логики передается на исполнение ядру СУБД. При этом приложение существенно упрощается (SAP сейчас работает над созданием такого упрощенного варианта пакета SAP Business Suite), в нем легко реализуются аналитические и иные сопутствующие операции реального времени. Важно то, что все корпоративные приложения работают с одним экземпляром БД, не требуя создания витрин, хранилищ и иных копий данных, синхронизируемых с основной БД.
Чем HANA может быть полезна в бизнесе?
Все зависит от того решения, в котором в качестве платформы используется SAP HANA. К примеру, в банковском секторе HANA помогает снизить нормы резервирования и риски. В связке с системой защиты от мошенничества HANA позволяет снизить уровень потерь от неправомерных действий, например, в страховом или банковском бизнесе. В финансовых блоках HANA дает возможность сократить время закрытия периода и быстрее получать консолидированную отчетность компании. Чем быстрее такая отчетность появляется у генерального директора, тем оперативнее он сможет принимать оптимальное управленческое решение. На этапе подготовки к проекту внедрения SAP HANA, консультанты SAP проводят экспертизу и делают конкретные расчеты ожидаемого эффекта для каждой компании или предприятия.
В каких отраслях и при решении каких бизнес-задач SAP HANA способна обеспечить новое качество?
Поскольку SAP HANA позиционируется, в частности, в качестве производительной СУБД для приложений любого класса, следует выделить следующие целевые отрасли:
Вот бизнес-процессы предприятия, производительность которых может быть существенно повышена с помощью SAP HANA:
HANA это все-таки что — СУБД, платформа, программно-аппаратный комплекс или облако?
Все вышеперечисленное. Современная СУБД обязана быть и сервером БД, и платформой, допуская как онпремисное, так и облачное развертывание. Бизнес стремительно движется в облака, и HANA сегодня доступна через HANA Cloud Platform в виде платформы как cервис (PaaS) и инфраструктуры как сервис (IaaS) в дата-центрах SAP, а через HANA Enterprise Cloud по модели управляемого облака как сервис Managed Cloud as a Service (McaaS) еще и в дата-центрах других облачных провайдеров. Допускается также гибридная модель, сочетающая онпремисное и облачное развертывание.
На каких системах доступна HANA?
На серверах стандартной архитектуры (стоечных и блейд), а также на их кластерных конфигурациях. Все они сертифицируются SAP и выпускаются многими вендорами [Cisco, Dell, Fujitsu, Hitachi, HP, Huawei, IBM (Lenovo), NEC и SGI]. Сегодня доступны единичные серверы с объемом ОЗУ до 6 Тб и кластеры с суммарным объемом 112 Тб. До конца года планируется завершить тестирование единичного сервера с ОЗУ 24 Тб. В качестве ОС используется Linux (SUSE или Red Hat). В будущем планируется поддержка серверов IBM POWER, но под управлением SUSE Linux, а не AIX.
Есть ли какие-то технические требования для потенциальных заказчиков?
Нет, большинство вендоров поставляют под SAP HANA сертифицированную технику. Есть несколько десятков моделей, из которых заказчик может выбрать то, что ему больше нравится.
Что случится с БД в оперативной памяти, если сервер неожиданно будет обесточен?
SAP HANA — полностью ACID-совместимая СУБД, которая с определенной периодичностью записывает на диск точки сохранения, содержащие мгновенные снимки содержимого оперативной памяти. В промежутках между ними на скоростном флэш-диске сохраняются логи всех изменений, вносимых в БД. Если произойдет сбой электропитания, то для восстановления БД в память сначала будет загружена последняя точка сохранения, а затем последовательно воспроизведены изменения, записанные в логах.
Что произойдет, если размер БД станет больше доступной оперативной памяти?
HANA всегда хранит БД на диске и по требованию загружает ее в ОЗУ сервера. Если объем ОЗУ будет исчерпан, HANA удалит оттуда те части таблиц, которые используются реже всего (на диске они останутся). В следующем релизе (сейчас известно, что в вышедшем в ноябре Service Pack 9) будет обеспечено прозрачное использование дисковой подсистемы, куда в динамическом режиме будут отправляться «холодные» данные (dynamic tiering).
Является ли HANA платформой Big Data?
В целом, да, хотя лучше она подходит для работы с данными имеющими высокую ценность. В тех случаях, когда Big Data имеют низкую ценность (скажем, записи Web-логов), HANA целесообразно использовать в роли хранилища более ценных агрегированных показателей, полученных из сырых массивов Big Data. Возможен также совместный анализ данных, одна часть которых хранится в HANA, а другая (неструктурированная) в Hadoop.
Присутствуют ли в России интеграторы, которые имеют достаточную экспертизу для осуществления проектов на базе SAP HANA? Есть ли уже опыт выполнения подобных проектов в российских компаниях?
Местная партнерская сеть активно развивается в этом направлении, и в России уже работают десятки сертифицированных партнеров по HANA, готовых к ведению крупных проектов в различных отраслях. В большинстве проектов по внедрению SAP HANA и смежных технологий также участвует подразделение SAP Consulting. У SAP есть опыт по работе с SAP HANA в «Сургутнефтегазе», «Северстали», «Эльдорадо», «МВидео», РЖД и ряде других компаний.
Российский старт SAP HANA Enterprise Cloud
Арндт-Александр Бонерт: “SAP HEC — это частная управляемая облачная среда, позволяющая предоставлять услуги самых разных бизнес-приложений SAP”
Дмитрий Шепелявый: “Теперь сервис SAP HANA Enterprise Cloud можно получать из московского облачного ЦОДа SAP”
Нуэс Шуиха ожидает двукратного сокращения сроков развертывания приложений в SAP HEC по сравнению с традиционным онпремисным вариантом
Компания SAP объявила о доступности облачного сервиса SAP HANA Enterprise Cloud (HEC) на инновационной in-memory платформе HANA в России и странах СНГ. Строго говоря, сервис этот, как и любой другой облачный, был доступен всем с мая 2013 г., когда он был впервые представлен, однако, как пояснил заместитель генерального директора «SAP СНГ» Дмитрий Шепелявый, теперь его можно будет получать из недавно открытого московского облачного ЦОДа SAP. Наличие такой возможности особенно важно для заказчиков, озабоченных проблемами информационной безопасности, защиты персональных данных и трансграничной передачи информации.
По словам вице-президента SAP по стратегии технологических сервисов Арндт-Александра Бонерта, SAP HEC — это частная управляемая облачная среда, позволяющая предоставлять услуги самых разных приложений SAP. Частная в том смысле, что заказчик получает в свое распоряжение выделенные аппаратные средства и программные решения, физически изолированные от аналогичных конфигураций других заказчиков. Каждый из них получает также выделенный защищенный канал связи (никакого доступа через Интернет). Однако, в отличие от собственного частного облака предприятия, все эти ресурсы развернуты на площадке провайдера, что позволяет избежать единовременных капитальных затрат на закупку оборудования и ПО, а также дает возможность снять с себя заботы о развертывании и поддержке решения. Впрочем, если у заказчика уже есть лицензии на платформу SAP HANA или приложения, он может развернуть их в среде HEC и не оплачивать стоимость подписки на них. Так же, как в случае онпремисного развертывания, возможна глубокая кастомизация прикладного решения, выполняемая как собственными специалистами заказчика, так и внешними консультантами.
Прежде мне доводилось слышать, что услуги SAP HEC может оказывать не только сама SAP, но и ее локальные партнеры (своеобразный управляемый облачный хостинг), однако Арндт-Александр Бонерт недвусмысленно опроверг этот тезис. Как оказалось, предоставлять подобные услуги в мире получили право лишь еще две компании — IBM и HP, но в нашей стране у них нет для этого соответствующих площадок и ресурсов. Впрочем, никто не запрещает местным партнерам самим сформировать в собственных дата-центрах аналогичный облачный сервис и предоставлять его любым заказчикам. Единственное ограничение — его нельзя называть именем SAP HEC. Кроме того, как утверждает Арндт-Александр Бонерт, отличие «настоящего» сервиса от «безымянного» в том, что первый обеспечивает четко определенные и довольно жесткие SLA-соглашения, распространяющиеся на все уровни от инфраструктуры до прикладных функций. Трудно сказать, почему подобные требования SLA не сможет гарантировать местный партнер. Теоретически допустимо даже предположить, что он «переплюнет» в этом отношении вендора. А если еще и расценки он будет способен снизить, то, как мне кажется, вполне сможет конкурировать на этом поле с SAP.
По словам Дмитрия Шепелявого, наряду с развертыванием сервиса HEC с нуля, предприятие, уже эксплуатирующее прикладные системы SAP, может осуществить в рамках отдельного проекта их перенос в SAP HEC, что предполагает, в частности, миграцию с традиционных дисковых реляционных СУБД на in-memory сервер БД HANA. Дополнительным стимулом к этому станет выпуск семейства бизнес приложений нового поколения SAP Business Suite 4 SAP HANA (SAP S/4HANA), анонсированный в начале февраля. Дальнейшее развитие Business Suite на платформе HANA пойдет по линии SAP S/4HANA, но для подписчиков SAP HEC переход на SAP S/4HANA, как заверил Арндт-Александр Бонерт, не потребует особых усилий и затрат. В этой связи, нынешних клиентов SAP, эксплуатирующих ее приложения на традиционных СУБД, не может не волновать дальнейшая судьба этой линии продуктов. Дмитрий Шепелявый сообщил, что приложения на дисковых СУБД будут развиваться и поддерживаться наравне с SAP S/4HANA, однако в компании не обещают полного совпадения функциональности, поскольку отдельные функции могут быть полноценно реализованы только in-memory. Есть определенные ограничения и для платформ традиционных СУБД, которые могут применяться для бизнес-приложений SAP в облаке. По утверждению Арндт-Александра Бонерта, в качестве таковых могут выступать ASE, IQ (продукты бывшей Sybase) и Microsoft SQL Server, но не Oracle и IBM DB2.
Появились и первые пользователи «российского» SAP HEC. Один из них — авиакомпания «Трансаэро», которая приняла решение развернуть комплексное прикладное решение SAP на указанной облачной платформе. Сообщивший об этом руководитель директората анализа бизнес-процессов авиаперевозчика Нуэс Шуиха отказался назвать точный состав внедряемой прикладной системы и планируемые сроки завершения проекта, но отметил ожидаемое двукратное сокращение сроков по сравнению с традиционным онпремисным вариантом, увеличение надежности и гибкости решения. В рамках проекта, выполняемого SAP Consulting, предстоит также осуществить интеграцию с уже эксплуатируемыми в «Трансаэро» приложениями.
Функциональность SAP HANA как базы данных для SAP HANA Data Management Suite
Мы продолжаем цикл статей о SAP HANA Data Management Suite – гибриде локальных и облачных технологий, который включает в себя четыре компонента-продукта: SAP Data Hub, SAP HANA, SAP Enterprise Architecture Designer и SAP Cloud Platform Big Data Services.
Сочетание этих решений позволяет создать целостную структуру управления данными с следующими функциями:
SAP проводил и продолжает проводить исследования, инвестирует большие ресурсы и средства в развитие направления по обработке данных. В результате появилась платформа SAP HANA – High-Performance Analytic Appliance. У нашей компании уже был накоплен многолетний и по-своему уникальный опыт по разработке технологий и сервисов для бизнеса – и в SAP применили его при создании платформы для бизнеса для realtime обработки данных. В результате появилась SAP HANA, которая стала основой и ядром для разработки и построения интеллектуальных предприятий нового типа (intelligent enterprise). Платформу используют для разработки приложений как внутри SAP, так и наши клиенты и партнёры.
SAP HANA – это многоцелевое решение для хранения и обработки информации. Одна из особенностей SAP HANA – это встроенный механизм вычислений, который позволяет переносить выполнение операций по планированию с уровня приложений на уровень базы данных SAP HANA. С помощью современной архитектуры аппаратной платформы вычисления проходят эффективнее – вся «лавина» обрабатываемых данных разбивается на строго определённое количество потоков, число которых равно общему количеству ядер платформы. Такой подход позволяет максимально эффективно использовать вычислительную мощность каждого ядра каждого процессора.
SAP HANA также предоставляет технологии для хранения и обработки данных in-memory. SAP HANA как база данных позволяет хранить данные в построчном и в поколоночном виде. Технология хранения и обработки данных in-memory обеспечивает быструю обработку транзакций, а вместе технологией анализа данных Calculation View гарантирует высокое быстродействие при выполнении аналитических запросов.
Аналитики Forrester начали использовать новое понятие – «транслитическая база данных». По их определению, такая платформа «поддерживает многие типы использования, включая информацию в режиме реального времени, машинное обучение, поточную аналитику и экстремальную транзакционную обработку».
В недавнем отчёте Forrester говорится следующее: «SAP HANA – это shared-nothing (без общего использования ресурсов), in-memory платформа. Это основа платформы SAP для транзакций и аналитики по данным, она поддерживает множество сценариев применения: приложения для обработки данный в режиме реального времени, аналитика, транслитические приложения, системы глубокой и продвинутой аналитики. Предприятия используют платформу для организации in-memory витрин данных, для работы с realtime-хранилищем данных SAP Business Warehouse, а также при работе с SAP S/4HANA и SAP Business Suite».
Транслитические платформы подходят для поддержки realtime-приложений и сервисов: для торговли акциями, обнаружения мошенничества, борьбы с терроризмом, мониторинга здоровья пациентов, анализа данных от различных сенсоров, мониторинга землетрясений и много другого. С помощью транслитической платформы приложения могут обмениваться данными в реальном времени, обеспечивают согласованность и точность информации, хранимой на предприятии.
Ещё одна сфера применения SAP HANA – это поддержка машинного обучения, что позволяет применять к данным сложные аналитические модели для более точного прогнозирования операций, бизнес-процессов, поведения клиентов и т.д.
Как SAP HANA поддерживает данную функциональность?
Начнём с сервиса баз данных. Если рассматривать HANA с точки зрения архитектуры и технологий, то здесь применяются два способа хранения данных – построчный и поколоночный.
Построчное хранение данных в таблице позволяет обеспечивать высокую скорость записи данных. Если вы хотите добавить новую строку в таблицу, то вам достаточно найти свободное место в памяти для этой строки и записать туда новые данные. Однако при построчном хранении возникает проблема с анализом данных: необходимо использовать индексирование или материализованное представление данных в форме, которая будет удобна для анализа. При этом индексирование приводит к задержкам из-за того, что необходимо дополнительное время на перестроение индекса, материализацию данных в ином формате в процессе вставки строки.
Если же данные хранятся поколоночно, то для добавления новой строки необходимо потратить время на разнесение значений строки по колонкам, затем – подождать, пока данные будут разнесены в разные места в памяти. Всё это приводит к снижению производительности во время записи данных.
База данных с поколоночным хранением позволяет значительно быстрее обрабатывать запросы, потому что в этом случае данные из запрошенных колонок расположены в памяти компактно и сжато. Т.е. при запросе нет необходимости сканировать всю таблицу – достаточно просмотреть только колонки, используемые в запросе. Такая база данных оптимизирована для чтения, а поколоночное хранение информации позволяет организовывать данные в оперативной памяти определенным образом, с использованием группировки. При этом подходе можно с большей эффективностью использовать различные техники компрессии, что приводит к многократному сжатию исходной информации.
Для решения этой проблемы был разработан подход Unified Tables, который обеспечивает высокую скорость чтения и записи данных в таблицу поколоночного хранения. Такой механизм позволяет быстро осуществлять транзакции (то есть запись новых строк), анализировать данные с высокой скоростью за счёт поколоночного хранения в сжатом виде, параллельной обработки данных, а также хранить все данные в оперативной памяти (in-memory).
При проведении записи изменения не сразу вносятся в основное место хранения таблиц. Вместо этого все правки заносятся в отдельную структуру данных – дельта-хранилище (на картинке L1-delta). Здесь данные хранятся в оптимизированном для записи формате. Когда необходимо перенести изменения из дельта-хранилища, то запускается специальный процесс Delta merge – слияние дельты. Сначала данные из L1-delta преобразуются в поколоночный формат в L2-delta, а затем объединяются с основным хранением данных (main store). А для механизма чтения данных все три области хранения информации (L1-delta, L2-delta и main store) предоставляют данные в целостном виде. Благодаря этому процессу получается обеспечить высокую скорость записи и анализа данных.
Одно из существенных преимуществ SAP HANA – все расчеты агрегированных данных производятся непосредственно при формировании аналитического запроса и выводятся сразу в виде результата. Возможности по хранению детальных или исходных данных в оперативной памяти (а не агрегированных значений) позволяют отказаться от предварительного расчета и хранения агрегатных таблиц, которые являются неотъемлемой частью классических аналитических систем.
SAP HANA также поддерживает различные внутренние языки программирования: R – для создания прогнозных моделей, SQL Script – для написания логики вычислений. На уровне сервера приложений XSA, встроенного в SAP HANA 2.0, можно выполнять разработку на многих других языках благодаря поддержки концепции Bring Your Own Language (и за счёт использования Cloud Foundry). С помощью этих языков можно производить необходимые вычисления и прогнозы непосредственно на уровне хранения данных. Это позволяет избавиться от лишних этапов передачи больших объёмов данных и выдавать готовый результат расчетов на уровень приложения.
Теперь рассмотрим платформенные сервисы SAP HANA.
В SAP HANA есть не только база данных, но и целый набор сервисов для разработки приложений, средства интеграции и очистки данных, библиотеки для аналитической обработки данных, включая Machine Learning, а также возможности для хранения и обработки специальных типов данных. SAP HANA позволяет без дополнительных инструментов загружать данные из различных источников, разрабатывать различные формы для ввода, редактирования и анализа данных. Также доступны инструменты для сложной интеллектуальной обработки данных: преобразование, трансформация, поиск закономерностей, исследования. И, конечно, платформа открыта для визуального анализа данных через различные инструменты.
Чтобы рассказать о всех возможностях SAP HANA, потребуется написать несколько дополнительных статей. Многие из них уже описаны в нашем блоге.
Давайте рассмотрим некоторые доступные сервисы:
SAP HANA включает в себя движок для хранения и обработки геоданных – данных, которые описывают положение, форму и ориентацию объектов в пространстве. SAP HANA поддерживает пространственные типы данных и методы их обработки. Существует специальный метод для обработки такой структуры – граф. SAP HANA в этом случае предоставляет возможности для обработки гиперсвязанных данных и их отношений. Движок для обработки данных имеет встроенные алгоритмы поиска окрестностей, кратчайших путей, сильно связанных компонент, сопоставления образцов и многое другое.
В SAP HANA также есть сотня предварительно упакованных алгоритмов машинного обучения и прогнозирования с такими возможностями, как объединение, кластеризация, классификация, регрессия, распределение вероятности, временные ряды и многое другое. Кроме этого, вы можете использовать библиотеку TensorFlow и язык R.
SAP HANA имеет встроенные возможности для обработки и анализа текстовых файлов, включая различные функции по интеллектуальному анализу текстов – например, нечеткая логика, поиск синонимов, семантический разбор и т.д.
SAP HANA Streaming Analytics может фиксировать, фильтровать, анализировать и воздействовать на миллионы событий в секунду в режиме реального времени, сохраняя данные или результаты в базу данных SAP HANA и направляя менее критические данные в более дешевые решения для хранения — такие, как Hadoop. SAP HANA Streaming Analytics также интегрирована с системой сообщений Apache Kafka.
Полезные материалы и ресурсы для начала работы с SAP HANA:
Бесплатная ознакомительная версия SAP HANA, express edition доступна для скачивания на нашем официальном сайте. Также в начале работы вы можете изучить набор туториалов перед началом работы с SAP HANA:
— виртуальная машина и версия Server + XSA Applications для SAP HANA и видеоинструкция по её установке
— в наборе туториалов есть широкий выбор. Например, для работы с пространственными данными: первый и второй