Rnn номер что это
RRN в чеке — что это за номер?
Дополнительная информация в чеках транзакций иногда может стать преимуществом при возникновении некоторых проблем с переводом средств. Данный материал расскажет о строке RRN в чеке, а вы поймете что это значит и для чего используется.
Что означает данная аббревиатура?
RRN расшифровывается как Reference Retrieval Number, что в дословном переводе означает «Поиск ссылочного номера». В специализированной среде данный набор цифр называется «Референс».
Данное сочетание состоит из 12 символов – чаще сочетания цифр и латинских букв. При отсутствии кода в основной части чека, его можно найти посредством использования настроек платёжной системы, интернет-банкинга.
Для этого проводим следующие манипуляции с приложением/личным кабинетом:
Искомая информация должна располагаться в нижней части первого столбца детализации отправки.
RRN идентификатор на чеке
Для чего предназначена?
RRN идентификатор, полученный из деталей платежа, может потребоваться для уточнения деталей по проведённой транзакции, узнать статус выполнения операции. В большинстве случаев речь идёт о правильном завершении перевода, получении денежных средств.
Для этого отправитель делает запрос в банковскую структуру или же электронную систему, через которую была проведена оплата. Указание данного кода производится для подтверждения личности и получения необходимой информации без дополнительных проверок.
Рекомендуем наш материал о новой опции Защита платежа от Халвы.
Где и как генерируется RRN?
Числовое значение RRN, указанное в электронном чеке, формируется при инициализации платежа непосредственно банком Эквайрером. Далее соответствующий параметр проходит через соответствующий ПЦ (процессинговый центр) для дополнительной безопасности и невозможности получения третьими лицами вследствие хакерской атаки на сервера.
При отсутствии необходимой информации рекомендуется обратиться в техническую поддержку соответствующей платёжной системы для повторной отправки электронного чека, разъяснения сложившейся ситуации.
Заключение
По информации с форумов, рассматриваемый пункт деталей платежа может в принципе отсутствовать в некоторых платёжных системах. Это может относится к некоторым конвертерам валют, недавно созданным способам перевода. Надеемся, что эта статья помогла вам разобраться с RRN в чеке и использовать быстрый способ проверки завершения перевода в случае необходимости.
RRN в чеке: что это и где найти?
На кассовом чеке, который согласно законодательству РФ выдается при совершении оплаты наличными деньгами или по безналичному расчету, содержится важная информация. Она может понадобиться для разбирательства в случае проблем с оплатой или возвратом товаров или услуг, указанных в чеке.
В частности, может пригодиться строка RRN в кассовом чеке.
Расшифровка аббревиатуры RRN
Значение сокращения RRN расшифровывается как Reference Retrieval Number, что дословно можно перевести как «Поиск ссылочного номера». Специалисты используют термин «референс» для русского обозначения аббревиатуры RRN.
Кодировка RRN состоит из двенадцатизначного сочетания букв на латинице и цифр.
Идентификатор RRN, указанный при осуществлении платежа, требуется для того, чтобы уточнить детали по осуществленной банковской транзакции, или проверить статус выполнения операции. Он создается банком-эквайрером при осуществлении процедуры платежа.
Где можно найти RRN
Внимательно рассмотрев чек, полученный после произведенной оплаты, можно найти строку RRN, расположенную обычно в нижней части. В случае отсутствия такой строки необходимо зайти в свой мобильный банк или интернет-приложение.
В приложении потребуется выполнить следующие шаги:
Если поиск в мобильном банке или приложении не дал результатов, следует обратиться в свой банк с запросом о предоставлении необходимой информации.
Для этого потребуется подтвердить свою личность.
В том случае, если банк не может предоставить информацию об идентификаторе RRN, можно обратиться в электронную систему, которая обработала прохождение оплаты.
Для чего нужен RRN
В случае совершения возврата оплаты отправитель денежных средств может потребовать указать RRN, присвоенный операции по оплате. Это необходимо для того, чтобы подтвердить уникальность операции. В случае указания неверного RRN оплата может «потеряться» и не поступить к получателю.
Идентификатор RRN также может помочь вернуть «зависшие» деньги, если при переводе были указаны неверные или неполные реквизиты получателя платежа.
RRN платежа, код авторизации и другие параметры карточной операции
RRN платежа.
RRN (Reference Retrieval Number) – это уникальный идентификатор банковской транзакции, который назначается банком Эквайрером при инициализации платежа. RRN принимает цифробуквенное значение, состоящее из 12 символов (цифры и буквы латинского алфавита). RRN может быть запрошен при необходимости Торгово-сервисным предприятием (ТСП) у банка Эквайрера. Также этот параметр, помимо прочих, можно найти в свойствах платежа в личном кабинете PayKeeper, перейдя на вкладку «Параметры операции» или «Параметры запроса».
RRN может потребоваться, например, для уточнения корректности произведенной транзакции по платежу – в этом случае организация делает запрос в банк, указывая идентификатор транзакции. Также RRN удобно использовать для поиска платежа в личном кабинете PayKeeper.
Код авторизации.
При проведении карточной операции ей присваивается код авторизации. Последний назначается банком Эмитентом, является результатом успешно пройденной процедуры авторизации и может служить, в том числе, идентификатором проведенного платежа.
Код авторизации представляет собой строку, состоящую из 6 цифр и букв латинского алфавита. Пример кода авторизации: 95F69T. Код авторизации, в большинстве случаев, может быть найден в личном кабинете интернет-банкинга плательщика среди параметров платежа. Также код авторизации может быть запрошен в банке Эмитенте.
В личном кабинете PayKeeper код авторизации можно найти на вкладке «Параметры операции». В открывшемся окне среди прочих параметров платежа код авторизации может обозначаться по-разному, в зависимости от того, каким образом он транслируется в инфраструктуре Эквайрера: AuthCode (Промсвязьбанк, Московский Кредитный банк), APPROVAL_CODE (Русский стандарт), APPROVAL (ВТБ24), approvalCode (Cбербанк, РосЕвроБанк, Банк Открытие).
В общем случае, два вышеописанных параметра – RRN транзакции и код авторизации платежа – позволяют однозначно идентифицировать карточную операцию в инфраструктурах Эмитента и Эквайрера. Один из распространенных случаев, когда могут понадобиться RRN и Код авторизации – уточнение в банке Эмитенте статуса возврата денежных средств по произведенному платежу. Операции возврата также могут назначаются оба параметра. Плательщик имеет возможность предоставить в банк, выпустивший его карту, данные RRN и Кода аторизации возврата и получить по последнему точную информацию.
Результат авторизации 3D-Secure.
В некоторых случаях частью проведения карточной операции может являться процедура проверки кода 3D-Secure. Последняя является дополнительно мерой безопасности, созданная для того, чтобы исключить возможность мошеннических операций с картами.
Результатом проверки 3D-Secure могут быть следующие ответы Эмитента:
NOT PARTICIPATED – данный статус означает, что банковская карта не участвует в программе 3D-Secure. В основном, такими картами в настоящее время являются карты иностранных банков Эмитентов, выпускавших свои карты еще до введения 3D-Secure авторизации (например, некоторые карты AmericanExpress). В настоящее время поддержка 3D-Secure картами, выпущенными на территории РФ, является обязательной.
ATTEMPTED – данный статус присваивается результату проверки в том случае, если карта включена в программу 3D-Secure только номинально. По факту же операция проверки кода 3D-Secure в этом случае лишь эмулируется. Подобные карты могут выпускаться банками Эмитентами для того, чтобы они соответствовали современным стандартам безопасности интернет-эквайринга. В большинстве случаев эмиссия таких карт означает, что в банке Эмитенте только частично реализована поддержка 3D-Secure, или некоторые аспекты реализации программы 3D-Secure находятся в тестовом режиме.
AUTHENTICATED – статус присваивается результату проверки кода 3D-Secure, если авторизация прошла успешно.
DECLINED – статус означает, что авторизация 3D-Secure прошла неуспешно. Например, был неверно введен код авторизации либо плательщик отменил операцию проверки принудительно, нажав на ссылку отмены или закрыв страницу ACS (Access Control Server) банка Эмитента.
В личном кабинете PayKeeper результат авторизации 3D-Secure отображается на вкладке «Параметры операции» и отмечен тегом «3DSECURE».
Номер карты, имя держателя, срок действия.
Информация о карточной операции обязательно включает в себя основные характеристики самой карты, с помощью которой эта операция производится: номер карты, имя держателя карты и срок действия. Перечисленные параметры и код CVN/CVC (Card Verification Number/Card Verification Code) обычно требуется указать на платежной странице банка. Указанная плательщиком информация в дальнейшем сохраняется в качестве свойств карточной операции после завершения процедуры оплаты.
В личном кабинете PayKeeper эту информацию можно найти на вкладках «Параметры операции» и «Параметры запроса».
Например, если банком Эквайрером является Сбербанк, то срок действия карты будет отображаться на вкладке «Параметры запроса» под названием «CardAuthInfo/expiration». Первые четыре цифры будут относиться к году, последние две – к месяцу.
Если торговая точка проводит свои платежи через ВТБ24, то имя держателя карты, по которой была произведена банковская операция, можно найти на вкладке «Параметры операции» под тегом «CARD_HOLDER».
Номер карты в личном кабинете PayKeeper также отображается на вкладке «Параметры операции» под тегом «CARD_NUMBER»
Что такое ррн в чеке
Дополнительная информация в чеках транзакций иногда может стать преимуществом при возникновении некоторых проблем с переводом средств. Данный материал расскажет о строке RRN в чеке, а вы поймете что это значит и для чего используется.
Что означает данная аббревиатура?
RRN расшифровывается как Reference Retrieval Number, что в дословном переводе означает «Поиск ссылочного номера». В специализированной среде данный набор цифр называется “Референс”.
Данное сочетание состоит из 12 символов – чаще сочетания цифр и латинских букв. При отсутствии кода в основной части чека, его можно найти посредством использования настроек платёжной системы, интернет-банкинга.
Для этого проводим следующие манипуляции с приложением/личным кабинетом:
Искомая информация должна располагаться в нижней части первого столбца детализации отправки.
RRN идентификатор на чеке
Для чего предназначена?
RRN идентификатор, полученный из деталей платежа, может потребоваться для уточнения деталей по проведённой транзакции, узнать статус выполнения операции. В большинстве случаев речь идёт о правильном завершении перевода, получении денежных средств.
Для этого отправитель делает запрос в банковскую структуру или же электронную систему, через которую была проведена оплата. Указание данного кода производится для подтверждения личности и получения необходимой информации без дополнительных проверок.
Рекомендуем наш материал о новой опции Защита платежа от Халвы.
Где и как генерируется RRN?
Числовое значение RRN, указанное в электронном чеке, формируется при инициализации платежа непосредственно банком Эквайрером. Далее соответствующий параметр проходит через соответствующий ПЦ (процессинговый центр) для дополнительной безопасности и невозможности получения третьими лицами вследствие хакерской атаки на сервера.
При отсутствии необходимой информации рекомендуется обратиться в техническую поддержку соответствующей платёжной системы для повторной отправки электронного чека, разъяснения сложившейся ситуации.
Заключение
По информации с форумов, рассматриваемый пункт деталей платежа может в принципе отсутствовать в некоторых платёжных системах. Это может относится к некоторым конвертерам валют, недавно созданным способам перевода. Надеемся, что эта статья помогла вам разобраться с RRN в чеке и использовать быстрый способ проверки завершения перевода в случае необходимости.
RRN платежа.
RRN (Reference Retrieval Number) – это уникальный идентификатор банковской транзакции, который назначается банком Эквайрером при инициализации платежа. RRN принимает цифробуквенное значение, состоящее из 12 символов (цифры и буквы латинского алфавита). RRN может быть запрошен при необходимости Торгово-сервисным предприятием (ТСП) у банка Эквайрера. Также этот параметр, помимо прочих, можно найти в свойствах платежа в личном кабинете PayKeeper, перейдя на вкладку «Параметры операции» или «Параметры запроса».
RRN может потребоваться, например, для уточнения корректности произведенной транзакции по платежу – в этом случае организация делает запрос в банк, указывая идентификатор транзакции. Также RRN удобно использовать для поиска платежа в личном кабинете PayKeeper.
Код авторизации.
При проведении карточной операции ей присваивается код авторизации. Последний назначается банком Эмитентом, является результатом успешно пройденной процедуры авторизации и может служить, в том числе, идентификатором проведенного платежа.
Код авторизации представляет собой строку, состоящую из 6 цифр и букв латинского алфавита. Пример кода авторизации: 95F69T. Код авторизации, в большинстве случаев, может быть найден в личном кабинете интернет-банкинга плательщика среди параметров платежа. Также код авторизации может быть запрошен в банке Эмитенте.
В личном кабинете PayKeeper код авторизации можно найти на вкладке «Параметры операции». В открывшемся окне среди прочих параметров платежа код авторизации может обозначаться по-разному, в зависимости от того, каким образом он транслируется в инфраструктуре Эквайрера: AuthCode (Промсвязьбанк, Московский Кредитный банк), APPROVAL_CODE (Русский стандарт), APPROVAL (ВТБ24), approvalCode (Cбербанк, РосЕвроБанк, Банк Открытие).
В общем случае, два вышеописанных параметра – RRN транзакции и код авторизации платежа – позволяют однозначно идентифицировать карточную операцию в инфраструктурах Эмитента и Эквайрера. Один из распространенных случаев, когда могут понадобиться RRN и Код авторизации – уточнение в банке Эмитенте статуса возврата денежных средств по произведенному платежу. Операции возврата также могут назначаются оба параметра. Плательщик имеет возможность предоставить в банк, выпустивший его карту, данные RRN и Кода аторизации возврата и получить по последнему точную информацию.
Результат авторизации 3D-Secure.
В некоторых случаях частью проведения карточной операции может являться процедура проверки кода 3D-Secure. Последняя является дополнительно мерой безопасности, созданная для того, чтобы исключить возможность мошеннических операций с картами.
Результатом проверки 3D-Secure могут быть следующие ответы Эмитента:
NOT PARTICIPATED – данный статус означает, что банковская карта не участвует в программе 3D-Secure. В основном, такими картами в настоящее время являются карты иностранных банков Эмитентов, выпускавших свои карты еще до введения 3D-Secure авторизации (например, некоторые карты AmericanExpress). В настоящее время поддержка 3D-Secure картами, выпущенными на территории РФ, является обязательной.
ATTEMPTED – данный статус присваивается результату проверки в том случае, если карта включена в программу 3D-Secure только номинально. По факту же операция проверки кода 3D-Secure в этом случае лишь эмулируется. Подобные карты могут выпускаться банками Эмитентами для того, чтобы они соответствовали современным стандартам безопасности интернет-эквайринга. В большинстве случаев эмиссия таких карт означает, что в банке Эмитенте только частично реализована поддержка 3D-Secure, или некоторые аспекты реализации программы 3D-Secure находятся в тестовом режиме.
AUTHENTICATED – статус присваивается результату проверки кода 3D-Secure, если авторизация прошла успешно.
DECLINED – статус означает, что авторизация 3D-Secure прошла неуспешно. Например, был неверно введен код авторизации либо плательщик отменил операцию проверки принудительно, нажав на ссылку отмены или закрыв страницу ACS (Access Control Server) банка Эмитента.
В личном кабинете PayKeeper результат авторизации 3D-Secure отображается на вкладке «Параметры операции» и отмечен тегом «3DSECURE».
Номер карты, имя держателя, срок действия.
Информация о карточной операции обязательно включает в себя основные характеристики самой карты, с помощью которой эта операция производится: номер карты, имя держателя карты и срок действия. Перечисленные параметры и код CVN/CVC (Card Verification Number/Card Verification Code) обычно требуется указать на платежной странице банка. Указанная плательщиком информация в дальнейшем сохраняется в качестве свойств карточной операции после завершения процедуры оплаты.
В личном кабинете PayKeeper эту информацию можно найти на вкладках «Параметры операции» и «Параметры запроса».
Например, если банком Эквайрером является Сбербанк, то срок действия карты будет отображаться на вкладке «Параметры запроса» под названием «CardAuthInfo/expiration». Первые четыре цифры будут относиться к году, последние две – к месяцу.
Если торговая точка проводит свои платежи через ВТБ24, то имя держателя карты, по которой была произведена банковская операция, можно найти на вкладке «Параметры операции» под тегом «CARD_HOLDER».
Номер карты в личном кабинете PayKeeper также отображается на вкладке «Параметры операции» под тегом «CARD_NUMBER»
Сокращения в кассовых чеках (английский язык)
ACQ-ID – идентификатор эквайера
A/R NUMBER – код плательщика
AIC – опознавательный код учреждения
AID – идентификатор EMV приложения
AMT-AUTH – сумма авторизованная
AMT-CLEAR– сумма без комиссии и скидки
AMT-COMM – сумма комиссии
AMT-DISC – сумма скидки
AMT-ORIG – исходная сумма (при в возврате)
APP-LABEL – название приложения
APPROVED – переменная определена, если операция одобрена
ARC-HOST – код ответа процессинга
ARC-ISSUER — код ответа эмитента
ARC-MESSAGE – расшифровка кода ответа процессинга
AUTH-CODE – код авторизации
AUTH-CODE-SOURCE – источник кода авторизации
AS-PROC-CODE – код платежной операции
ATC (automated transaction code) – автоматический код транзакции
AVN-CARD – номер версии приложения карты
AVN-TERM — номер версии приложения терминала
BALANCE – остаток на счете клиента, если определен
BATCH – серия, партия
CASHIER – Ф.И.О. кассира
Capt.-ref. – код операции по безналичной оплате
CDP (cisco discovery protocol) – проприетарный протокол
CID (cryptogram information data) – криптограмма идентификационных данных, криптограмма приложения
CIN (code identification number) – опознавательный номер кода
CIN (customer identification number) – номер клиента
CHIP-DECISION – переменная определена, когда операция отменена по решению карты
CLIENT-NAME – имя клиента
CLIENT-COPY — переменная определена, чек для клиента
Clipper e-purse – пополнение электронного платежа
Convenience fee – сбор за обслуживание
CRYPTOGRAM — криптограмма
CTS (central sales tax) – налог на добавленную стоимость
CVM (Cardholder verification method) – подтверждение владельца карты
DCC (direct client to client) – напрямую от клиента к клиенту (тип перевода)
DDOL – список элементов данных, необходимых для динамической аутентификации
DUPLICATE – дубликат
EMV — переменная определена, если операция проводилась с EMV картой
EMV-FLOOR – лимит транзакции
ETF – электронная система платежей
EXPIRY-DATE – срок годности карты
IAC-DEF – код действия эмитента по умолчанию
IAC-DEN — код действия эмитента для отмены операции
IAC-ONL — код действия эмитента для онлайн
IAD (integrated access device) – устройство интегрированного доступа
ICC (information coordination center) – информационно-координационный центр
ICC (International Chamber of Commerce) – Международная Торговая Палата
INVOICE-NR – номер чека
ISR – результат выполнения скрипта эмитента
MERCHANT-COPY — переменная определена, если печатается чек для продавца
MID (merchant ID) – номер продавца
OFFLINE-PIN – оффлайн
ONLINE — переменная определена, если операция выполнялась в онлайн
ONLINE-PIN – введен онлайн ПИН
OP-NAME – название операции
PAN number – номер карты
PAN-SEQN (PAN sequence number) – последовательный номер карты
PIN — переменная определена, если вводился ПИН
PNR – код бронирования при покупке билета
POS info – информация о кассовом терминале
Powered by… — при поддержке
Response code – код отклика
REVERSED — переменная определена, если операция была отклонена
RRN (retrieval reference number) – уникальный номер транзакции
Sales voucher – кассовый чек, платежная квитанция, товарная квитанция, товарный чек
Settlement summary – итоговый расчет
SIGNATURE – подпись клиента, если переменная определена
STAN (standardization) – порядковый номер операции с банковской картой
SVS tax (service tax) – налог на услуги
Swipe – проводить пластиковую карту через считывающее устройство
TAC-DEF- коды действий терминала по умолчанию
TAC-DEN — коды действий терминала для отмены операции
TAC-ONL — коды действий терминала для онлайн
TC (target classification) – классификация целей
TDOL – список данных, участвующих при вычислении сертификата
TERM-ACAPS – дополнительные свойства терминала
TERM-CAPS – свойства терминала
TERM-ID – идентификатор терминала по процессингу
TERM-TYPE- тип терминала
TID (terminal input data) – терминал ввода данных, идентификатор терминала
TIN (taxpayer identification number) – идентификационный номер налогоплательщика
TIN (trade identification number) – номер торгового предприятия
TRACE – запись
TSI (transaction information) – информация о статусе транзакции
TSN-BATCH – последовательный номер пакета
TSN-TXN — последовательный номер транзакции
TVR (transaction verification) – результат верификации
TXN-DATE – дата выполнения транзакции
TXN-TIME – время выполнения транзакции
Упадок RNN и LSTM сетей
Автор: Eugenio Culurciello, оригинальное название: The fall of RNN / LSTM
Перевод: Давыдов А.Н.
Мы полюбили RNN (рекуррентные нейронные сети), LSTM (Long-short term memory), и все их варианты. А теперь пора от них отказаться!
В 2014 году LSTM и RNN, были воскрешены. Но мы были молоды и неопытны. В течении нескольких лет они был способом решения таких задач как: последовательное обучение, перевод последовательностей (seq2seq). Так же они позволили добиться потрясающих результатов в понимании речи и переводе ее в текст. Эти сети поспособствовали восхождению таких голосовых помощников как Сири, Кортана, Гугл и Алекса. Не забудем и машинный перевод, который позволил нам переводить документы на разные языки. Или нейросетевой машинный перевод, позволяющий переводить изображения в текст, текст в изображения, делать субтитры для видео и т.д.
Прошло всего 2 года, и сегодня мы можем однозначно сказать:
«Завязывайте с RNN и LSTM, они не так хороши!»
Можете не принимать наши слова на веру, просто посмотрите, что сети на основе Attention используют такие компании как Гугл, Фэйсбук, Сэйлфорс и это только некоторые из них. Все эти компании заменили RNN сети и их варианты на сети основанные на Attention и это только начало. Дни RNN сочтены во всех приложениях, так как они требуют больше ресурсов для обучения и работы, чем модели основанные на Attention.
Но почему?
Вспомним, что RNN, LSTM и их производные используют в основном последовательную обработку во времени. Обратите внимание на горизонтальную стрелку на диаграмме ниже:
Рис.1 Последовательность процессов в RNN сетях
Она означает, что долгосрочная информация должна последовательно пройти через все ячейки, прежде чем попасть в текущую обрабатываемую ячейку. Это означает, что ее можно легко повредить, многократно умножая на малые числа близкие к 0, что является причиной исчезновения градиента.
На помощь пришел модуль LSTM. Который сегодня можно рассматривать, как многошлюзовый переключатель, немного похожий на ResNet. Он может обходить блоки(модули) и таким образом помнить более длительные временные отрезки. Таким образом у LSTM есть способ устранить некоторые проблемы с исчезающим градиентом. Но не все.
Рис.2 Последовательность процессов в LSTM
У нас есть последовательный путь от старых ячеек к текущей. Фактически, путь теперь еще более сложен, так как оброс добавочными и забытыми ветвями. Несомненно, LSTM, GRU и их производные могут оперировать намного более долгосрочной информацией! Но они могут помнить последовательности из сотен (100), а не из тысяч или десятков тысяч.
И еще одна проблема RNN сетей заключается в том, что они очень требовательны к оборудованию. Требуют много ресурсов, как для обучения (это значит мы не можем обучить их быстро), так и для запуска. Для моделей основанных на RNN в облаке требуется много ресурсов. Учитывая, что потребность в преобразовании речи в текст быстро растет, а облако не масштабируется, нам потребуется производить обработку прямо на Amazon Echo!
Что нам делать?
Это 2D свёрточная нейронная сеть, которая может превзойти как модели RNN/LSTM, так и модели на основе Attention, такие как Transformer
Метод Transformer был отличным решением с 2017 года до статьи, ссылка на которую дана выше. Как уже говорилось ранее, он дает большие преимущества по ряду параметров.
В качестве альтернативы: если последовательной обработки следует избегать, мы можем найти блоки данных, которые «смотрят вперед» или, лучше сказать «оглядываются назад», поскольку большую часть времени мы имеем дело с причинно-следственными данными в реальном времени (когда мы знаем прошлое и хотим повлиять на будущие решения) Другой случай, когда нам надо перевести предложение или проанализировать видео, у нас есть все данные и мы можем размышлять над ними больше времени. Такие блоки, смотрящие вперед/назад являются модулями нейронного внимания.
На помощь приходит «иерархический нейронный кодировщик внимания», объединяющий несколько модулей нейронного внимания, показанный на рисунке ниже:
Рис.3 Иерархический нейронный кодировщик внимани
Обратите внимание, что здесь есть иерархия модулей внимания, очень похожая на иерархию нейронных сетей. Это также похоже на временную свёрточную сеть (TCN), описанную в примечании 3 ниже.
В иерархическом нейронном кодировщике множество слоев «Внимания» могут смотреть на небольшую часть недавнего прошлого, скажем 100 векторов, в то время как слои выше могут смотреть на эти 100 модулей «внимания» смотрящие на эти 100 векторов. Эффективно интегрируя информацию 100х100 векторов. Это расширяет возможности иерархического кодировщика нейронного внимания до 10 000 прошлых векторов.
Это способ заглянуть глубже в прошлое, чтобы эффективнее влиять на будущее.
Но что еще более важно, взгляните на длину пути, необходимого на распространение вектора данных, поданного на вход сети: в иерархических сетях, он пропорционален логарифму N (log(N)), где N – количество уровней иерархии. Это контрастирует с шагами Т, которые должна выполнить RNN, где Т – максимальная длина запоминаемой последовательности. Как мы видимо T многократно больше N (T>>N)
Последовательности легче запомнить, если данные проходят через 3-4 слоя нежели чем через 100!
Эта архитектура похожа на нейронную машину Тьюринга, но позволяет нейронной сети решать, какую информацию считывать из памяти посредством «внимания». Это означает, что реальная нейронная сеть будет решать, какие вектора из прошлого важны для будущих решений.
Но как на счет объема памяти? Вышеупомянутая архитектура сохраняет все предыдущие данные в памяти, в отличии от нейронной машины Тьюринга. Это, кажется, не очень эффективным: представьте, что мы будем хранить данные о каждом кадре в видео – в большинстве случаев вектор данных не меняется от кадра к кадру, поэтому мы будем хранить слишком много данных об одном и том же. Что мы можем сделать, так это добавить еще один модуль, чтобы предотвратить сохранение коррелированных данных. Например, не запоминать вектора слишком похожие на ранее запомненные. Но это реально геморрой, лучше всего позволить нейросети самой решить, какие вектора запоминать, а какие нет.
Дополнительная информация
О тренировке RNN\LSTM: RNN и LSTM сложно обучить, потому что они требуют вычислений с ограничением полосы пропускания памяти, что является худшим кошмаром для разработчика оборудования и в конечном итоге ограничивает применимость решений на основе таких нейронных сетей. Короче говоря, LSTM требует 4 линейных слоя (слой MLP) на ячейку для работы на каждом временном шаге последовательности. Для вычисления линейных слоев требуется большая пропускная способность памяти, фактически они не могут часто использовать много вычислительных единиц, потому что системе не хватает пропускной способности памяти для питания вычислительных единиц. И легко добавить больше вычислительных блоков, но сложно добавить больше пропускной способности памяти (обратите внимание на достаточное количество строк на микросхеме, длинные провода от процессора к памяти и т. Д.). В результате RNN / LSTM и их варианты не подходят для аппаратного ускорения, и мы говорили об этой проблеме раньше здесь и здесь. Решение будет вычисляться в устройствах памяти, подобных тем, над которыми мы работаем в FWDNXT.
Примечание
1: Иерархическое нейронное внимание похоже на идеи в WaveNet. Но вместо свёрточной нейронной сети мы используем иерархические модули внимания. Также: иерархическое нейронное внимание может быть двунаправленным.
3: вот статья, в которой CNN сравнивается с RNN. Временная сверточная сеть (TCN) «превосходит канонические рекуррентные сети, такие как LSTM, в разнообразном диапазоне задач и наборов данных, демонстрируя при этом более эффективную память».
4: С этой темой связан тот факт, что мы мало знаем о том, как наш человеческий мозг учится и запоминает последовательности. «Мы часто изучаем и запоминаем длинные последовательности в более мелких сегментах, например, телефонный номер 858 534 22 30, запоминаемый в виде четырех сегментов. Поведенческие эксперименты предполагают, что люди и некоторые животные используют эту стратегию разбиения когнитивных или поведенческих последовательностей на фрагменты для решения широкого круга задач »- эти фрагменты напоминают мне небольшие свёрточные сети или сети, подобные «Вниманию» (Attention), на более мелких последовательностях, которые затем иерархически связаны друг с другом, как в иерархическом кодировщике нейронного внимания и временной сверточной сети (TCN). Дополнительные исследования заставляют меня думать, что рабочая память похожа на сети RNN, которые используют рекуррентные реальные нейронные сети, и их емкость очень мала. С другой стороны, кора и гиппокамп дают нам возможность запоминать действительно длинные последовательности шагов (например, где я припарковал свою машину в аэропорту 5 дней назад), предполагая, что может быть задействовано больше параллельных путей для запоминания длинных последовательностей, где механизм внимания блокирует важные фрагменты и форсирует прыжки в частях последовательности, которые не имеют отношения к конечной цели или задаче.
5: Приведенные выше свидетельства показывают, что мы не читаем последовательно, фактически мы интерпретируем символы, слова и предложения как группу. Основанный на «внимании» или свёрточный модуль воспринимает последовательность и проецирует представление в нашем сознании. Мы не ошиблись бы в этом, если бы обрабатывали эту информацию последовательно! Остановимся и заметим нестыковки!
7: Здесь вы можете найти отличное объяснение архитектуры Transformer и потока данных!