Что такое neon для андроид

«Искусственные люди» Samsung Neon уже работают на смартфонах

Пользователи получат их до Рождества

На выставке CES 2020 Samsung анонсировала продукт под названием Neon, который южнокорейский производитель окрестил «искусственным человеком». В описании на официальном сайте говорится, что это «виртуальное существо, созданное с помощью вычислений, которое выглядит и ведет себя как мы». Теперь же стало известно, что Neon будет доступен на смартфонах до конца года.

Объявление было сделано в Twitter Пранавом Мистри (Pranav Mistry), генеральным директором STAR (Samsung Technology and Advanced Research) Labs. Он поделился фотографиями устройства Neon Frame, который «переносит Neon в реальный мир».

После чего известный инсайдер под ником Ice Universe, который часто публикует достоверные сведения о новинках Samsung, спросил Пранава Мистри, когда Neon появится на смартфонах. В ответ на это Мистри ответил, что Neon уже работает на его смартфоне. В данный момент проект Neon проходит стадию тестирования, а рядовые пользователи смартфонов смогут познакомиться с «искусственными людьми» лично ещё до Рождества.

Neon — не голосовой помощник или робот. Скорее, это видеочат с компьютерным человеком, который выглядит максимально реалистично. Разработчики отмечают, что общение с подобными «искусственными людьми» будет выведено на совершенно новый уровень по сравнению с традиционными персональными помощниками, а время на поиск информации и правильного ответа у Neon составляет всего несколько миллисекунд.

Источник

Samsung представил Neon. Как он будет работать и зачем нам свои цифровые профили

Компания Samsung представила на технологической выставке CES 2020 свой новый проект Neon, в рамках которого любой желающий сможет создать собственный цифровой профиль. Компания предлагает создавать виртуальных аватаров уже существующих людей: профили будут обладать искусственным интеллектом и смогут использовать функционал чат-ботов. «Хайтек» подробно рассказывает о проекте и его возможном будущем.

Читайте «Хайтек» в

Что такое чат-бот Neon?

По словам главы подразделения Neon в Samsung Пранава Мистри, лучший способ понять, для чего нужны технологии чат-бота, — это пойти от обратного. Он не предназначен для замены или улучшения технологий, которые сейчас используются в текущем поколении цифровых помощников Siri, Alexa или Google Assistant.

Другими словами, Neon не предназначен для получения ответов на простые вопросы о погоде или пробках на дорогах. Кроме того, он не может управлять устройствами системы умного дома, устанавливать напоминания, заводить будильники и включать музыку.

Neon также не является андроидом или копией реальных людей, хотя эти цифровые профили могут иметь некоторую физическую или психологическую схожесть с настоящими людьми, отмечает Пранав Мистри. Первая волна смоделирована по образу реальных людей, но в будущем инженеры планируют создавать цифровые профили не только по настоящим образцам, но и разрабатывать чат-ботов, не идентичных реальным людям.

Neon может выступать в качестве индивидуального учителя, личного финансового консультанта, поставщика медицинских услуг, консьержа или актера, в конце концов.

Пранав Мистри, генеральный директор Neon

Чат-бот Neon — это независимое виртуальное существо, которое может демонстрировать свои эмоции и учиться на разговорах при помощи встроенного ИИ. Он предназначен для общения с людьми, запоминания информации и обучения нейросетей.

Что Neon может сделать для нас

В презентации Samsung говорится, что чат-ботов Neon можно использовать в специализированных приложениях с учетом индивидуальных потребностей пользователей. Например, цифровой профиль человека с использованием ИИ сможет обучать пользователя йоге в специальном приложении или новым словам в сервисе изучения иностранных языков.

Чат-бот также сможет взять на себя роль психолога или друга, который будет хранить все секреты.

Как будут появляться Neon?

Neon не планирует превращать цифровые аватары пользователей в физических роботов, однако в будущем их можно использовать в качестве голограммы. Пользователи смогут создавать свои профили при помощи обычной камеры на смартфонах и компьютерах.

В дальнейшем компания собирается отказаться от разработки Neon с внешностью настоящих людей. Пользователи будут регистрироваться в системе, компания проанализирует всю доступную на момент регистрации информацию о человеке, находящуюся в открытом доступе, после чего представит клиенту изображение цифрового профиля. Пользователи не смогут самостоятельно выбирать, как будет выглядеть их цифровой профиль, по аналогии с игрой Sims.

В компании такой подход объясняют тем, что им не хочется, чтобы люди начинали полностью идентифицировать себя с цифровыми профилями. При этом изначально Neon будет копировать внешность реальных людей для ускорения запуска проекта.

Вероятно, боты будут продаваться по модели подписки: то есть человек не будет полностью владеть своим цифровым профилем, а только арендовать его. Компании смогут даже нанимать цифровых людей для специализированных задач, таких как перевод или преподавание, но они не смогут получить права на полноценное использование или изменение этой технологии.

Пока не ясно, сможет ли человек постоянно иметь при себе Neon либо он будет появляться только для конкретных задач, например, для перевода непонятных слов при просмотре сериала на Netflix.

Как технически устроены Neon

В основе Neon лежит ИИ, который обучается в зависимости от типа общения пользователя. Нейросеть анализирует предпочтения человека, его модель общения и потребностей. Работать искусственный интеллект будет на технологии Spectra, про которую сейчас практически ничего не известно. Компания обещает представить технологию ближе к концу 2020 года, но некоторые эксперты считают, что Spectra может быть мощным процессором от Samsung для работы ИИ в бытовых условиях.

Визуальную работу Neon будет поддерживать графический процессор Core R3 — именно его работа ответственна за естественные движения чат-бота, речь, эмоции и отображение этих процессов в режиме реального времени.

Кто занимается разработкой Neon?

Развитием Neon занимается исследователь Samsung Пранав Мистри. Проект цифровых профилей возник из Star Labs (она же Samsung Technology и Advanced Research Labs) и финансируется Samsung, но не является частью ИТ-гиганта. Бот не предназначен для замены основного цифрового помощника Samsung — компания не планирует предустанавливать его во всех продуктах.

Сейчас Neon занимается поиском сторонних инвесторов, поскольку в будущем, несмотря на поддержку Samsung, компании придется разработать систему монетизации.

Будут ли данные храниться в безопасности?

По словам разработчиков, вся языковая обработка будет проходить исключительно на устройстве владельца, а все записи о взаимодействии человека с Neon будут храниться в секрете. В компании заверяют, что никогда не будут передавать данные о пользователях третьим лицам, даже если в них говорится о каком-то преступлении.

Когда я смогу зарегистрироваться в Neon?

Пока никакой конкретной даты компания не анонсировала. Кроме того, уже точно известно, что сейчас технически Neon не может работать — для запуска ИИ в бытовых условиях компании необходимо как минимум запустить работу процессора Spectra, его презентация должна состояться до конца 2020 года.

В работе Neon также существует несколько неясных моментов — будет ли цифровой профиль человека сохраняться при переходе на другое устройство либо пользователю придется создавать и обучать его с нуля. Кроме того, пока функционал остается достаточно скудным, а его возможности — не до конца ясны.

Neon обещает презентовать новые возможности своего ИИ и разные системы взаимодействия с пользователем до конца 2020 года.

Источник

ARM NEON скининг

Что это?

Что такое ARM NEON? – ARM® NEON™ это SIMD движок … – другими словами это расширенный набор инструкций наподобие x86 CPU SSE/SSE2 но для процессоров с ARM архитектурой.

Зачем?

Всё и так было хорошо пока я не добавил поддержку FSAA. После этого фпс просел ниже чем 15.
После оптимизации у меня опять было около 25 FPS. Но в памяти засела одна функция которая потребляла 10% времени на кадр в которой я уже не знал что можно оптимизировать.

Благодаря одному моему другу, который время от времени задавал вопрос типа «А не хочешь ли ты задействовать NEON в своем движке» я таки решился (с его поддержкой) переписать эту функцию на NEON.

Оригинальный код на C для скининга (Matrix palette skinnig).

Структуры:

Трансформация одного веса:

Трансформация одного вертекса:

Знающий человек сразу заметит, что я храню количество не нулевых весов для каждого вертекса. В моем случае около 30% вершин были с одним весом, что позволило выиграть немножко времени.

ASM with NEON(xCode style)

Код ниже это asm/С код оптимизированный с использованием ARM NEON.
Несколько ньюансов:

• Для ARM NEON все входящие данный должны быть выровнены на 16 байт. Из за этого требования я все свои входящие позиции и нормали расширил на Vec4f.
• Исходящие данные все еще могут быть выровнены по 4 байта. Это позволило мне заливать результат напрямую в вертекс буфер без лишних телодвижений. Для варианта с выровненными данными по 16 байт пришлось бы падить данные лишними 4+4 байтами и гонять их в вертекс буффер (а это происходит на каждом кадре).

Результаты

Я не делал никаких синтетических тестов — все проверял на рабочем проекте.

502ms(c++) против 307ms(arm neon) на

10 секундном интервале для iPhone 4 (на 39% быстрее чем на С).

Вопросы-Ответы

Попытаюсь ответить сразу на несколько вопросов?

Q: А почему не описано как работает и что такое ARM NEON?
A: Пересказывать спеки смысла нет.

Q: А почему не использовать шейдера?
A: OpenGL 1.1

Q: А почему не использовать OpenGL 2.0+?
A: Только после портации на Windows Phone 8 (там нет FF и как раз в этот момент я допишу «шейдерность» в движок и потом уже и на GL 2.0).

Q: А почему не использовать GL_OES_matrix_palette для FF?
A: Надо бить модель на группы по 11 (для iphone) матриц и на это нет времени — возможно в будущем.

Q: А где можно узнать больше и желательно с примерами?
A: Я советую посмотреть Тут. Осторожно там LGPL.

Q: А сколько это заняло?
A: Неделю — именно это и есть причина написания статьи (если кому то сэкономит время я буду счастлив).

Q: Я ничего не понял, а можно по подробнее?
A: Можно (зависит от комментариев), но я старался написать очень понятный код.

Источник

Android ARMv6 / v7 и VFP / NEON

Я хотел бы больше понять процессор, используемый на телефонах Android. Причина в том, что мы создаем библиотеку C, у которой есть определенные флаги архитектуры процессора / математического процессора, которые мы можем установить.

До сих пор мы обнаружили, что все процессоры Android-устройств являются ARM-дизайном и представляют собой ARMv6 (более старые устройства, нижние концы, Huawei, ZTE, small SE) или ARMv7 (сотовые планшеты и все более дорогие устройства, почти все с разрешением WVGA и выше) Я проверил

20 устройств, и у всех есть процессор такого типа. Это верно? Есть ли другие?

Теперь, когда дело доходит до мультимедийных и математических операций, я думаю, что важны два блока – VFP для арифметики с плавающей точкой и SIMD – NEON . После тестирования вышеупомянутой группы устройств я обнаружил, что поддержка VFP находится практически во всех устройствах, а NEON нет. Любые комментарии к этому?

Я не знаю, что такое разница ARMv6 и ARMv7 (помимо скорости вообще). Теперь мы создаем мультимедийную библиотеку C, в которой есть пара флагов для строительства. Мой вопрос заключается в том, как настроить максимальное количество устройств на одной стороне и как разрешить пользователям лучших устройств использовать свое оборудование. Мое предложение состоит в том, чтобы подготовить 3 различных сборки: ARMv6 / VFP, ARMv7 / VFP и ARMv7 / VFP / NEON. Другие предложения?

ARMv6 / VFP, я думаю, должен работать на всех конфигурациях, кроме устройств, которым не хватает VFP (например, старый HTC Wildfire), но они останутся неподдерживаемыми.

Это хороший подход? Любые комментарии приветствуются.

С уважением, STeN

Правильно. В настоящее время существует два типа: ARMv6 и ARMv7. Скорее всего, в ближайшем будущем будет добавлена ​​цель x86. Новый NDK уже поддерживает сборку для него.

VFP является обязательным на ARMv7, но не на ARMv6. NEON является необязательным, и не все устройства поддерживают его. Наиболее ярким примером является Nvidia Tegra 2. Он развертывается на большинстве высокопроизводительных планшетов и телефонов, но не поддерживает NEON. Nvidia Tegra 3 поддерживает NEON.

Я думаю, вы должны придерживаться ARMv6 с эмуляцией с плавающей запятой, ARMv7 + VFP, ARMv7 + NEON.

Точно – VFP не поддерживается на всех устройствах ARMv6. Так что просто не используйте его там. По умолчанию NDK создает цель armeabi, предназначенную для устройств ARMv6, и не использует VFP. Armeabi-v7a строит для ARMv7 и использует VFP.

Я бы сосредоточился на v7.

Есть почти никаких новых продуктов, поставляемых с v6, и к тому времени, когда ваша библиотека будет готова к производству, v6 не будет выпущен.

Вот некоторая информация: – Neon ALWAYS включает VFP – Coretex A8 может иметь либо Neon, либо none – VFP на A8 Neon на самом деле VFP-lite, который довольно много медленнее. Гораздо медленнее VFP V6. – Coretex A9 и выше могут быть оснащены Neon, VFP или нет. – У V7 есть много улучшенных инструкций, хорошо подходящих для математических операций, помимо возможности двойного выпуска. – Поставщики чипов могут опускать Neon и даже VFP, но они платят за лицензию ARM независимо от нее. Они только сэкономили бы очень мало на производственных издержках. – Неон чрезвычайно эффективен в умелых руках, но не может делать двойной точности. – За исключением тех, у кого есть неоновая Tegra, мне не известен Android-телефон под управлением V7, в котором нет Neon. (Причина выше) – у Tegra3 есть Neon

Это правда, что большинство устройств Android попадают в эти три категории:

NDK не поддерживает это полностью. Нет цели ARMv6 ABI build. Есть только две цели построения ARM, поддерживаемые NDK:

1) ARMv5 (который будет работать на всех устройствах Android ARM)

2) ARMv7 (с опциональным использованием VFP и NEON)

Ограничения, налагаемые этим, заключаются в том, что если вы хотите использовать инструкции ARMv6 (из кода C или ASM), вам необходимо настроить ARMv7 ABI в NDK.

Источник