Как работает Android, часть 1
В этой серии статей я расскажу о внутреннем устройстве Android — о процессе загрузки, о содержимом файловой системы, о Binder и Android Runtime, о том, из чего состоят, как устанавливаются, запускаются, работают и взаимодействуют между собой приложения, об Android Framework, и о том, как в Android обеспечивается безопасность.
Немного фактов
Android — самая популярная операционная система и платформа для приложений, насчитывающая больше двух миллиардов активных пользователей. На ней работают совершенно разные устройства, от «интернета вещей» и умных часов до телевизоров, ноутбуков и автомобилей, но чаще всего Android используют на смартфонах и планшетах.
Android — свободный и открытый проект. Большинство исходного кода (который можно найти на https://source.android.com) распространяется под свободной лицензией Apache 2.0.
Компания Android Inc. была основана в 2003 году и в 2005 году куплена Google. Публичная бета Android вышла в 2007 году, а первая стабильная версия — в 2008, с тех пор мажорные релизы выходят примерно раз в год. Последняя на момент написания стабильная версия Android — 7.1.2 Nougat.
Android is Linux
По поводу такой формулировки было много споров, так что сразу поясню, что именно я имею в виду под этой фразой: Android основан на ядре Linux, но значительно отличается от большинства других Linux-систем.
Среди исходной команды разработчиков Android был Robert Love, один из самых известных разработчиков ядра Linux, да и сейчас компания Google остаётся одним из самых активных контрибьюторов в ядро, поэтому неудивительно, что Android построен на основе Linux.
Как и в других Linux-системах, ядро Linux обеспечивает такие низкоуровневые вещи, как управление памятью, защиту данных, поддержку мультипроцессности и многопоточности. Но — за несколькими исключениями — вы не найдёте в Android других привычных компонентов GNU/Linux-систем: здесь нет ничего от проекта GNU, не используется X.Org, ни даже systemd. Все эти компоненты заменены аналогами, более приспособленными для использования в условиях ограниченной памяти, низкой скорости процессора и минимального потребления энергии — таким образом, Android больше похож на встраиваемую (embedded) Linux-систему, чем на GNU/Linux.
Другая причина того, что в Android не используется софт от GNU — известная политика «no GPL in userspace»:
We are sometimes asked why Apache Software License 2.0 is the preferred license for Android. For userspace (that is, non-kernel) software, we do in fact prefer ASL 2.0 (and similar licenses like BSD, MIT, etc.) over other licenses such as LGPL.
Android is about freedom and choice. The purpose of Android is promote openness in the mobile world, and we don’t believe it’s possible to predict or dictate all the uses to which people will want to put our software. So, while we encourage everyone to make devices that are open and modifiable, we don’t believe it is our place to force them to do so. Using LGPL libraries would often force them to do just that.
Само ядро Linux в Android тоже немного модифицировано: было добавлено несколько небольших компонентов, в том числе ashmem (anonymous shared memory), Binder driver (часть большого и важного фреймворка Binder, о котором я расскажу ниже), wakelocks (управление спящим режимом) и low memory killer. Исходно они представляли собой патчи к ядру, но их код был довольно быстро добавлен назад в upstream-ядро. Тем не менее, вы не найдёте их в «обычном линуксе»: большинство других дистрибутивов отключают эти компоненты при сборке.
В качестве libc (стандартной библиотеки языка C) в Android используется не GNU C library (glibc), а собственная минималистичная реализация под названием bionic, оптимизированная для встраиваемых (embedded) систем — она значительно быстрее, меньше и менее требовательна к памяти, чем glibc, которая обросла множеством слоёв совместимости.
В Android есть оболочка командной строки (shell) и множество стандартных для Unix-подобных систем команд/программ. Во встраиваемых системах для этого обычно используется пакет Busybox, реализующий функциональность многих команд в одном исполняемом файле; в Android используется его аналог под названием Toybox. Как и в «обычных» дистрибутивах Linux (и в отличие от встраиваемых систем), основным способом взаимодействия с системой является графический интерфейс, а не командная строка. Тем не менее, «добраться» до командной строки очень просто — достаточно запустить приложение-эмулятор терминала. По умолчанию он обычно не установлен, но его легко, например, скачать из Play Store (Terminal Emulator for Android, Material Terminal, Termux). Во многих «продвинутых» дистрибутивах Android — таких, как LineageOS (бывший CyanogenMod) — эмулятор терминала предустановлен.
Второй вариант — подключиться к Android-устройству с компьютера через Android Debug Bridge (adb). Это очень похоже на подключение через SSH:
Из других знакомых компонентов в Android используются библиотека FreeType (для отображения текста), графические API OpenGL ES, EGL и Vulkan, а также легковесная СУБД SQLite.
Кроме того, раньше для реализации WebView использовался браузерный движок WebKit, но начиная с версии 7.0 вместо этого используется установленное приложение Chrome (или другое; список приложений, которым разрешено выступать в качестве WebView provider, конфигурируется на этапе компиляции системы). Внутри себя Chrome тоже использует основанный на WebKit движок Blink, но в отличие от системной библиотеки, Chrome обновляется через Play Store — таким образом, все приложения, использующие WebView, автоматически получают последние улучшения и исправления уязвимостей.
It’s all about apps
Как легко заметить, использование Android принципиально отличается от использования «обычного Linux» — вам не нужно открывать и закрывать приложения, вы просто переключаетесь между ними, как будто все приложения запущены всегда. Действительно, одна из уникальных особенностей Android — в том, что приложения не контролируют напрямую процесс, в котором они запущены. Давайте поговорим об этом подробнее.
Основная единица в Unix-подобных системах — процесс. И низкоуровневые системные сервисы, и отдельные команды в shell’е, и графические приложения — это процессы. В большинстве случаев процесс представляет собой чёрный ящик для остальной системы — другие компоненты системы не знают и не заботятся о его состоянии. Процесс начинает выполняться с вызова функции main() (на самом деле _start ), и дальше реализует какую-то свою логику, взаимодействуя с остальной системой через системные вызовы и простейшее межпроцессное общение (IPC).
Поскольку Android тоже Unix-подобен, всё это верно и для него, но в то время как низкоуровневые части — на уровне Unix — оперируют понятием процесса, на более высоком уровне — уровне Android Framework — основной единицей является приложение. Приложение — не чёрный ящик: оно состоит из отдельных компонентов, хорошо известных остальной системе.
У приложений Android нет функции main() , нет одной точки входа. Вообще, Android максимально абстрагирует понятие приложение запущено как от пользователя, так и от разработчика. Конечно, процесс приложения нужно запускать и останавливать, но Android делает это автоматически (подробнее я расскажу об этом в следующих статьях). Разработчику предлагается реализовать несколько отдельных компонентов, каждый из которых обладает своим собственным жизненным циклом.
In Android, however, we explicitly decided we were not going to have a main() function, because we needed to give the platform more control over how an app runs. In particular, we wanted to build a system where the user never needed to think about starting and stopping apps, but rather the system took care of this for them… so the system had to have some more information about what is going on inside of each app, and be able to launch apps in various well-defined ways whenever it is needed even if it currently isn’t running.
Для реализации такой системы нужно, чтобы приложения имели возможность общатся друг с другом и с системными сервисами — другими словами, нужен очень продвинутый и быстрый механизм IPC.
Этот механизм — Binder.
Binder
Binder — это платформа для быстрого, удобного и объектно-ориентированного межпроцессного взаимодействия.
Разработка Binder началась в Be Inc. (для BeOS), затем он был портирован на Linux и открыт. Основной разработчик Binder, Dianne Hackborn, была и остаётся одним из основных разработчиков Android. За время разработки Android Binder был полностью переписан.
Binder работает не поверх System V IPC (которое даже не поддерживается в bionic), а использует свой небольшой модуль ядра, взаимодействие с которым из userspace происходит через системные вызовы (в основном ioctl ) на «виртуальном устройстве» /dev/binder . Со стороны userspace низкоуровневая работа с Binder, в том числе взаимодействие с /dev/binder и marshalling/unmarshalling данных, реализована в библиотеке libbinder.
Низкоуровневые части Binder оперируют в терминах объектов, которые могут пересылаться между процессами. При этом используется подсчёт ссылок (reference-counting) для автоматического освобождения неиспользуемых общих ресурсов и уведомление о завершении удалённого процесса (link-to-death) для освобождения ресурсов внутри процесса.
Высокоуровневые части Binder работают в терминах интерфейсов, сервисов и прокси-объектов. Описание интерфейса, предоставляемого программой другим программам, записывается на специальном языке AIDL (Android Interface Definition Language), внешне очень похожем на объявление интерфейсов в Java. По этому описанию автоматически генерируется настоящий Java-интерфейс, который потом может использоваться и клиентами, и самим сервисом. Кроме того, по .aidl -файлу автоматически генерируются два специальных класса: Proxy (для использования со стороны клиента) и Stub (со стороны сервиса), реализующие этот интерфейс.
Для Java-кода в процессе-клиенте прокси-объект выглядит как обычный Java-объект, который реализует наш интерфейс, и этот код может просто вызывать его методы. При этом сгенерированная реализация прокси-объекта автоматически сериализует переданные аргументы, общается с процессом-сервисом через libbinder, десериализует переданный назад результат вызова и возвращает его из Java-метода.
Stub работает наоборот: он принимает входящие вызовы через libbinder, десериализует аргументы, вызывает абстрактную реализацию метода, сериализует возвращаемое значение и передаёт его процессу-клиенту. Соответственно, для реализации сервиса программисту достаточно реализовать абстрактные методы в унаследованном от Stub классе.
Такая реализация Binder на уровне Java позволяет большинству кода использовать прокси-объект, вообще не задумываясь о том, что его функциональность реализована в другом процессе. Для обеспечения полной прозрачности Binder поддерживает вложенные и рекурсивные межпроцессные вызовы. Более того, использование Binder со стороны клиента выглядит совершенно одинаково, независимо от того, расположена ли реализация используемого сервиса в том же или в отдельном процессе.
Для того, чтобы разные процессы могли «найти» сервисы друг друга, в Android есть специальный сервис ServiceManager, который хранит, регистрирует и выдаёт токены всех остальных сервисов.
Binder широко используется в Android для реализации системных сервисов (например, пакетного менеджера и буфера обмена), но детали этого скрыты от разработчика приложений высокоуровневыми классами в Android Framework, такими как Activity, Intent и Context. Приложения могут также использовать Binder для предоставления друг другу собственных сервисов — например, приложение Google Play Services вообще не имеет собственного графического интерфейса для пользователя, но предоставляет разработчикам других приложений возможность пользоваться сервисами Google Play.
Подробнее про Binder можно узнать по этим ссылкам:
В следующей статье я расскажу о некоторых идеях, на которых построены высокоуровневые части Android, о нескольких его предшественниках и о базовых механизмах обеспечения безопасности.
Источник
Смартфон как системный блок, почему нет?
Linux Deploy от Антона Скшидлевского aka meefik
Современные смартфоны по CPU и объёму оперативной памяти практически сравнялись с настольными компьютерами и ноутбуками: не редкость 8 ГБ оперативной памяти и флэш-накопитель на 512 гигабайт. Например, в последнем айфоне 6-ядерный CPU и 4-ядерный графический процессор, причём CPU сделан по 5-нанометровому техпроцессу. Сейчас ни один CPU для настольных компьютеров не производится по такой технологии. То есть мы дошли до того, что технический прогресс сначала обслуживает смартфоны, потом ноутбуки, а до настольных компьютеров доходит в последнюю очередь.
Возникает вопрос, а почему бы не использовать смартфон как системный блок? Если у него такие мощные характеристики, такой продвинутый CPU и столько памяти, и он всё равно лежит в кармане, так пусть приносит пользу. Давайте добавим ему недостающие части — подключим большой монитор, клавиатуру и мышь.
Всё-таки удобнее вводить команды в Linux-консоли с клавиатуры, а не прицеливаться пальцами по экрану.
Содержание
«Режим десктопа» на смартфонах
Некоторые смартфоны не заменяют нормальный компьютер, а просто эмулируют десктопный режим.
Например, в ноябре 2019 года вышел складной Huawei Mate Xs стоимостью около $2600. Он работает под Android 9.0 Pie, но в режиме Desktop Mode его можно использовать как системный блок настольного компьютера.
В этом режиме к смартфону подключается внешний дисплей/телевизор и клавиатура. Операции на телефоне не влияют на то, что отображается на внешнем дисплее. Например, вы можете редактировать документ на внешнем дисплее во время разговора по телефону. Уведомления, звонки или сообщения на телефон сигнализируют на внешний дисплей в виде красной точки.
Для системного блока характеристики вполне нормальные: 8 ГБ оперативной памяти, процессор Kirin 980, модем Balong 5000 5G. Оба чипа производства Huawei. Компания давно заявляла, что её процессоры вдвое превзойдут по производительности чипы конкурентов. В данном случае конкурентами являются Qualcomm Snapdragon и Samsung Exynos. Из других характеристик: 512 ГБ флэш-памяти, батареи 4500 мАч (общая ёмкость двух аккумуляторов), функция быстрой 55-ваттной зарядки до 85% за 30 минут.
Аналогичный десктопный режим (Desktop Mode) есть и на других смартфонах, в том числе Galaxy S10, Galaxy Note 9, Huawei P20, P20 Pro, Mate 10/10 Pro, Mate 20 X, P30, Honor Magic 2 (десктопный режим у Huawei) и другие.
Для подключения телевизора выпускаются переходники с USB-C на HDMI.
Адаптер USB-C/HDMI
Есть вариант беспроводного подключения смартфона к ТВ по стандартному протоколу Miracast, если телевизор его поддерживает.
Например, у Huawei в таком режиме экран смартфона работает в качестве тачпада или мышки для управления курсором на экране телевизора.
Обычные клавиатура и мышь подключаются по Bluetooth.
Самое главное, что в версии Android Q (Android 10) десктопный режим добавили в качестве стандартной функции, причём с поддержкой сторонних лаунчеров (Nova, Apex и др.).
Если раньше это была «элитная» функция в топовых моделях, то в самое ближайшее время она станет обычной для многих современных смартфонов.
Десктопный режим в Android Q
Но всё-таки «режим десктопа» — это не полноценный компьютер, а просто некая эмуляция. Да, есть внешний монитор, но мы по-прежнему работаем с Android-приложениями в этой операционной системе, просто проецируем картинку на большой экран.
Для нормального системного блока, конечно, нужна нормальная операционная система, то есть Linux.
Linux-смартфоны
На рынке есть несколько смартфонов, которые изначально проектируются с расчётом на установку операционной системы Linux и работу в десктопном режиме. Например, компания Canonical планировала выпускать собственный Ubuntu Phone на мобильной платформе Ubuntu Touch, но не получилось. Сама платформа была создана и предустанавливалась на некоторые смартфоны, но в 2017 году Марк Шаттлворт объявил о прекращении проекта. Дальнейшую разработку взяло на себя сообщество UBports. Первое обновление вышло 11.01.2019 (Ubuntu Touch OTA-7) для всех официально поддерживаемых смартфонов и планшетов, в числе которых: OnePlus One, Fairphone 2, Nexus 4, Nexus 5, Nexus 7 2013, Meizu MX4/PRO 5, BQ Aquaris E5/E4.5/M10. Сейчас в продаже можно найти некоторые из перечисленных моделей, которые изначально работают под UBports.
PinePhone
Один из самых известных настоящих Linux-смартфонов, которые изначально поставляются с Linux на борту, называется PinePhone. Его выпускает компания Pine64, производитель ноутбуков и одноплатных компьютеров-конкурентов Raspberry Pi.
Клавиатура, HDMI-монитор и зарядка подключены к смартфону через докинг-станцию USB-C (в центре)
PinePhone дешёвый ($150), но cо средними техническими характеристиками: чипсет Allwinner A64 с четырёхъядерным процессором ARM Cortex A-53 на 1,2 ГГц и графическим видеоускорителем Mali-400MP2, 2 ГБ оперативной памяти, 16 ГБ флэш-хранилища. Впрочем, в июле 2020 года была анонсирована продвинутая версия Community Edition: Manjaro With Convergence Package с 3/32 ГБ оперативной/флэш-памяти, ОС Manjaro Linux и докинговой станцией в комплекте за $200.
Такой смартфон можно использовать как портативную рабочую станцию системного администратора со всем необходимым программным обеспечением. То есть в любом месте вы подключаете монитор, клавиатуру — и запускаете стандартные рабочие инструменты в консоли Linux. С десктопа можно подключаться к интернету через 3G/4G телефона.
На смартфоне установлена postmarketOS на базе Alpine Linux — известный дистрибутив Linux для смартфонов.
Кроме postmarketOS, можно установить Ubuntu Touch, Sailfish OS и Plasma Mobile.
В октябре 2020 года состоялся релиз Fedora Linux, которую тоже можно установить на PinePhone.
Librem 5
Другой известный Linux-смартфон — это Purism Librem 5 на Debian Linux.
Смартфон Librem 5 работает в роли настольного компьютера с монитором, клавиатурой и мышью
Librem 5 работает на PureOS, полностью свободной опенсорсной операционной системе, которая не имеет отношения ни к iOS, ни к Android — это чистый Linux (почему это важно).
PureOS на основе GNU/Linux — стандартная операционная система для всех продуктов компании Purism, в том числе ноутбуков. Другими словами, в смартфоне реализована стандартная функциональность десктопной операционной системы, которая не отличается от такой же системы в ноутбуке The Road Warrior. Например, в смартфоне работает не мобильная версия Firefox, а самый обычный Firefox, как и на стационарном компьютере. То есть Librem 5 — фактически и есть стационарный компьютер, просто маленького размера. Хотя цена немного кусается: $749.
Технические характеристики: восьмиядерный процессор NXP i.MX 8M (Cortex A53) на 1,5 ГГц, графический ускоритель Vivante GC7000Lite GPU, экран 5.7″ (IPS TFT 720×1440), оперативная память 3 ГБ LPDDR4-3200, хранилище 32 ГБ eMMC, батарея 3500 мАч (сменная).
Телефон спроектирован по модульному принципу, чтобы облегчить ремонт, замену вышедших из строя комплектующих и апгрейд.
В качестве источника вдохновения разработчики называют универсальную операционную систему Debian, которая тоже портирована практически на все платформы и архитектуры CPU. Если посмотреть абстрактно на существующий зоопарк гаджетов, то действительно непонятно, зачем нужно так много совершенно несовместимых операционных систем — iOS, Android, Windows и так далее. Гораздо удобнее, когда абсолютно все устройства будут работать на единой свободной и открытой системе. Тогда везде можно запускать одни и те же приложения и у нас больше не возникнет вопросов, как использовать смартфон в качестве системного блока, потому что технически они не будут отличаться друг от друга на уровне операционной системы.
Зашифрованное хранилище паролей Password Safe одинаково работает на всех устройствах PureOS/Debian
Установка Linux на смартфон
С помощью специальных Linux-дистрибутивов отдельные смартфоны можно превратить в некое подобие компьютера.
Linux можно поставить двумя способами:
- Установка на «голое» железо, как postmarketOS.
- Установка утилиты chroot для смены рутовой директории текущего процесса, а уже затем Linux как второй системы.
postmarketOS
Опенсорсная система postmarketOS на базе Alpine Linux — один из дистрибутивов Linux, который разрабатывается специально для установки на смартфоны.
В настоящее время гарантируется нормальная работа на 11 моделях:
- Arrow DragonBoard 410c
- ASUS MeMO Pad 7 (ME176C(X))
- BQ Aquaris X5
- Motorola Moto G4 Play
- Nokia N900
- PINE64 PinePhone
- Purism Librem 5
- Samsung Galaxy A3 (2015)
- Samsung Galaxy A5 (2015)
- Samsung Galaxy S4 Mini Value Edition
- Wileyfox Swift
Частичная функциональность заявлена на более 200 устройствах, в том числе многих Android-смартфонах и планшетах, очках Google Glass, умных часах разных марок и iPhone 7 (после того, как хакерская группа Corellium портировала Linux на iPhone).
Кроме postmarketOS, можно упомянуть опенсорсные мобильные системы Sailfish OS и LuneOS на ядре Linux, а также LineageOS (бывшая CyanogenMod) и Replicant на базе Android.
Установка через chroot
Вот список приложений и скриптов для установки chroot на Android с последующей инсталляцией Linux:
Linux Deploy
Linux Deploy — опенсорсное приложение с открытым исходным кодом для простой и быстрой установки GNU/Linux на Android.
Приложение создаёт образ диска на флеш-карте, монтирует его и устанавливает туда дистрибутив ОС. Приложения из новой системы запускаются в chroot окружении параллельно со штатной работой платформы Android. Установка дистрибутива производится с официальных зеркал в интернете. Для работы нужны рутовые привилегии.
Во время установки программа сама настраивает рабочее окружение, которое включает в себя базовую систему, сервер SSH, сервер VNC и графическую среду на выбор. Также через интерфейс программы можно управлять параметрами сервера SSH и VNC.
Установка новой ОС занимает около 15 минут. Поддерживаемые дистрибутивы: Alpine, Debian, Ubuntu, Kali, Arch, Fedora, CentOS, Slackware, Docker, RootFS (tgz, tbz2, txz). Поддерживаемые архитектуры: ARM, ARM64, x86, x86_64, режим эмуляции (ARM
x86). Способы подключения к контейнеру: CLI, SSH, VNC, X-сервер, фреймбуфер. Интерфейсы управления (CLI): Android-терминал (или adb), telnet, веб-интерфейс (терминал через браузер). Окружение рабочего стола: XTerm, LXDE, Xfce, MATE, другое (ручная настройка). Инструкции и руководства см. здесь.
Termux
Termux — эмулятор консоли и Linux-окружение под Android, которое устанавливается как обычное приложение под Android и не требует рутового доступа.
Пожалуй, это самый простой способ запустить Linux-инструменты на Android: терминалы Bash, fish или Zsh, текстовые редакторы nano, Emacs и Vim, привычные grep, curl и rsync. Поддерживается пакетный менеджер APT, так что на телефон можно поставить практически любой софт: последние версии Perl, Python, Ruby и Node.js, что угодно.
Подключаем по Bluetooth клавиатуру и дисплей — и можно полноценно работать почти как за обычным Linux-компьютером. Termux поддерживает стандартные сочетания клавиш и работу с мышью.
Это практически идеальный терминал, да ещё с пакетным менеджером.
Подводя итог, если мы хотим использовать как полноценный компьютер под Linux, то у нас есть три основных варианта:
- Купить настоящий Linux-смартфон: PinePhone, Librem 5 или модель на UBports
- Накатить Linux-дистрибутив: postmarketOS или любой дистрибутив через Linux Deploy
- Установить Linux-окружение практически на любой смартфон (Termux)
Хотя есть и другие варианты установки Linux, но это более-менее основные.
Затем остаётся лишь подключить внешний дисплей и/или клавиатуру.
С другой стороны, несколько дней назад вышла Ubuntu 20.10 (Groovy Gorilla): великолепная система с поддержкой Raspberry Pi. Согласно опросу на Хабре, Ubuntu — это самый популярный дистрибутив Linux у нашей аудитории, и теперь он впервые официально поддерживает Raspberry Pi. Получается, что отличное десктоп-окружение работает на одноплатнике за $35, который по техническим характеристикам практически не уступает смартфонам от $150 до $2600, парадокс.
На правах рекламы
Закажи и сразу работай! Создание VDS любой конфигурации и с любой операционной системой в течение минуты. Максимальная конфигурация позволит оторваться на полную — 128 ядер CPU, 512 ГБ RAM, 4000 ГБ NVMe. Эпичненько 🙂
Источник
