Android imageproxy to bitmap

Преобразование ImageProxy в растровое изображение

Итак, я хотел изучить новый Google Camera API — CameraX . Что я хочу сделать, так это снимать изображение с камеры и каждую секунду передавать его в функцию, которая принимает растровое изображение для целей машинного обучения.

Я прочитал документацию по Camera X Image Analyzer:

Вариант использования анализа изображения предоставляет вашему приложению доступное для процессора изображение для выполнения обработки изображения, компьютерного зрения или вывода из машинного обучения. Приложение реализует метод Analyzer, который запускается в каждом кадре.

. что в основном то, что мне нужно. Итак, я реализовал этот анализатор изображений следующим образом:

Я получаю image: ImageProxy . Как я могу передать это ImageProxy в Bitmap ?

Я пытался решить это так:

Но он возвращает null — потому что decodeByteArray не получает действительные (?) Байты битовой карты. Любые идеи?

4 ответа

Вам нужно проверить image.format , чтобы узнать, является ли он ImageFormat.YUV_420_888 . Если это так, то вы можете использовать это расширение для преобразования изображения в растровое изображение:

Это работает для меня.

Мне нужен был этот код Майк A в Java, поэтому я его преобразовал Если кто-то захочет этот код из Mike A в Java, вот оно:

Вы можете сначала преобразовать ImageProxy в изображение в Java, используя

И тогда вы можете конвертировать изображение в растровое изображение, используя верхнюю функцию, преобразованную в Java

Права на этот ответ сохраняются за Майком А

Есть более простое решение. Вы просто можете получить Bitmap из TextureView без конвертации. Дополнительная информация в документации.

Вдохновленный ответом @ mike-a

Это приведет вас прямо к серой матричной земле, если вы собираетесь использовать OpenCV, а цвета для вас больше не имеют значения.

Для повышения производительности вы можете переместить инициализацию Mat снаружи, если вы делаете это в каждом кадре.

Источник

Ahwar / Convert Android ImageProxy to Bitmap in Java.java

This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters

private Bitmap toBitmap( Image image) <

Image . Plane [] planes = image . getPlanes();

ByteBuffer yBuffer = planes[ 0 ] . getBuffer();

ByteBuffer uBuffer = planes[ 1 ] . getBuffer();

ByteBuffer vBuffer = planes[ 2 ] . getBuffer();

int ySize = yBuffer . remaining();

int uSize = uBuffer . remaining();

int vSize = vBuffer . remaining();

byte [] nv21 = new byte [ySize + uSize + vSize];

// U and V are swapped

yBuffer . get(nv21, 0 , ySize);

vBuffer . get(nv21, ySize, vSize);

uBuffer . get(nv21, ySize + vSize, uSize);

YuvImage yuvImage = new YuvImage (nv21, ImageFormat . NV21 , image . getWidth(), image . getHeight(), null );

ByteArrayOutputStream out = new ByteArrayOutputStream ();

yuvImage . compressToJpeg( new Rect ( 0 , 0 , yuvImage . getWidth(), yuvImage . getHeight()), 75 , out);

byte [] imageBytes = out . toByteArray();

return BitmapFactory . decodeByteArray(imageBytes, 0 , imageBytes . length);

>

You can’t perform that action at this time.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.

Источник

moshimore / MainActivity.java

This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters

import androidx.appcompat.app.AppCompatActivity ;

import androidx.camera.core.* ;

import android.graphics.Bitmap ;

import android.graphics.BitmapFactory ;

import android.graphics.Matrix ;

import android.os.Bundle ;

import android.util.Log ;

import android.util.Size ;

import android.view.Surface ;

import android.view.TextureView ;

import android.view.View ;

import android.view.ViewGroup ;

import android.widget.ImageButton ;

import android.widget.ImageView ;

import java.nio.ByteBuffer ;

public class MainActivity extends AppCompatActivity

<

private TextureView textureView;

@Override

protected void onCreate ( Bundle savedInstanceState )

<

super . onCreate(savedInstanceState);

setContentView( R . layout . activity_main);

textureView = findViewById( R . id . textureView);

textureView . post(( Runnable )( new Runnable ()

<

public final void run()

<

startCamera();

>

>));

textureView . addOnLayoutChangeListener( new View . OnLayoutChangeListener ()

<

@Override

public void onLayoutChange( View view, int left, int top, int right, int bottom, int oldLeft, int oldTop, int oldRight, int oldBottom)

<

updateTransform();

>

>);

>

private void startCamera ()

<

PreviewConfig . Builder previewConfig = new PreviewConfig . Builder ();

Preview preview = new Preview (previewConfig . build());

preview . setOnPreviewOutputUpdateListener( new Preview . OnPreviewOutputUpdateListener ()

<

@Override

public void onUpdated( Preview . PreviewOutput output)

<

ViewGroup parent = ( ViewGroup ) textureView . getParent();

parent . removeView(textureView);

parent . addView(textureView, 0 );

textureView . setSurfaceTexture(output . getSurfaceTexture());

updateTransform();

>

>);

ImageCaptureConfig . Builder imageCaptureConfig = new ImageCaptureConfig . Builder ();

final ImageCapture imageCapture = new ImageCapture (imageCaptureConfig . build());

ImageButton button = findViewById( R . id . imageButton);

button . setOnClickListener( new View . OnClickListener ()

<

@Override

public void onClick( View view)

<

imageCapture . takePicture( new ImageCapture . OnImageCapturedListener ()

<

@Override

public void onCaptureSuccess( ImageProxy image, int rotationDegrees)

<

ImageView imageView = findViewById( R . id . imageView);

imageView . setImageBitmap(imageProxyToBitmap(image));

imageView . setRotation(rotationDegrees);

image . close();

>

>);

>

>);

CameraX . bindToLifecycle( this , preview, imageCapture);

>

private void updateTransform ()

<

Matrix matrix = new Matrix ();

float centerX = textureView . getWidth() / 2f ;

float centerY = textureView . getHeight() / 2f ;

float rotationDegrees = 0f ;

switch (textureView . getDisplay() . getRotation())

<

case Surface . ROTATION_0 :

rotationDegrees = 0f ;

break ;

case Surface . ROTATION_90 :

rotationDegrees = 90f ;

break ;

case Surface . ROTATION_180 :

rotationDegrees = 180f ;

break ;

case Surface . ROTATION_270 :

rotationDegrees = 270f ;

break ;

default :

return ;

>

matrix . postRotate( — rotationDegrees, centerX, centerY);

textureView . setTransform(matrix);

>

private Bitmap imageProxyToBitmap ( ImageProxy image )

<

ImageProxy . PlaneProxy planeProxy = image . getPlanes()[ 0 ];

ByteBuffer buffer = planeProxy . getBuffer();

byte [] bytes = new byte [buffer . remaining()];

buffer . get(bytes);

return BitmapFactory . decodeByteArray(bytes, 0 , bytes . length);

>

>

You can’t perform that action at this time.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.

Источник

Класс Bitmap

Вам часто придётся иметь дело с изображениями котов, которые хранятся в файлах JPG, PNG, GIF. По сути, любое изображение, которое мы загружаем из графического файла, является набором цветных точек (пикселей). А информацию о каждой точке можно сохранить в битах. Отсюда и название — карта битов или по-буржуйски — bitmap. У нас иногда используется термин растр или растровое изображение. В Android есть специальный класс android.graphics.Bitmap для работы с подобными картинками.

Существуют готовые растровые изображения в файлах, о которых поговорим ниже. А чтобы создать с нуля объект Bitmap программным способом, нужно вызвать метод createBitmap():

В результате получится прямоугольник с заданными размерами в пикселях (первые два параметра). Третий параметр отвечает за информацию о прозрачности и качестве цвета (в конце статьи есть примеры).

Очень часто нужно знать размеры изображения. Чтобы узнать его ширину и высоту в пикселах, используйте соответствующие методы:

Bitmap.Config

Кроме размеров, желательно знать цветовую схему. У класса Bitmap есть метод getConfig(), который возвращает перечисление Bitmap.Config.

Всего существует несколько элементов перечисления.

• Bitmap.Config ALPHA_8 — каждый пиксель содержит в себе информацию только о прозрачности, о цвете здесь ничего нет. Каждый пиксель требует 8 бит (1 байт) памяти.
• Bitmap.Config ARGB_4444 — устаревшая конфигурация, начиная с API 13. Аналог ARGB_8888, только каждому ARGB-компоненту отведено не по 8, а по 4 бита. Соответственно пиксель весит 16 бит (2 байта). Рекомендуется использовать ARGB_8888
• Bitmap.Config ARGB_8888 — на каждый из 4-х ARGB-компонентов пикселя (альфа, красный, зеленый, голубой) выделяется по 8 бит (1 байт). Каждый пиксель занимает 4 байта. Обладает наивысшим качеством для картинки.
• Bitmap.Config RGB_565 — красному и и синему компоненту выделено по 5 бит (32 различных значений), а зелёному — шесть бит (64 возможных значений). Картинка с такой конфигурацией может иметь артефакты. Каждый пиксель будет занимать 16 бит или 2 байта. Конфигурация не хранит информацию о прозрачности. Можно использовать в тех случаях, когда рисунки не требуют прозрачности и высокого качества.

Конфигурация RGB_565 была очень популярна на старых устройствах. С увеличением памяти и мощности процессоров данная конфигурация теряет актуальность.

В большинстве случаев вы можете использовать ARGB_8888.

Получив объект в своё распоряжение, вы можете управлять каждой его точкой. Например, закрасить его синим цветом.

Чтобы закрасить отдельную точку, используйте метод setPixel() (парный ему метод getPixel позволит узнать информацию о точке). Закрасим красной точкой центр синего прямоугольника из предыдущего примера — имитация следа от лазерной указки. Котам понравится.

В нашем случае мы создали растровое изображение самостоятельно и можем на него воздействовать. Но если вы загрузите готовое изображение из файла и попытаетесь добавить к нему красную точку, то можете получить крах программы. Изображение может быть неизменяемым, что-то типа «Только для чтения», помните об этом.

Созданный нами цветной прямоугольник и управление отдельными точками не позволят вам нарисовать фигуру, не говоря уже о полноценном рисунке. Класс Bitmap не имеет своих методов для рисования, для этого есть метод Canvas (Холст), на котором вы можете размещать объекты Bitmap.

Когда вы размещали в разметке активности компонент ImageView и присваивали атрибуту android:src ресурс из папок drawable-xxx, то система автоматически выводила изображение на экран.

Если нужно программно получить доступ к битовой карте (изображению) из ресурса, то используется такой код:

Обратный процес конвертации из Bitmap в Drawable:

Изображение можно сохранить, например, на SD-карту в виде файла (кусок кода):

Каждая точка изображения представлена в виде 4-байтного целого числа. Сначала идёт байт прозрачности — значение 0 соответствует полной прозрачности, а 255 говорит о полной непрозрачности. Промежуточные значения позволяют делать полупрозрачные изображения. Этим искусством в совершенстве владел чеширский кот, который умело управлял всеми точками своего тела и растворялся в пространстве, только улыбка кота долго ещё висела в воздухе (что-то я отвлёкся).

Следующие три байта отвечают за красный, зелёный и синий цвет, которые работают по такому же принципу. Т.е. значение 255 соответствует насыщенному красному цвету и т.д.

Так как любое изображение кота — это набор точек, то с помощью метода getPixels() мы можем получить массив этих точек, сделать с этой точкой что-нибудь нехорошее (поменять прозрачность или цвет), а потом с помощью родственного метода setPixels() записать новые данные обратно в изображение. Так можно перекрасить чёрного кота в белого и наоборот. Если вам нужна конкретная точка на изображении, то используйте методы getPixel()/setPixel(). Подобный подход используется во многих графических фильтрах. Учтите, что операция по замене каждой точки в большом изображении занимает много времени. Желательно проводить подобные операции в отдельном потоке.

На этом базовая часть знакомства с битовой картой закончена. Теперь подробнее.

Учитывая ограниченные возможности памяти у мобильных устройств, следует быть осторожным при использовании объекта Bitmap во избежание утечки памяти. Не забывайте освобождать ресурсы при помощи метода recycle(), если вы в них не нуждаетесь. Например:

Почему это важно? Если не задумываться о ресурсах памяти, то можете получить ошибку OutOfMemoryError. На каждое приложение выделяется ограниченное количество памяти (heap size), разное в зависимости от устройства. Например, 16мб, 24мб и выше. Современные устройства как правило имеют 24мб и выше, однако это не так много, если ваше приложение злоупотребляет графическими файлами.

Bitmap на каждый пиксель тратит в общем случае 2 или 4 байта (зависит от битности изображения – 16 бит RGB_555 или 32 бита ARGB_888). Можно посчитать, сколько тратится ресурсов на Bitmap, содержащий изображение, снятое на 5-мегапиксельную камеру.

При соотношении сторон 4:3 получится изображение со сторонами 2583 х 1936. В конфигурации RGB_555 объект Bitmap займёт 2592 * 1936 * 2 = около 10Мб, а в ARGB_888 (режим по умолчанию) в 2 раза больше – чуть более 19Мб.

Во избежание проблем с памятью прибегают к помощи методов decodeXXX() класса BitmapFactory.

Если установить атрибут largeHeap в манифесте, то приложению будет выделен дополнительный блок памяти.

Ещё одна потенциальная проблема. У вас есть Bitmap и присвоили данный объект кому-то. Затем объект был удалён из памяти, а ссылка на него осталась. Получите крах приложения с ошибкой типа «Exception on Bitmap, throwIfRecycled».

Возможно, лучше сделать копию.

Получить Bitmap из ImageView

Если в ImageView имеется изображение, то получить Bitmap можно следующим образом:

Но с этим способом нужно быть осторожным. Например, если в ImageView используются элементы LayerDrawable, то возникнет ошибка. Можно попробовать такой вариант.

Более сложный вариант, но и более надёжный.

Изменение размеров — метод createScaledBitmap()

С помощью метода createScaledBitmap() можно изменить размер изображения.

Будем тренироваться на кошках. Добавим картинку в ресурсы (res/drawable). В разметку добавим два элемента ImageView

В последнем параметре у метода идёт булева переменная, отвечающая за сглаживание пикселей. Обычно его применяют, когда маленькое изображение увеличивают в размерах, чтобы улучшить качество картинки. При уменьшении, как правило, в этом нет такой необходимости.

Кадрирование — метод createBitmap()

Существует несколько перегруженных версий метода Bitmap.createBitmap(), с помощью которых можно скопировать участок изображения.

• сreateBitmap(Bitmap source, int x, int y, int width, int height, Matrix m, boolean filter) — Returns an immutable bitmap from subset of the source bitmap, transformed by the optional matrix.
• createBitmap(int width, int height, Bitmap.Config config) — Returns a mutable bitmap with the specified width and height.
• createBitmap(Bitmap source, int x, int y, int width, int height) — Returns an immutable bitmap from the specified subset of the source bitmap.
• createBitmap(int[] colors, int offset, int stride, int width, int height, Bitmap.Config config) — Returns a immutable bitmap with the specified width and height, with each pixel value set to the corresponding value in the colors array.
• createBitmap(Bitmap src) — Returns an immutable bitmap from the source bitmap.
• createBitmap(int[] colors, int width, int height, Bitmap.Config config) — Returns a immutable bitmap with the specified width and height, with each pixel value set to the corresponding value in the colors array.

Описываемый ниже код не является оптимальным и очень ресурсоёмкий. На больших изображениях код будет сильно тормозить. Приводится для ознакомления. Чтобы вывести часть картинки, можно сначала создать нужный Bitmap с заданными размерами, занести в массив каждый пиксель исходного изображения, а затем этот же массив вернуть обратно. Но, так как мы уже задали другие размеры, то часть пикселей не выведутся.

По аналогии мы можем вывести и нижнюю правую часть изображения:

Немного модифицировав код, мы можем кадрировать центр исходного изображения. Предварительно придётся проделать несколько несложных вычислений.

Скриншот приводить не буду, проверьте самостоятельно.

Меняем цвета каждого пикселя

Через метод getPixels() мы можем получить массив всех пикселей растра, а затем в цикле заменить определённым образом цвета в пикселе и получить перекрашенную картинку. Для примера возьмем стандартный значок приложения, поместим его в ImageView, извлечём информацию из значка при помощи метода decodeResource(), применим собственные методы замены цвета и полученный результат поместим в другие ImageView:

Код для класса активности:

На скриншоте представлен оригинальный значок и три варианта замены цветов.

Ещё один пример, где также в цикле меняем цвет каждого пикселя Green->Blue, Red->Green, Blue->Red (добавьте на экран два ImageView):

Конвертируем Bitmap в байтовый массив и обратно

Сжимаем картинку

В предыдущем примере вызывался метод compress(). Несколько слов о нём. В первом аргументе передаём формат изображения, поддерживаются форматы JPEG, PNG, WEBP. Во втором аргументе указываем степень сжатия от 0 до 100, 0 — для получения малого размера файла, 100 — максимальное качество. Формат PNG не поддерживает сжатие с потерей качества и будет игнорировать данное значение. В третьем аргументе указываем файловый поток.

Как раскодировать Bitmap из Base64

Если изображение передаётся в текстовом виде через Base64-строку, то воспользуйтесь методом, позволяющим получить картинку из этой строки:

Вычисляем средние значения цветов

Дополнительные материалы

На StackOverFlow есть интересный пример программной генерации цветных квадратов с первой буквой слова. В пример квадрат используется как значок к приложению. Также популярен этот приём в списках. Квадраты также заменять кружочками.

Источник