- Home
- Skills
- Mobile Development
- android accessibility engineering
Works with the AI Agents you already use
android accessibility engineering
Audit and engineer accessible Android communication features in Jetpack Compose with a focus on speech and captions.
$9
android accessibility engineering
Example session with this skill installed
Use the android-accessibility-engineering skill to audit this Kotlin/Jetpack Compose prototype for face-to-face communication.
Review the five provided files: AndroidManifest.xml, SpeechSession.kt, CaptionPanel.kt, RhythmSource.kt, and README.md.
Do not modify files or use network access.
Identify prioritized accessibility issues with source-code evidence, recommend minimal fixes, explain what cannot be verified, and provide concrete regression and acceptance scenarios.
Also identify product claims that incorrectly describe simulated or unverified capabilities.
Respond in Spanish.
- Read your context and instructions
- Compiled the android accessibility engineering
VSK-001 — Real Agent Demonstration
This is a source-code audit of a synthetic Android communication prototype. No Android build or device tests were performed.
Complete Agent Response
Revisión del prototipo Mesa
Modo AUDIT; evidencia de código únicamente. Se revisaron los cinco archivos de fixture y las referencias pertinentes de android-accessibility-engineering. No se modificó el prototipo ni se usó red. No hay Gradle, dependencias resueltas, adaptador Android ni proyecto compilable; ningún hallazgo se presenta como una prueba ejecutada en Android.
La prioridad es hacer que Detener/salir controle toda captura pendiente y que el texto esencial se actualice y pueda leerse completo. También hay que corregir las afirmaciones de reconocimiento offline y de mediciones musicales reales. No se demuestra una pérdida grave de privacidad que justifique P0.
Problemas prioritarios y reparación mínima
1. P1 — Salir o detener no impide un reinicio pendiente; tampoco se aíslan resultados antiguos
Evidencia: en
SpeechSession.kt:23–41, onError comprueba running al programar, pero la tarea diferida ejecuta voice.start() sin volver a comprobarlo. La secuencia deducible del código es start → onError → onLeave → ejecutar tarea de 300 ms: vuelve a llamarse a start en el puerto aunque running ya sea falso. No es prueba de que un dispositivo concreto vuelva a abrir el micrófono; sí demuestra que el controlador lo solicita. onPartial y onFinal aceptan cualquier evento, incluso después de salir o entrar en una sesión nueva. start() permite llamadas repetidas sin esperar la terminación anterior.
onLeave() sólo llama a stopListening(). El
README:3 confirma que pausa/segundo plano no está conectado. La persona puede perder el control de la sesión o ver texto antiguo sobre una conversación nueva. El efecto preciso sobre el micrófono depende del adaptador y proveedor ausentes.
Cambio mínimo recomendado: conservar el propietario actual, separando intención de continuar y fase del proveedor. Invalidar la continuación y los trabajos pendientes antes de terminar; cancelar tareas y comprobar de nuevo permiso, visibilidad, identidad y presupuesto al ejecutarlas. Identificar cada petición en su listener y rechazar eventos invalidados; leer la generación actual al recibir el callback no identifica su origen. Evitar inicios duplicados o mientras se espera un resultado terminal. El puerto/adaptador debe transportar esa identidad o aislar instancias cuando no pueda atribuir callbacks con seguridad.
Definir el contrato de
Detener: si significa terminar la frase, usar stopListening(), mostrar «Finalizando», aceptar como máximo su resultado terminal y esperar antes de otro inicio. Para salir/cancelar o pasar a segundo plano bajo una política de captura sólo en primer plano, invalidar y usar cancel(); liberar con destroy() cuando termine la vida del propietario. No son operaciones intercambiables. Conectar navegación y ciclo de vida; hacer la limpieza idempotente. No se puede atribuir una fuga definitiva sin inspeccionar el propietario del adaptador.
code se ignora y todos los errores reintentan indefinidamente cada 300 ms. Distinguir errores permanentes de silencio/no coincidencia; por ejemplo, permitir hasta dos reintentos consecutivos sólo en un modo continuo explícito, con recuperación visible al agotarse. La ausencia de callback terminal necesita una salida acotada que invalide y cierre la petición antes de recrearla. Verificación: V1–V4.
2. P1 — Las actualizaciones de subtítulos no notifican a Compose
Evidencia: running y text son propiedades mutables ordinarias en
SpeechSession.kt:18–30.
CaptionPanel.kt:22–23 las lee directamente, sin estado observable ni suscripción. Esas asignaciones por sí solas no disparan recomposición. Una recomposición por otra causa podría mostrar el último valor; eso no establece un flujo fiable de subtítulos.
La lectura visual es la comunicación principal según README:7: que el texto quede viejo bloquea esa ruta.
Cambio mínimo recomendado: hacer observable el estado que consume la pantalla, por ejemplo con mutableStateOf en este propietario; no hace falta introducir una arquitectura nueva. Si el proyecto real ya usa un flujo observable, integrar esa convención y su colección con ciclo de vida. Verificar en el adaptador la serialización de eventos y las llamadas del reconocedor en el hilo exigido por Android; no se puede concluir que hoy corran en un hilo incorrecto. Verificación: V5.
3. P1 — La única salida textual oculta parte del mensaje
Evidencia:
CaptionPanel.kt:23 limita el subtítulo a una línea con elipsis. No hay otra vista para recuperar el contenido completo. Una condición o negación al final puede quedar fuera de la comunicación presencial; el umbral exacto depende de pantalla y fuente.
Cambio mínimo recomendado: permitir varias líneas y acceso al contenido íntegro con desplazamiento vertical cuando sea necesario, manteniendo Detener y salida accesibles. La elección de altura debe comprobarse con texto grande y pantalla estrecha. Verificación: V6.
4. P1 — Si se deniega o no funciona la voz, no queda una ruta de comunicación
Evidencia:
SpeechSession.kt:23–24 retorna silenciosamente sin permiso; onError tampoco publica una explicación. La pantalla sólo muestra «Voz». El
README:7 declara que el editor es futuro y no existe flujo escrito. El permiso del
manifest:2 declara la capacidad; no prueba una concesión en ejecución ni una recuperación de la denegación.
Cambio mínimo recomendado: exponer estados de permiso denegado y servicio/idioma/modelo no disponible, con acción de recuperación y sin reintentos permanentes. Revalidar el permiso en cada inicio efectivo. El adaptador ausente debe comprobar disponibilidad antes de iniciar. No puede afirmarse que la solicitud de permiso falte en toda una app no entregada.
Como no hay editor existente que exponer, recomendar un seguimiento de producto acotado: campo para escribir y acción para mostrar el mensaje en texto grande en esta pantalla, utilizable sin micrófono ni reconocedor. Es una funcionalidad pendiente, no una capacidad actual ni un cambio implementado en esta revisión. Verificación: V4 y V7.
5. P2 — Un parcial nuevo reemplaza el texto final sin política de conservación
Evidencia:
SpeechSession.kt:29–30 escribe parciales y finales sobre la misma variable. Tras un final, el siguiente parcial borra visualmente la frase anterior; tampoco se distingue una hipótesis revisable de una frase finalizada. Esto dificulta terminar de leer y seguir los turnos.
Cambio mínimo recomendado: separar borrador y texto confirmado. Definir si se conserva la última frase o un historial; no hace falta exigir un historial completo. Mantener lo confirmado durante el siguiente borrador según esa política, reemplazar el borrador al revisarse y confirmar una sola vez por identidad de emisión. Ofrecer un borrado deliberado y explicar que el reconocimiento puede contener errores. No deduplicar por igualdad del texto: dos turnos pueden repetir la misma frase. Verificación: V8.
6. P2 — El estado de voz sólo cambia de color y confunde intención con actividad
Evidencia:
CaptionPanel.kt:22 siempre dice «Voz»; verde/gris contiene la distinción. Además,
SpeechSession.kt:25–33 mantiene running = true después de un final o error. Aun corrigiendo la recomposición, el indicador no describe de forma fiable si escucha, procesa, espera o falló.
Cambio mínimo recomendado: derivar textos como «Iniciando», «Escuchando», «Procesando», «Finalizando», «Detenido» y el error concreto de la fase real. El color puede acompañarlos. Mantener estado y acciones comprensibles sin color ni sonido. No añadir una región viva a cada parcial de manera automática; comprobar anuncios estables y uso de controles con TalkBack. Verificación: V5 y V9.
7. P2 — Datos simulados se presentan como mediciones reales, también ante un fallo remoto
Evidencia:
RhythmSource.kt:9–15 devuelve siempre Rhythm(120) en DEMO; REMOTE también devuelve ese valor ante cualquier excepción. label() rotula ambos caminos «Medición real». El
README:7 indica que RhythmScreen muestra ese resultado y que AudioRef sólo identifica un archivo. No hay analizador de audio entregado ni implementación de RemoteRhythm que valide el origen del dato.
Cambio mínimo recomendado: conservar procedencia y estado junto al valor, con un pequeño resultado tipado. DEMO debe ser una elección explícita y decir, por ejemplo, «Demostración: 120 BPM, dato simulado». Un fallo de REMOTE debe permanecer como error/no disponible, con opción de reintentar o elegir Demo; no transformarse en una medición. Una respuesta remota exitosa requiere verificar proveedor, vínculo con el archivo y validación antes de llamarla medición real. No inventar valores para cubrir datos ausentes. Verificación: V10.
8. P2 — La garantía de reconocimiento offline carece de respaldo
Evidencia:
README:3–5 sólo declara EXTRA_PREFER_OFFLINE=true en un adaptador no incluido, pero promete «Todo el reconocimiento es offline». La preferencia no garantiza procesamiento local ni disponibilidad sin conexión. El
manifest no declara INTERNET; eso tampoco controla la red de un servicio de reconocimiento en otro proceso.
Cambio mínimo recomendado: retirar la garantía y describir la preferencia y su dependencia del proveedor. Si se decide ofrecer un modo estrictamente local, comprobar soporte y modelos de las APIs adecuadas a los SDK reales, impedir una sustitución silenciosa por red y verificar su comportamiento. No se prescribe aquí un SDK ni una nueva integración. No hay evidencia suficiente para afirmar que se sube audio o que existe exfiltración. Verificación: V11.
Capacidades y descripción del producto
| Capacidad / fuente | Estado sustentado | Entrada, datos y evidencia | Límite de verificación |
|---|---|---|---|
| Control de voz y presentación de texto | Implementado en los fragmentos; integración Android desconocida | Inicio y salida descritos en README; SpeechSession recibe parciales/finales y CaptionPanel lee texto | Adaptador ausente; actualización visual y comportamiento del proveedor sin probar |
| Reconocimiento exclusivamente offline | Desconocido; garantía no sustentada | Preferencia offline declarada, no motor local demostrado | Requiere proveedor, dispositivo, modelos y pruebas sin conectividad |
| Ritmo DEMO | Simulado | Elección DEMO → constante de 120 BPM → etiqueta | No analiza audio; etiqueta actual incorrecta |
| Ritmo REMOTE | Delegación implementada; datos/proveedor desconocidos | RhythmScreen descrita → load(REMOTE, AudioRef) → interfaz remota | Implementación ausente; fallo se sustituye por simulación; éxito no prueba medición |
| Mensajes escritos | Planificado | README declara editor futuro | Sin entrada ni flujo utilizable |
Descripción corregida para la versión revisada:
Mesa es un prototipo de comunicación presencial con una interfaz de subtítulos. La integración declarada utiliza el reconocimiento de voz de Android y solicita preferencia por procesamiento offline; no se garantiza funcionamiento sin conexión ni procesamiento exclusivamente local. El adaptador y su comportamiento no están validados en estos fragmentos. La visualización de ritmo incluye una demostración fija de 120 BPM y una ruta a un proveedor remoto cuya implementación no se incluye. Actualmente, un fallo de esa ruta devuelve la demostración y la etiqueta incorrectamente como medición real; esa limitación requiere corrección. No se acredita análisis local de audio ni mediciones reales garantizadas. Los mensajes escritos están planificados.
En cuanto a datos, el origen declarado de la voz es el micrófono y el destino es el reconocedor/proveedor Android; su transporte, almacenamiento y retención quedan
desconocidos sin el adaptador. El fragmento conserva sólo una cadena de texto en memoria; no muestra persistencia ni registro de transcripciones, lo cual no prueba su ausencia en una app completa. RemoteRhythm recibe un identificador: su nombre no demuestra una transferencia de audio. No introducir registros de conversaciones ni telemetría para verificar estos problemas.
Escenarios concretos de aceptación, todavía pendientes
Usar únicamente frases inventadas, un VoicePort falso y un reloj/cola controlable para las regresiones de estado. Contar llamadas e identificar eventos sin registrar conversaciones reales.
| ID | Secuencia / entorno | Resultado esperado tras corregir |
|---|---|---|
| V1 | Iniciar → error → salir antes de 300 ms → avanzar cola → parciales/final/error antiguos → volver a entrar | Cero inicios por el trabajo invalidado; ningún evento antiguo modifica texto, estado o nueva sesión. Repetir con segundo plano. |
| V2 | Iniciar → Detener con política de terminar frase → pulsar Iniciar antes del terminal → final; repetir con terminal ausente | Sin solicitudes superpuestas; «Finalizando» mientras corresponde; como máximo un final aceptado y ninguna continuación automática. Sin terminal, recuperación acotada antes de otro inicio. Salir/cancelar descarta los resultados tardíos. |
| V3 | Dos pulsaciones rápidas de inicio; luego silencio repetido y errores de permiso, servicio ausente y red | Un único inicio activo; reintentos finitos según la política; errores permanentes detienen la captura automática y muestran recuperación. El final no deja un falso estado de escucha. |
| V4 | Programar reintento → revocar permiso → ejecutar tarea | Ninguna llamada nueva a voice.start(); explicación de permiso y acceso al flujo escrito. Comprobar además el comportamiento de permisos en Android. |
| V5 | Montar CaptionPanel → emitir parcial, revisión, final y cambio de fase sin otra interacción | Cada estado válido se representa visualmente sin depender de recomposición accidental; parar elimina el indicador activo. Prueba Compose y comprobación en dispositivo. |
| V6 | Pantalla estrecha, vertical y horizontal, fuente normal y máxima; frase larga con condición al final, por ejemplo «Podemos reunirnos el viernes a las diecisiete en la entrada principal, pero no confirmes la reserva» | Se puede leer toda la frase, incluido el final; Detener, salida y futuro acceso escrito siguen alcanzables. Revisar también a distancia habitual de conversación. |
| V7 | Denegar permiso y, por separado, usar un dispositivo/proveedor sin servicio disponible → introducir mensaje escrito | Sin captura ni bucle; causa y recuperación visibles; mensaje escrito introducible y mostrable sin voz. Este criterio depende de implementar el seguimiento de producto. |
| V8 | Parcial A → parcial corregido B → final C → nuevo parcial D → dos emisiones finales idénticas | No quedan restos de A/B; C se conserva según la política acordada mientras D es provisional; no se confirma dos veces una emisión ni se pierden dos turnos iguales por comparar cadenas. |
| V9 | TalkBack, teclado y acceso por interruptor; además, lectura sin distinguir colores | Detener tiene nombre y acción, orden de foco útil, estados comprensibles y ausencia de anuncios que saturen con cada parcial. Verificar tamaños efectivos de toque y texto grande. |
| V10 | DEMO explícito; REMOTE exitoso con procedencia comprobable; REMOTE que lanza excepción; cambiar de fuente | Sólo Demo muestra simulación identificada. El fallo remoto permanece como error, sin 120 BPM fabricados. El éxito conserva su procedencia y no hereda etiquetas de otra fuente. |
| V11 | Proveedores y dispositivos objetivo con conectividad habilitada y deshabilitada, modelo local disponible y ausente | Estado y descripción reflejan el resultado real. Si se ofrece modo estrictamente local, comprobar que no cambia silenciosamente de proveedor/modo. Una prueba en modo avión demuestra comportamiento offline en esa configuración, no por sí sola ausencia de transporte en todos los modos. |
Validación realizada y límites
| Comprobación | Estado / resultado |
|---|---|
rg --files qa/fixtures/caption-session skills/android-accessibility-engineering | REVIEWED: inventario de los archivos entregados. |
Lectura con nl -ba de README.md, AndroidManifest.xml, SpeechSession.kt, CaptionPanel.kt y RhythmSource.kt; lectura local de la skill y referencias | REVIEWED: rutas, símbolos y líneas citados; sin ejecución Kotlin/Compose. |
Búsqueda con rg -n de estado observable, terminación, origen de datos y afirmaciones en fixture (comando debajo) | REVIEWED: coincidencias inspeccionadas dentro del material suministrado. No sustituye pruebas. |
| Compilación, pruebas unitarias Kotlin y pruebas instrumentadas Compose/Android | BLOCKED: no hay proyecto compilable, Gradle, dependencias ni adaptador. No se intentó instalar ni construir un proyecto nuevo. |
| V1–V11 en el proyecto objetivo; servicios de accesibilidad y dispositivos | PENDIENTE: criterios propuestos, ninguno ejecutado ni marcado PASS/FAIL. |
| Evaluación con personas que dependan de lectura visual, incluidas personas sordas o con hipoacusia | PENDING USER TEST: comprobar comprensión, turnos, distancia de lectura y corrección de errores. TalkBack no sustituye esta evidencia. |
Comando de búsqueda ejecutado:
rg -n 'mutableStateOf|StateFlow|collectAsState|stopListening|cancel\(|destroy\(|after\(|onPartial|onFinal|EXTRA_PREFER_OFFLINE|INTERNET|Medición real|DEMO|REMOTE|maxLines|overflow|hasPermission|onLeave' qa/fixtures/caption-session
El icono con contentDescription = null en
CaptionPanel.kt:18–20 no constituye por sí solo un problema: acompaña al texto visible «Detener» dentro de un Button. Confirmar su nombre y acción en las semánticas combinadas y con TalkBack; añadir una descripción duplicada al icono no es la reparación indicada. Tampoco se ha demostrado un tamaño de toque insuficiente, un contraste concreto fallido o un defecto de animación.
No se conocen SDK/BOM, listener, hilo de ejecución, propietario real del reconocedor, política completa de datos ni implementación del proveedor remoto. Las trazas de callbacks son deducciones del controlador, no resultados observados en un teléfono. Esta revisión no acredita precisión del reconocimiento, accesibilidad integral ni certificación.
Connects securely to your tools. The creator never sees your data.
About this skill
Android accessibility is often treated as a checklist item rather than a core engineering requirement. This skill moves beyond basic TalkBack labels to solve deep architectural issues in communication apps, specifically for deaf and hard-of-hearing users. It addresses the technical debt found in live captioning lifecycles, speech-to-text state management, and visual feedback for asynchronous audio events.
What it does
- Speech Lifecycle Management ensures voice input sessions handle restarts, stale callbacks, and terminal states without leaking resources or double-processing audio.
- Caption Logic Refinement distinguishes between unstable partial text and committed final results to prevent UI flickering and unreadable transcriptions.
- Accessibility Auditing identifies P0–P3 defects in Jetpack Compose semantics, focusing on critical communication paths and gesture overrides.
- Privacy Boundary Verification maps data flows for transcripts and microphone capture to ensure implementation matches declared privacy policies.
- Capability Ledgering maintains an evidence-based record of implemented, simulated, and planned accessibility features.
How it works
- Infer Task Mode by determining if the request requires an AUDIT, PATCH, DESIGN, or REVIEW.
- Trace Critical Journeys from user action through permissions and providers to the final rendered text in the Composable.
- Apply Reference Logic for speech lifecycles and caption experiences to ensure state transitions are robust and follow Android best practices.
- Deliver Engineering Evidence using a report format that separates executed tests from manual device verification.
Frameworks & tools
Targeted at Kotlin and Jetpack Compose development within Android Studio. Uses Gradle for dependency checks and follows standard Android manifest and permission patterns.
Why this beats prompting it yourself
Generic prompts often miss the nuances of speech session ownership and the difference between TalkBack support and readable captions. This skill enforces a strict capability ledger that prevents "planned" features from being misrepresented as "implemented" in technical documentation.
Use cases
- Fixing flickering captions in a live transcription feature where partial and final results collide.
- Auditing a chat app to ensure users can navigate and participate in calls without relying on sound.
- Patching a speech-to-text bug where the microphone fails to release after a user cancels an action.
- Reviewing a pull request for regressions in custom Compose semantics or reduced-motion support.
Known limitations
Does not provide microphone hardware drivers or cloud speech-to-text services. Requires the buyer's existing Android toolchain for builds and device validation.
Requires access to project sources. Does not provide microphone or cloud services. Builds and device validation require the user's Android toolchain.
How to use
- 1
Connect your agent to the Agensi MCP
Copy the prompt and paste it into Claude, ChatGPT, Cursor or any agent that supports MCP. It sets up the connection for you. Manual setup
- 2
Sign in to Agensi
Your agent shows a sign-in link. Sign in and click Allow.
- 3
Ask for what you need
Your agent loads this skill and uses it on your task. It always asks before any payment.
Reviews
No reviews yet
Be one of the first to try it. Every listed skill goes through the trust checks below.
Security scanned
Checked by our 8-point scan before listing
Fresh listing
Recently published to Agensi
Money-back guarantee
Doesn't do what its page promises? You get your money back.
Trust & safety
Security scan
Security scan passed 20 days ago