编辑: LinDa_学友 | 2019-07-05 |
2 ? 基于卷积神经网络的一般目标检测 ? 基于卷积神经网络的图像分类任务 ? 人脸检测和人脸识别 ? 实时获取被检测目标的大小与坐标 ? 实时获取被检测目标的种类 1.1.2 机器听觉 Kendryte K210 具备机器听觉能力.芯片上自带高性能麦克风阵列音频处理器,可以进行实时声源 定向与波束形成. 该芯片可以实现以下机器听觉能力: ? 声源定向 ? 声场成像 ? 波束形成 ? 语音唤醒 ? 语音识别 1.1.3 视觉/听觉混合解决方案 Kendryte K210 可结合机器视觉和机器听觉能力,提供更强大的功能.一方面,在应用中既可以通过 声源定位和声场成像辅助机器视觉对目标的跟踪,又可以通过一般目标检测获得目标的方位后辅助机器 听觉对该方位进行波束形成.另一方面,可以通过摄像头传来的图像获得人的方向后,使得麦克风阵列 通过波束形成指向该人.同时也可以根据麦克风阵列确定一个说话人的方向,转动摄像头指向该人. 第1章概述
3 1.2 系统架构 GPIO UART SPI I?S I?C FPIOA SHA256 Timer KPU APU RISC-V 64bit JTAG RISC-V 64bit CPU RTC SRAM DVP FFT DMA AES WDT PWM OTP FPU FPU Kendryte K210 CNN Accelerator Audio Accelerator K210 包含 RISC-V
64 位双核 CPU,每个核心内置独立 FPU. K210 的核心功能是机器视觉与听觉,其 包含用于计算卷积人工神经网络的 KPU 与用于处理麦克风阵列输入的 APU. 同时 K210 具备快速傅里叶 变换加速器, 可以进行高性能复数 FFT 计算. 因此对于大多数机器学习算法, K210 具备高性能处理能力. K210 内嵌 AES 与SHA256 算法加速器,为用户提供基本安全功能. K210 拥有高性能、低功耗的 SRAM,以及功能强大的 DMA,在数据吞吐能力方面性能优异. K210 具备丰富的外设单元,分别是:DVP、JTAG、OTP、FPIOA、GPIO、UART、SPI、RTC、I?S、I?C、 WDT、Timer 与PWM,可满足海量应用场景.
4 第 2章 引脚定义 K210 使用精心设计的引脚布局,确保信号都在 BGA 外圈,以方便 PCB 工程师进行扇出与布线,提升 电气性能,降低设计难度. 由于 K210 包含多种电源域的 IO 信号,并且不同电源域可能会有不同的电压,以下将会对使用的电源 域进行列表说明: 电源域组 电源域 支持电压(V) 互联特性 电源名称 A
0 3.3 或1.8 组内互联,组间独立 VDDIO0A A
1 3.3 或1.8 组内互联,组间独立 VDDIO1A A
2 3.3 或1.8 组内互联,组间独立 VDDIO2A B
3 3.3 或1.8 组内互联,组间独立 VDDIO3B B
4 3.3 或1.8 组内互联,组间独立 VDDIO4B B
5 3.3 或1.8 组内互联,组间独立 VDDIO5B C
6 3.3 或1.8 组内互联,组间独立 VDDIO6C C
7 3.3 或1.8 组内互联,组间独立 VDDIO7C 低压 IO 低压 IO 1.8 无特殊要求 VDDIO18 OTP OTP 1.8 无特殊要求 VDDOTP PLL PLL 0.9 无特殊要求 VDDPLL 数字核心 数字核心 0.9 无特殊要求 VDD 第2章引脚定义
5 2.1 引脚布局 IO_21 IO_19 IO_33 IO_27 IO_25 IO_23 IO_17 IO_31 IO_29 IO_37 IO_36 IO_35 IO_20 IO_18 IO_32 IO_26 IO_24 IO_22 IO_16 IO_30 IO_28 IO_39 IO_38 IO_34 VSS IO_14 VSS VDDIO4B VDDIO3B VSS IO_15 VDDIO5B VSS IO_41 IO_40 VSS VDDIO2A IO_12 VDD VSS VSS VDD IO_13 VSS VDD IO_43 IO_42 VDDIO6C VSS IO_10 VSS VDD VSS VDD IO_11 VSS VSS IO_45 IO_44 VSS VSS IO_8 VDD VSS VSS VSS IO_9 VSS VDD IO_47 IO_46 VDDIO7C VDDIO1A IO_6 VSS VDD VSS VDD IO_7 VSS VSS F_D1 F_CS VSS VDDIO0A IO_4 VDD VSS VSS VSS IO_5 VSS VDD F_D2 VSS VDDIO18 VSS IO_2 VSS VDD VSS VDD IO_3 VDD VSS F_D0 VSS VDDOTP VSS IO_0 VSSPLL VSS VDDIO18 VSS IO_1 VSS VDDIO18 F_CLK VSS VSS SPI0_D2 SPI0_D1 VDDPLL SPI0_D5 SPI0_D4 SPI0_D3 SPI0_D0 SPI0_D7 SPI0_D6 F_D3 VSS OSC_CLK DVP_D2 DVP_D1 XTAL_IN DVP_D5 DVP_D4 DVP_D3 DVP_D0 DVP_D7 DVP_D6 RESETN CLK XTAL_OUT