【功能模块】MRS—  sparkstreaming_kafka_010【操作步骤&问题现象】1、IDEA编写程序，POM依赖与示例程序一致，本地调式无误后，打包上传。2、集群主节点上运行kinit user    bin/spark-submit --master yarn --deploy-mode client --class com.spark.core.Kafka_sparkStreaming_elasticSearch /opt/sparkTest/sparkdemo-1.0-SNAPSHOT.jar【截图信息】1.spark程序所使用依赖。2.提交到MRS集群上之后运行报错位置，显示集群节点不能连接（Kafka配置与本地Idea完全一致，idea能正常消费数据。集群上kafka消费组与idea环境一致不一致都不能连接）【日志信息】（可选，上传日志内容或者附件）

【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

最近升级了下idea工具，发现运行代码超级卡顿，于是检查了下内存使用情况，显示内存长期占用在80%以上....最简单的办法，增加内存设置help-edit custom vm options下，设置-Xms1024m-Xmx2048m然后重启idea.搞定

CMU 联合复旦、俄亥俄州立大学的研究者推出了一个将模型可理解分析和模型评价排行榜结合起来的科研辅助工具 ExplainaBoard作者：佚名来源：机器之心ProCMU 联合复旦、俄亥俄州立大学的研究者推出了一个将模型可理解分析和模型评价排行榜结合起来的科研辅助工具 ExplainaBoard，能够完成单系统诊断、数据集分析以及可信度分析等任务，有效提升科研人员的学术体验。你是否在读论文的时候觉得别人的 idea 很有道理，可自己设计 idea 时却无从下手？你是否经常因为「模型效果好，但是没有给出有深度且全面的解释」而被审稿人给低分？当你厌倦了挖掘新的模型结构时，是否对数据集特性的挖掘感兴趣，从而引领一个更加健康的领域发展方向？在刚接触一个新领域时，如何做到：既能快速了解该领域目前发展的状况，又能快速了解它的瓶颈？还记得不久前引起网络热议的自动审稿系统么？这支来自 CMU 的 团队日前又发布了一个可解释的系统排行榜（ExplainaBoard），它被定位成一个科研辅助产品，巧妙地把「模型可理解分析」和「模型评价排行榜」两个看似无关的元素结合，将平时科研中很多被我们忽略却很重要的部分转化成「一键式」操作，从而提升科研人员做学术的体验。系统链接：http://explainaboard.nlpedia.ai/论文链接：https://arxiv.org/pdf/2104.06387.pdf目前，ExplainaBoard 在单任务上支持分类、抽取、生成在内的9个主流 NLP 任务，涉及40多个数据集、300多个模型；在多任务上，支持多语言评价基准，包含40多种语言和9个跨语言任务。技术解读随着深度学习模型的快速发展，排行榜（Leaderboard）已经成为一种用来追踪各种系统性能的主流工具。然而，由于在排行榜上排名靠前的模型所具有的声望，很多研究人员只关注提高评估指标的数字，而忽略了对模型特性更深入的科学理解。ExplainaBoard 就是在这样的背景下诞生的，它不仅可以排序不同的模型，还提供了很多与模型和数据集相关的——可理解、可交互和可信赖的分析机制（如下图所示）：具体说来，它可以完成以下功能：单系统诊断可以解决的问题：「我设计的模型擅长 / 不擅长做什么？」系统对诊断可以解决的问题：「我设计的模型比别人的好在哪里？」数据集分析可以解决的问题：「数据集的特点是什么？」共有错误分析可以解决的问题：「排名 Top-5 的系统共同错误预测是什么？」细粒度错误分析可以解决的问题：「模型错误预测主要发生在哪儿，以及具体是哪些错误？」系统组合可以解决的问题：「将排名 Top-5 的系统组合在一起，会得到一个更强大的系统么？」可信度分析可以解决的问题：「模型预测结果的可信程度有多高？」校准分析可以解决的问题：「预测的可信度是如何校准其正确性的？」应用前景在应用上，据该项目负责人刘鹏飞博士介绍，ExplainaBoard 目前收到了 DeepMind、Google、Huggingface 和 Paperswithcode 等多家企业的合作邀请以及投资人的青睐。比如，Google & Deepmind 最新 arXiv 工作 XTREME-R: Towards More Challenging and Nuanced Multilingual Evaluation 使用 ExplainaBoard 升级了他们的多语言评测基准。

2.5.1 Huawei LiteOS SDKLiteos SDK是Huawei LiteOs软件开发工具包( Software Development Kit)，其包括端云互通组件，FOTA升级，JS引擎、传感器框架等内容。LiteOS SDK由互联组件和增强组件两部分组成，互联组件负责实现云端互通能力，增强组件配套华为loT云平台OceanConnect为行业伙伴打造的电信级loT通用能力。2.5.2 Huawei LiteOS端云互通组件LiteOs SDK端云互通组件作为独立的组件，不依赖特定的芯片架构和网络硬件类型,可以轻松地集成到各种通信模组上，如NB-loT模组、eMT模组、Wi-Fi模组、GSM模组、以太网硬件等。端云互通组件提供端云协同能力，集成了LwM2M、CoAP、mbed TLS、LwIlP等全套loT互联互通协议栈。2.5.3 Huawei LiteOS互联框架提供IP、TCP/UDP、CoAP完整协议栈，降低开发门槛，实现互联。提供可灵活配置的应用Profile，实现不同设备的互通。2.5.4 Huawei LiteOS互联框架提供多种传感算法，应用无需开发，直接调用抽象不同类型传感器接口，屏蔽硬件细节，实现即插即用。2.5.5 Huawei LiteOS安全框架

在使用keil进行嵌入式开发时，为了方便我们开发以及符合我们的审美，我们常常会对keil对一些配置。 ## 1.下载后自动运行程序 Keil默认在下载程序后，需要手动按下开发板复位才能启动程序。通过修改修改配置，可以下载后自动复位重启运行程序，方便调试。 点击 按钮，切换到“Utilities”标签，点击“Settings”，如下图所示。  随后弹出设置界面，切换到“Flash Download”标签，勾选上“Reset and Run”，如下图所示。  ## 2.生成Bin文件 实际开发中，可能需要Bin格式的下载文件，而Keil默认不会生成Bin格式文件，需要进行相关配置。点击 按钮，切换到“User”标签，在“After Build/Rebuild”添加“fromelf --bin -o “$L@L.bin” “#L””，同时勾选“Run #1”，表示在编译完后，执行fromelf命令生成bin文件，如下图所示。  设置完成后，点击“OK”保存。重新编译整个工程，将在工程的“Project\Objects”目录下生成xx.bin文件（xx为工程名）。 ## 3.字体编码等设置 点击“扳手”按钮，进入Keil设置界面，如下图所示。  在“Editor”标签，字符编码选择“Chinese GB2312(Simplified)”，可以解决代码中中文注释乱码问题。在下方的“C/C++ Files:”的“Tab size:”设置为4，可以解决代码中缩进对齐问题，如下图所示。  然后切换到“Colors & Fonts”界面，选择“C/C++ Editor files”，可修改字体、数字、关键词等的字体样式、大小、颜色，如果没特殊需求，默认即可，如下图所示。 

ctrl+W //选中单词ctrl+<-- --> //上一个/下一个单词ctrl+shift+enter//自动完成，句尾加分号alt+enter //智能提示，如生成变量ctrl+alt+L //整个代码缩进格式化ctrl+/  //单行注释ctrl+shift+/ //块注释ctrl+alt+shift+J //列操作esc//退出列模式shift+F6 //重命名

撒花撒花，我们的小孢子破壳快满1周年啦！在MindSpore 1周岁生日即将到来之际，为了感谢开发者的厚爱，3月28日-29日10:00-22:00，「MindSpore官方」将在B站开启全球直播和大家一起开轰趴！开源大咖空降直播间等你来撩，懂的不懂的问题百无禁忌！激发你的小宇宙，与志同道合的伙伴一起探索智能世界，玩转头脑风暴！赶紧积攒脑力，把你想了解的内容打在直播间公屏上！大咖还要手把手教你如何使用新工具！就算你是刚出道的小白，也能跟上大咖的脚步了解技术的奥义（名师出高徒，你懂的）！还有还有！每天12小时直播礼品满屏撒弹幕抽奖形式多多，快来抓住一年欧气！赶快跟着小编操作一波现在快去B站关注MindSpore官方MindSpore周年生日趴3月28日10:00等你一起开场！

我们平时在写代码的时候经常会用到数据库，我们需要时常查看我们的数据是不是符合预期的，我们希望有一个图形界面可以直接看到数据，而不需要每次都手动敲指令，这样工作效率会比较低。本文将教会你怎么直接在idea中配置数据库，然后能直接看到我们的数据。一、配置在idea最右侧有一个工具栏，我们点击DataBase按钮，然后会出现如上界面，我们选择添加按钮选择MySQL输入DataBase，User，Password最后点击Apply，OK这时候我们已经能看到我们数据库中所有的表了，我们随便点击一个看看吧点击之后我们就能看到我们表中存好的数据了，很方便吧。哈哈补充知识：idea添加自定义live template模板idea添加自定义live template模板环境说明：idea版本：2018.03.06idea知道有这个功能，不知道eclipse有没有idea有一个非常方便编码的功能，就是Live Template，这个功能的本质就是构建一个常用代码段和一个缩写的映射，在编码时，使用这些缩写就可以快速的输入这些常用的代码块，了解了这些，将大大提高我们的编码效率；当然，除了默认的live template，我们还可以自定义自己的代码模板，在模板中，可以使用一些变量的引用，在带入代码模板的同时带入自定义一些类名、方法名等，提高编码效率。File->Settings…，进入设置页面；设置页面左侧Editor->Live Templates，展开右侧的列表，就可以看见一些常用的、默认的代码模板了，如果在编码的过程中遇到常用的代码段，可以来看看有没有已经定义好的代码模板可用；现在我们以创建对方法描述的模板为例来自定义自己的代码模板；Live Templates面板右侧上方，依次点击"+"->Template Group，在弹出的框中填写自定义模板组的名称，这里写MyGroup，将我们自定义的代码模板放在MyGroup模板组里面，与其他默认模板区分开；接着点击列表中出现的MyGroup模板组，再点击刚才的"+"->Live Template；在下方Abbreviation选项中填入自定义的模板对应的缩写，我这里写成mi(method info的首字母缩写)，在Description选项中填入对此模板的描述，在Template text选项中填入模板原文，还有Live Temple面板左下方红色的No applicable context yet.选项，点击后面的Define选项，选择Java，最后记得点击右下角Apply按钮；在模板原文中可以使用变量，比如这里的模板原文中的$METHOD_NAME$、$METHOD_PARAMETER$、$END$、就是一个变量，在输入时，会置空或用与参数连接的内置或自定义函数来填充，比如若将$METHOD_NAME$与系统内置的methodName()函数连接起来，在输入的时候，在某方法内部，输入我们设置好的缩写mi，IDE会提示输入，点击之后，会发现在我们设置的方法模板内部，已经将方法名、参数、返回值自动填充好了；**如何连接变量与函数表达式呢？**先选中一个参数，然后看模板原文右侧上方，有一个Edit variables选项，点击之后，就可以进入绑定的面板，在idea中内置了许多表达式，可以在文首的“参考”信息中查看详细的表达式的解释；

1.Pycharm安装于jetbrains官网https://www.jetbrains.com/下载了Pycharm Edu 2020.3版本。2.配置中文环境由于英语太烂，遂改成中文环境。步骤： file–settings–plugins–搜索Chinese安装插件即可3.熟悉操作3.1 创建项目：首先是下图的三个选项可以为不同项目单独创建Python环境，保存不同项目所需的依赖项，我只简单了解过conda，后面把三个环境的各自特点补充上来。然后“继承全局站点包”与“可用于所有项目”均不用选。3.2 创建python文件：alt+insert可在创建的项目中选择需要创建的文件。3.3 输入测试代码：选择笔者为一门辣鸡专业课写的程序作为测试代码（笔者写这篇文章时还在为这门课成绩担心哈哈）。PyCharm 提供 Intelligent Coding Assistance 功能，可以执行代码补全、代码检查、错误高亮显示和快速修复建议。比如键入 main 并点击 tab 键，PyCharm 会自动补全整个 main 从句。此外，如果你在条件句前忘记键入 if，在该句子最后增添.if 并点击 Tab 键，PyCharm 将修复该 if 条件句。该用法同样适用于 True.while。这即是 PyCharm 的 Postfix Completion 功能，它可以帮助用户减少退格键使用次数。3.4 Debug：可以设置断点，进行debug。3.5 一些快捷键""" pycharm中 选中行 ctrl+/ 进行快速注释， 再  ctrl+/ 取消注释    批量修改变量名： 选中变量，ctrl+R 或者 ctrl+shift+alt+j """"""1、Ctrl + Enter：在下方新建行但不移动光标；2、Shift + Enter：在下方新建行并移到新行行首；3、Ctrl + /：注释(取消注释)选择的行；4、Ctrl + Alt + L：格式化代码(与QQ锁定热键冲突，关闭QQ的热键)；5、Ctrl + Shift + +：展开所有的代码块；6、Ctrl + Shift + -：收缩所有的代码块；7、Ctrl + Alt + I：自动缩进行；8、Alt + Enter：优化代码，提示信息实现自动导包；9、Ctrl + Shift + F：高级查找；10、Alt + Shift + Q：更新代码到远程服务器；11、Ctrl + N 查找所有的类的名称12、Ctrl + Shift + N 查找项目中的任何文件13、 移动语句向上/向下操作对于重新组织文件中的代码行非常有用，选择一个代码片段，然后按Ctrl + Shift +向上箭头或Ctrl + Shift +向下箭头。"""

>本贴使用小熊派开发板+MPU6050六轴传感器，获取加速度计以及陀螺仪信息。 # 一、实验准备 ## 1.实验环境 - 一块stm32开发板（推荐使用小熊派），以及数据线 - 已经安装STM32CubeMX - 已经安装KeilMDK,并导入stm32开发板对应的芯片包（小熊派使用的是STM32L431RCT6） - 一个MPU6050模块（IIC接口）以及杜邦线   ---- ## 2.目标效果 - 通过CubeMX创建工程并配置参数 - IIC方式通信，配置MPU6050寄存器 - 小熊派通过IIC，获取陀螺仪、加速度计数据 - 串口1重定向输出编码器转动的角度、角速度 # 二、通过CubeMX生产MDK工程 ## A.芯片选择 - **打开CubeMX,进入芯片选择：**  - **选择自己的stm32芯片（即STM32L431RCT6）：**  --- ## B.时钟源RCC设置 - **更改系统时钟源** >系统时钟默认使用内部的高速时钟（HSI），选择使用HSE，时钟更精确 - 设置外部时钟对应的端口  - 配置时钟树 >STM32L431RCT6系统时钟最大可以为80MHz，我们配置到最大即可  --- ## C.参数配置（对应端口设置） ### **1）配置USART1** 使用USART,模式为异步，波特率为115200，无硬件流控制 ----  ---- ### **2）硬件IIC配置** ``` IIC（Inter-Integrated Circuit）其实是IICBus简称，所以中文应该叫集成电路总线，它是一种串行通信总线，使用多主从架构 ``` 我们使用小熊派的I2C1，小熊派引出的引脚为**PB7->I2C1_SDA,PB6->I2C1_SCL** 其他选项我们保持默认即可  ### 3）MPU6050模块 当然，我们还需要了解MPU6050模块的电路，更好的进行配置。当然我们也可以自主制作模块 **如果AD0脚(9脚)接地,IIC地址为0X68(不包含最低位)；如果AD0脚接V3.3,则IIC地址为0X69(不包含最低位).**  **可以看到，AD0引脚已经被拉低，所有默认IIC地址为0x68. ** **最后，生成代码就OK了** ## D.工程设置 一些基础的设置，包括工程名、存储位置、工程环境、工程中各个文件的组成 ----  ----  ---- ## E.生成代码  ---- # 三、编写相应代码 ## 1. 串口1输出重定向 >我们知道printf是打印函数，原理是根据传入的字符串参数格式化打印输出到stdout中。我们需要让printf打印到串口之中，只需要在usart.c文件中模仿printf写一个输出函数即可 - 在添加头文件 ```c /* USER CODE BEGIN 0 */ #include <stdarg.h> #include <string.h> #include <stdio.h> /* USER CODE END 0 */ ``` - 写输出函数 ```c /* USER CODE BEGIN 1 */ void UsartPrintf(UART_HandleTypeDef *huart, char *fmt,...) { unsigned char UsartPrintfBuf[296]; va_list ap; unsigned char *pStr = UsartPrintfBuf; va_start(ap, fmt); vsprintf((char *)UsartPrintfBuf, fmt, ap); //格式化 va_end(ap); while(*pStr != 0) { USART1->TDR = *pStr++; while((USART1->ISR & 0x40) == 0); } } //注意：在usart.h中添加void UsartPrintf(UART_HandleTypeDef *huart, char *fmt,...)； //使用方法:UsartPrintf(&huart1;,"hello world\r\n"); /* USER CODE END 1 */ ``` >注意：自己添加的代码，需要在begin和end之间 ## 2.写MPU6050驱动 >我们创建两个文件，分别是mpu6050.h和mpu6050.c ### a).首先我们在mpu6050.h中宏定义相应的寄存器，方便后续使用。 >因为寄存器实在太多，就没有一一列出，可以在附件中查看哦~  ### b).配置各个寄存器 >主要的函数为：IIC读写、初始化MPU6050、设置陀螺仪和加速度计满量程、设置采样率、读取数据 代码附件中有，不一一讲解。 **初始化函数** >初始化函数中，我们必须要保证IIC读写的正确，因此可以通过读某一个有确定值的寄出去，大致判断IIC通信的准确。此方法同样在SPI等通信协议时会使用到 ```c uint8_t MPUInit(void) { uint8_t res; extern I2C_HandleTypeDef hi2c1; HAL_I2C_Init(&hi2c1;); //初始化IIC /*上电后最好有一定延时，保证数据准确*/ HAL_Delay(500); MPU_Write_Byte(MPU_PWR_MGMT1_REG,0x80); //复位MPU6050,写入1000 0000 MPU_Write_Byte(MPU_PWR_MGMT1_REG,0x00);//sleep写入0，保持唤醒状态 MPU_Set_Gyro_Fsr(3); //陀螺仪满量程±2000 MPU_Set_Accel_Fsr(0); //加速度计满量程±2g MPU_Set_Rate(50); //设置采样率=50Hz MPU_Write_Byte(MPU_INT_EN_REG,0x00);//关闭所有中断 MPU_Write_Byte(MPU_USER_CTRL_REG,0x00); //关闭从iic MPU_Write_Byte(MPU_FIFO_EN_REG,0x00); //关闭FIFO MPU_Write_Byte(MPU_INTBP_CFG_REG,0x80); //INT引脚低电平有效 res = MPU_Read_Byte(MPU_DEVICE_ID_REG); //读取地址 UsartPrintf(&huart1;,"\r\nMPU6050:0x%2x\r\n",res); UsartPrintf(&huart1;,"\r\nMPU6050:0x%2x\r\n",MPU_ADDR); if(res == MPU_ADDR) //判断地址是否正确 { MPU_Write_Byte(MPU_PWR_MGMT1_REG,0x01); //001,pll，x轴为参考系统时钟源 MPU_Write_Byte(MPU_PWR_MGMT2_REG,0x00); //都不使用待机模式 MPU_Set_Rate(50); }else return 1; return 0; } ``` 需要注意到，mpu6050上电后需要有一定延时，保证数据的稳定。重启mpu6050会有睡眠模式，写入关闭睡眠。最后检测并判断IIC地址是否正确 ## 3.main函数 ```c /* USER CODE BEGIN PV */ short x; short y; short z; /* USER CODE END PV */ ``` ```c /* USER CODE BEGIN 2 */ MPUInit(); /* USER CODE END 2 */ /* Infinite loop */ /* USER CODE BEGIN WHILE */ while (1) { /* USER CODE END WHILE */ while(MPU_Get_Gyroscope(&x,&y,&z) !=0); HAL_Delay(1000); printf("\r\n陀螺仪:x=-,y=-,z=-\r\n",x,y,z); while(MPU_Get_Accelerometer(&x,&y,&z) != 0); HAL_Delay(1000); printf("\r\n加速度计:x=-,y=-,z=-\r\n",x,y,z); /* USER CODE BEGIN 3 */ } ``` # 四、编译+下载 **点击编译后，0 error,0 warning** ----  **小熊派连接在电脑上，代码下载到开发板**  ---- # 五、连接硬件 ## 1.将小熊派串口1和电脑相连，即拨到 AT-MUC,按下复位键  ## 2.连接MPU6050 我们只需要使用mpu6050的SDA\SCL\GND\VCC。 即： - SDA-->PB7 - SCL-->PB6 - GND-->GND - VCC-->5V ---- ## 3.效果 打开串口调试助手，我们手动转动开发板（包括模块），看见陀螺仪和加速度数据不断变化，当静止时数据保持稳定 。 **至此，我们已经可以通过小熊派以IIC获取六轴传感器原始数据信息** >附件中包含CubeMX工程、MDK工程

一、创建项目1.点击菜单栏File->New->Project...2.从左边栏找到Java，例如我这里是Java Enterprise(每个人的可能不一样，因为IDE版本可能不同)，然后选择project SDK，没有的话点击Download JDK...，有的话点击Add JDK...3. Download JDK是这个界面，Vendor我这里选择Oracle OpenJDK（各位可以根据需要选择），Version是版本，Location是位置4.下载或者添加之后，点击Next，这里可以选择Specification和Implementation，大家根据需要选择，我这里直接Next5.创建项目和名称二、编写代码1.项目结构如下2.我们打开src的main，右键点击main里的java，选择New->Package,输入包的名字，我这里是Hello3.新建一个class，输入名字，我这里是Hello4.输入代码package Hello; public class Hello { public static void main(String []args){ System.out.println("Hello!"); } }

物联网创意畅享，创意是唯一要求。不限场景！不限设备！只要你有关于物联网的好的应用idea，都可以回帖回复。【活动时间】2020年8月10日-2020年8月30日 0:00【参与方式】在本帖下直接回复你的创意即可。【盖楼要求】为了避免刷帖影响公平，活动期间每人最多可盖3楼，超过3楼将取消资格【基础奖励和额外奖励获得要求】基础奖励参与人数40，额外奖励参与人数70【活动奖品】奖品1（基础奖励）：50元京东卡将从所有回复中的有效楼层数的10%、50%、90%选出3名幸运用户，获得50元京东卡      奖品2（额外奖励）：荣耀移动电源2 20000mAh (Max 18W) 快充版（颜色随机）将从所有回复中选取最具创意（即获得点赞数最多的）的回复一名，获得荣耀移动电源2 20000mAh (Max 18W) 快充版（颜色随机，图片仅供参考）还等什么，快来参与吧！注：活动遵守华为云社区常规活动规则https://bbs.huaweicloud.com/forum/thread-5766-1-1.html 

前面分享过在Idea里面启动Spark集群，接下来这个博文介绍了，如何启动spark cluster，spark app等，大家可以学习借鉴一下https://bbs.huaweicloud.com/blogs/180562

原文地址：https://bbs.huaweicloud.com/blogs/180493该文章分享了在本地环境启动spark集群，方便了开发与调试基本功能。可以学习一下