• [技术干货] 共识算法解读-PoW算法之GHOST
    背景分布式系统集群设计中面临着一个不可回避的问题,一致性问题对于系统中的多个服务节点,给定一系列操作,如何试图使全局对局部处理结果达成某种程度的一致?这个一致性问题大致有如下的场景:节点之间通讯不可靠的,延迟和阻塞节点的处理可能是错误的,甚至节点自身随时可能宕机节点作恶举例说明,就比如有两家电影院同时售卖总量一定的电影票,在这样的场景下,要如何设计方式来保证两家电影院协调同步不出现超卖或者错卖的问题呢?共识算法,就是解决对某一提案(目标,投票等各种协作工作),大家达成一致意见的过程比如上述的买票问题,就可以有如下的设计:1.每次卖票打电话给其他电影院,确认当前票数2.协商售卖时间,比如一三五A卖,二四六B卖3.成立个第三方存票机构,它统一发票通过以上的设计,可以看出一个很重要的解决一致性算法的解决思路,即:将可能引发不一致的并行操作进行串行化,就是现在计算机系统里处理分布式一致性问题基础思路和唯一秘诀
  • [技术干货] 过拟合
    一、什么是过拟合?总的来说,机器学习模型在一批数据上过于纠结误差值,想要将误差降到最低。然而当此模型运用到现实数据或者说测试数据上,误差值变高,泛化能力差,不能表达除训练数据以外的其他数据,这就叫做过拟合。如图所示的红线。二、解决方法方法一: 增加数据量, 大部分过拟合产生的原因是因为数据量太少了. 如果我们有成千上万的数据, 红线也会慢慢被拉直, 变得没那么扭曲。方法二: 运用正规化. L1, l2 regularization等等, 这些方法适用于大多数的机器学习, 包括神经网络. 他们的做法大同小异, 我们简化机器学习的关键公式为 y=Wx . W为机器需要学习到的各种参数. 在过拟合中, W 的值往往变化得特别大或特别小. 为了不让W变化太大, 我们在计算误差上做些手脚. 原始的 cost 误差是这样计算, cost = 预测值-真实值的平方. 如果 W 变得太大, 我们就让 cost 也跟着变大, 变成一种惩罚机制. 所以我们把 W 自己考虑进来. 这里 abs 是绝对值. 这一种形式的 正规化, 叫做 l1 正规化. L2 正规化和 l1 类似, 只是绝对值换成了平方. 其他的l3, l4 也都是换成了立方和4次方等等. 形式类似. 用这些方法,我们就能保证让学出来的线条不会过于扭曲.还有一种专门用在神经网络的正规化的方法, 叫作 dropout. 在训练的时候, 我们随机忽略掉一些神经元和神经联结 , 是这个神经网络变得”不完整”. 用一个不完整的神经网络训练一次.到第二次再随机忽略另一些, 变成另一个不完整的神经网络. 有了这些随机 drop 掉的规则, 我们可以想象其实每次训练的时候, 我们都让每一次预测结果都不会依赖于其中某部分特定的神经元. 像l1, l2正规化一样, 过度依赖的 W , 也就是训练参数的数值会很大, l1, l2会惩罚这些大的 参数. Dropout 的做法是从根本上让神经网络没机会过度依赖.三、代码案例1.导入相关包    import torch    import torch.nn as nn    import matplotlib.pyplot as plt2.数据集及其可视化    torch.manual_seed(1)         N_SAMPLES=20    N_HIDDEN=300         x=torch.unsqueeze(torch.linspace(-1,1,N_SAMPLES),1)#x按列随机在-1到1之间生成20个数据    y=x+0.3*torch.normal(torch.zeros(N_SAMPLES,1),torch.ones(N_SAMPLES,1))#加上符合正态分布的噪声点         test_x=torch.unsqueeze(torch.linspace(-1,1,N_SAMPLES),1)    test_y=test_x+0.3*torch.normal(torch.zeros(N_SAMPLES,1),torch.ones(N_SAMPLES,1))         plt.scatter(x.data.numpy(),y.data.numpy(),c='magenta',s=50,alpha=0.5,label='train')    plt.scatter(test_x.data.numpy(),test_y.data.numpy(),c='cyan',s=50,alpha=0.5,label='test')    plt.legend(loc='upper left')#label放置在左上角    plt.show() 数据集分布情况: 3.网络搭建    #采用pytorch快速搭建法    net_overfitting=torch.nn.Sequential(        torch.nn.Linear(1,N_HIDDEN),        torch.nn.ReLU(),        torch.nn.Linear(N_HIDDEN,N_HIDDEN),        torch.nn.ReLU(),        torch.nn.Linear(N_HIDDEN,1),    )    net_dropped=torch.nn.Sequential(        torch.nn.Linear(1,N_HIDDEN),        torch.nn.Dropout(0.5),#放弃50%的神经元数据        torch.nn.ReLU(),        torch.nn.Linear(N_HIDDEN,N_HIDDEN),        torch.nn.Dropout(0.5),        torch.nn.ReLU(),        torch.nn.Linear(N_HIDDEN,1),    )    print(net_overfitting,net_dropped)         '''    Sequential(      (0): Linear(in_features=1, out_features=300, bias=True)      (1): ReLU()      (2): Linear(in_features=300, out_features=300, bias=True)      (3): ReLU()      (4): Linear(in_features=300, out_features=1, bias=True)    ) Sequential(      (0): Linear(in_features=1, out_features=300, bias=True)      (1): Dropout(p=0.5, inplace=False)      (2): ReLU()      (3): Linear(in_features=300, out_features=300, bias=True)      (4): Dropout(p=0.5, inplace=False)      (5): ReLU()      (6): Linear(in_features=300, out_features=1, bias=True)    )    '''4.训练过程    optimizer_ofit = torch.optim.Adam(net_overfitting.parameters(), lr=0.01)    optimizer_drop = torch.optim.Adam(net_dropped.parameters(), lr=0.01)    loss_func = torch.nn.MSELoss()    plt.ion()    for t in range(500):        pred_ofit = net_overfitting(x)        pred_drop = net_dropped(x)             loss_ofit = loss_func(pred_ofit, y)        loss_drop = loss_func(pred_drop, y)             optimizer_ofit.zero_grad()        optimizer_drop.zero_grad()        loss_ofit.backward()        loss_drop.backward()        optimizer_ofit.step()        optimizer_drop.step()             if t%10==0:          # 将神经网络转换成测试形式, 画好图之后改回 训练形式          net_overfitting.eval()#进入预测模式          net_dropped.eval()# # 因为 drop 网络在 train 的时候和 test 的时候参数不一样.               plt.cla()          test_pred_ofit=net_overfitting(test_x)          test_pred_drop=net_dropped(test_x)          plt.scatter(x.data.numpy(), y.data.numpy(), c='magenta', s=50, alpha=0.3, label='train')          plt.scatter(test_x.data.numpy(), test_y.data.numpy(), c='cyan', s=50, alpha=0.3, label='test')               plt.plot(test_x.data.numpy(), test_pred_ofit.data.numpy(), 'r-', lw=3, label='overfitting')          plt.plot(test_x.data.numpy(), test_pred_drop.data.numpy(), 'b--', lw=3, label='dropout(50%)')               plt.text(0, -1.2, 'overfitting loss=%.4f' % loss_func(test_pred_ofit, test_y).data.numpy(), fontdict={'size': 20, 'color':  'red'})          plt.text(0, -1.5, 'dropout loss=%.4f' % loss_func(test_pred_drop, test_y).data.numpy(), fontdict={'size': 20, 'color': 'blue'})                    plt.legend(loc='upper left'); plt.ylim((-2.5, 2.5));plt.pause(0.1)                      # 将两个网络改回 训练形式          net_overfitting.train()          net_dropped.train()    plt.ioff()    plt.show() 添加测试模式的预测: 去除测试模式的预测:————————————————版权声明:本文为CSDN博主「小二哈a」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/qq_37767529/article/details/124000565
  • [互动交流] 应用程序多级菜单拾取定位功能不正确
    如图所示当要拾取“销售财务”主菜单下面的“内销货款管理”时如图1,拾取的蓝色框就标记的是整个的二级菜单如图二,执行后实际运行结果是对“内销结算管理”菜单的操作。再下一级菜单也是类似问题。后来将“销售财务”的target中[]内的{}加入到“内销货款管理”的target[]才变正确的。用UI录制生成功能块的结果也是不正确的。希望能够改进这个问题。
  • [热门活动] 【有奖征文 第21期】说说你和ModelArts的故事,输出优质产品体验文章,赢开发者大礼包!(附小白用户免费体验入口)
    在华为云全栈全场景AI架构里面,ModelArts属于AI应用使能层。其使命是让AI应用开发再简单,以解决AI成为通用生产力,推动千行百业智能升级时所面临的两难两缺难题:AI开发难、AI行业落地难、AI算力稀缺、AI人才短缺。ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。为了让广大的开发者朋友们可以近距离地体验、交流ModelArts,我们特举办本次ModelArts征文活动,邀请大家分享自己在学习、使用ModelArts产品过程中的心得与体验,你所了解的ModelArts技术架构、代码调试经验、训练技巧、故障解决经历、学习过程、反馈建议等等,都可以与我们分享。☞征文主题本次征文活动主题分为三大类,创作者可自由选择其一进行创作。一、技术干货1、立足具体应用场景,介绍ModelArts的场景优势及具体操作流程(可附带操作截图)。2、分享使用ModelArts的实战经验、应用技巧或成功案例,包含但不限于:自定义镜像制作、代码调试、训练调优、模型包使用规范、推理代码调试、OBS文件拷贝等内容。二、故障解决经验分享你在使用ModelArts过程中解决的问题,需要包含以下三点:问题现象、原因分析、处理方法。报错类型包括但不限于:CUDA相关问题文档路径错误ModelArts权限配置/文件访问权限问题NCCL问题CloudShell使用问题NPU使用问题OBS相关问题pip源问题OOM问题训练作业卡死作业退出码139问题磁盘空间不足问题作业性能下降问题VS Code/PyCharm的ssh访问问题自定义镜像问题访问公网相关问题模型导入问题模型推理代码开发问题三、畅所欲言1、你是怎么了解到ModelArts的,会用这款产品完成哪些工作,Ta怎样融入你的工作/学习、生活,哪些ModelArts的功能用的比较多?2、在产品使用过程中,你又有哪些感悟与心得要与大家分享?(例如,如何学习入门、解决报错的思路)☞征文规则1、活动面向企业开发者、个人开发者、高校开发者、生态合作伙伴等广大开发者群体。2、文章标题必须以【我与ModelArts的故事】开头。文章末尾需加上下面两句话:我正在参加【有奖征文第21期】说说你和ModelArts的故事,输出优质产品体验文章,赢开发者大礼包!cid:link_7文章跟华为云产品ModelArts相关,所以需要加上【AI开发平台ModelArts】和【云端实践】标签。3、建议投稿内容字数不少于500字(不含代码段),语句通顺、文章逻辑清晰、排版整洁、代码规范,尽量图文并茂(有技术架构图或者分析图等做支撑)。4、文章保证原创首次发布,如发现投稿内容为转载、复制、抄袭、恶意拼接、灌水等侵权作弊行为,均视为无效并取消参与资格。5、文章须符合征文主题及平台内容规范,不得出现违规负面内容。详见华为云开发者平台内容互动使用协议6、参加征文活动的文章作者拥有著作权,华为云拥有使用权、修改权等。☞参与方式新用户:①小白用户体验入口:ModelArts使用简介与免费试用②进行产品体验后即可参与活动老用户可直接发博文。>>>立即发表博文· 以上奖品均为实体奖品,具体视出库情况而定。☞我们需要哪些主题的稿件?如果你还不知道该怎么写,参考以下文章,可以让你更快上手:VSCode一键接入Notebook体验算法套件快速完成水表读数人工智能开发中,OBSutil如何一键配置日志提示“no socket interface found”☞评奖规则届时将由华为云开发者社区、EI团队共同参与评审。其他说明:1、一二三等奖不能叠加。2、一二三等奖可与创作小能手奖叠加。3、参与奖不与一二三等奖和创作小能手叠加。4、有奖征文投稿数量不计入月度激励活动文章数量。☞你将获得什么?我们会把收到的优质内容汇编成册,并注明原作者,积累行业口碑,开放给圈内开发者下载查阅,提供实践参考。对于贡献优质内容的作者,我们还将送出各项大礼!同时,在华为云站内外10+个技术社区醒目位置进行推荐,给与百万级流量资源。优质作者更可获得长期约稿和更多内容合作机会。☞问题咨询如果有任何问题,可扫描下方二维码咨询。添加微信时请备注:有奖征文+华为云博客昵称!更多ModelArts技术干货、实践经验,可前往ModelArts开发者论坛。为了方便开发者之间进行技术交流、了解ModelArts最新动态,欢迎扫码加入华为云ModelArts关键AI能力交流群。如果大家在征文中遇到有关华为云产品体验方面的问题建议,请到【云声平台】提出您的宝贵建议,标题以【云驻计划-定向征文】开头,还有机会赢取额外奖励。☞快来华为云社区博客,一起遨游技术海洋吧! 点击立即体验部分奖品展示:华为云云宝公仔开发者定制礼盒3(A5平装本+450ml温控杯+金属笔)开发者定制双肩包开发者定制短袖-T恤开发者定制Polo衫开发者定制折叠雨伞开发者定制帆布袋
  • [应用开发] 在MDC300昇腾Ascend310上,推理时间远超预期
    当前用的Ascend310,官方YOLOV5S推理时间约380毫秒,SIGMOD函数已被替换,性能上没有明显提升,文档中说的算力为60TOPS,这个时间严重超时,理论上时间应该在3.5毫秒左右,实际上相差了两个数量级,还没有8核CPU推理的速度快,希望提供明确的解决方案
  • [互动交流] 网页获取数据异常
    File "D:.RPA.RPA设计.python.lib.site-packages.pandas.io.formats.excel.py", line 834, in writewriter = ExcelWriter( # type: ignore[abstract]File "D:.RPA.RPA设计.python.lib.site-packages.pandas.io.excel._openpyxl.py", line 52, in __init__super******File "D:.RPA.RPA设计.python.lib.site-packages.pandas.io.excel._base.py", line 925, in __init__self.handles = get_handle(File "D:.RPA.RPA设计.python.lib.site-packages.pandas.io.common.py", line 711, in get_handlehandle = open(handle, ioargs.mode)PermissionError: [Errno 13] Permission denied: 'D:..RPA..用例..网页数据.xlsx'[2023-03-31 16:46:55,117] [INFO] - com.huawei.antrobot.logging.log_output.log_output(log_output_start_end:158) - end running action: extractWebData line:12 [网页数据拾取] in playbackScript.xml with result:None[2023-03-31 16:46:55,117] [INFO] - studio.logger(common_log:178) - 完成执行[原子命令] [playbackScript.xml 第12行] 网页数据拾取 [网页数据拾取] [NOK] [RobotUncaughtError] [系统执行错误: 发生了未捕获异常,详情:PermissionError(13, 'Permission denied')][2023-03-31 16:46:55,118] [INFO] - com.huawei.antrobot.logging.log_output.log_output(log_output_start_end:158) - end running logic: robot line:0 [None] in playbackScript.xml with result:None[2023-03-31 16:46:55,118] [ERROR] - studio.logger(common_log:178) - 完成执行[脚本] [采集] [NOK] [RobotUncaughtError] [系统执行错误: 发生了未捕获异常,详情:PermissionError(13, 'Permission denied')][2023-03-31 16:46:55,123] [INFO] - studio.logger(common_log:178) - 结束机器人[2023-03-31 16:46:55,124] [INFO] - __main__.antrobot(<module>:119) - robot finished
  • [互动交流] 我见AI方向的IP级别证书有三个方向,哪个方向的IP级别证书更通用或适合考取?
    我见AI方向的IP级别有三个方向,哪个方向的IP级别证书更通用或适合考取?
  • [其他] 浅谈ChatGPT的应用
    ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构,也是GPT-3.5架构,这是一种用于处理序列数据的模型,拥有语言理解和文本生成能力,尤其是它会通过连接大量的语料库来训练模型,这些语料库包含了真实世界中的对话,使得ChatGPT具备上知天文下知地理,还能根据聊天的上下文进行互动的能力,做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务2023年1月,巴黎政治大学(Sciences Po)宣布,该校已向所有学生和教师发送电子邮件,要求禁止使用ChatGPT等一切基于AI的工具,旨在防止学术欺诈和剽窃。ChatGPT的应用场景还包括:用来开发聊天机器人,也可以编写和调试计算机程序,还可以进行文学、媒体相关领域的创作,包括创作音乐、电视剧、童话故事、诗歌和歌词等。在某些测试情境下,ChatGPT在教育、考试、回答测试问题方面的表现甚至优于普通人类测试者。2023年2月4日消息,以色列总统艾萨克·赫尔佐格(Isaac Herzog)周三发表了部分由人工智能(AI)撰写的演讲,成为首位公开使用ChatGPT的世界领导人。2023年2月7日消息,Take-Two Interactive的首席执行官斯特劳斯·泽尔尼克(Strauss Zelnick)表示:ChatGPT是“一个非常激动人心的新工具时代”的一部分,可以“让团队和竞争对手的团队更有效地做真正有趣的事情”,但这项技术不会彻底改变电子游戏行业。2023年2月8日,微软宣布推出由ChatGPT支持的最新版本搜索引擎必应
  • [互动交流] RPA流程中的报错问题
    完成执行[原子命令] [subscript01.xml 第23行] 网页数据拾取 [网页数据拾取] [NOK] [RobotUncaughtError] [系统执行错误: 发生了未捕获异常,详情:PermissionError(13, 'Permission denied')][2023-03-28 11:35:15]完成执行[脚本] [test0324] [NOK] [RobotUncaughtError] [系统执行错误: 发生了未捕获异常,详情:PermissionError(13, 'Permission denied')]问题描述:流程设计完成后,可以正常使用,但有时又报错,如上面。并不知道什么时候会出现,知道的大能们给解答下
  • [互动交流] 关于RPA产品中,管理中心等购买的一些问题请教
    华为云的大能们,请教下1、weautomate管理中心可以进行本地化部署么,若是可以,是否可以设置不同权限的租户进行查看对应的权限,租户的数量是否有要求?2、管理中心的管理和数据状态等信息,是否有提供接口,可以进行一些二次开发,接口是否免费提供3、管理中心本地化部署这个价格是多少
  • 人工智能时代,软件工程师们将会被取代?-转载
    一、背景 几年前,天猫精灵、小度等智能助手不断出现,当时作为一个程序员来说,觉得这些所谓的人工智能不过如此,不足为惧。 然而随着 2022年 11月 30 日由 OpenAI 研发的 ChatGPT 发布,一切都变了。从 GPT -3 到 GPT 3.5 到 GPT 4 ,很多方面已经超过很多专业人士,功能越发强大, 基于 GPT 研发的工具不断涌现。  微软 Turing NLG 、百度 Ernie 、谷歌 Switch Transformer 等和 GPT 相似的大模型,也不断涌现和应用。 这些大模型在不同的领域相结合,提升各个领域的生产力,软件工程师和其他行业员工的部分工作已经可以被取代。一些相对简单和重复性的编码任务,甚至越来越多的复杂任务,人工智能可以轻松快速完成。  那么是否软件工程师群体将会被取代?软件工程师这个群体该何去何从? 本文会先介绍最近比较流行的,尤其是和软件开发相关性较大的 AI 工具,然后分享一下自己对人工智能发展的畅享,最后探讨我们应该如何应对。  二、大模型时代 2.1 GPT 系列 2.1.1 ChatGPT ChatGPT可以回答用户的问题。不论问题涉及历史、科技、文化等领域,只要用户提出,ChatGPT会尽力提供准确的答案,帮助用户更快地获取所需信息。 ChatGPT 还能进行对话。用户可以向其提出问题或者表达想法,ChatGPT会根据输入内容做出回复。这种对话交互可让用户感到更加舒适自在。 ChatGPT还可以生成文本。用户可提供关键词或句子,让 ChatGPT 创作出有趣的文本,如诗歌、小说、文章等。这对于那些需要灵感或想要创作的人来说非常有用。 ChatGPT还能进行语言翻译,将一种语言翻译成另一种。同时,它也能帮助用户润色文章或提供写作建议。这些功能都可帮助用户更高效地完成各种任务。  GPT 还提供了 API 调用的功能,可以让众多第三方应用可以基于该 API 提供自己的服务,成为 GPT 在各领域应用的加速器。  2.1.2 搜索引擎:New Bing、YouChat、Perple**ty 作为软件工程师而言, 这些基于大模型的搜索引擎帮助挺大:  可以通过它们来学**。让它给你介绍一些自己不理解的概念,不断追问的方式学的更深入和系统。 可以通过它们辅助编码。可以把一些编程任务交给它。让它帮你写一个 DEMO,然后不通过对话让它不断改进、甚至帮你编写单测。 可以通过它们解决问题。日常开发中遇到问题时,可以描述给新必应,让它给你解决问题的思路。有时候自己解决可能需要几个小时的时间,问它们可以很快锁定问题的关键,快速解决问题。 可以让它们辅助做计划、解答日常困惑。日常开发的技术提升、工作中的同事关系、旅游的计划的制定、周报编写等。 … (1)New Bing New Bing 是基于 GPT 4 的智能搜索引擎。 通过新必应,用户可以提出复杂问题让它来实现;可以对它提问,获得想要的答案;让它给你创作灵感。 (2) perple**ty.ai Perple**ty.ai 是一个基于人工智能的搜索引擎,可以用自然语言回答用户的问题。它有一些特色,比如: 提供个性化的推荐,根据用户的兴趣和历史搜索给出相关的建议 自动扩展查询,根据用户的输入添加更多的关键词或短语来提高搜索效果。 理解自然语言,可以处理复杂和模糊的问题,并给出准确和简洁的答案。 提供即时结果,可以快速地获取最新和最准确的信息。 提供一键摘要,可以将长篇网页缩减为主要内容,并分享给其他人。  2.1.3 编程领域:Cursor 、GitHub Copilot 当然前面的 ChatGPT 、New Bing 等也可以写代码,但有些工具更侧重于编码,如 Cursor 和 GitHub Copilot 等。  (1)cursor Cursor 非常强大而且免费,可以描述你想要的功能,它直接帮你写好。你还可以“和代码对话”,选中一些代码片段对它提问。你还可以选中一部分内容,说出自己的诉求,让它进一步优化。 官网界面: 和 Github copilot 的区别:  使用示例: 还可以选中某个函数或者某部分,让它讲解相关用法。还可以选中某个区域告诉它修改方向,让它根据你的需要进行优化,非常强大。 更详细的内容参考:《什么? 你还没用过 Cursor? 智能 AI 代码生成工具 Cursor 安装和使用介绍》 (2)Github Copilot Copilot 是非常强大的 AI 编程助手,并提供了 IDE 插件,使用起来非常方便。 官网界面: 提供的功能: 2.1.4 笔记领域:Notion AI、印象 AI 笔记软件也在基于 GPT 大模型提供越来越智能的功能。 如 Notion AI, 目前就可以提供以下功能: 总结笔记内容 头脑风暴 帮你写草稿 修改拼写和语法错误 将你写的文本轻松翻译成其他语言 https://www.notion.so/help/guides/using-notion-ai  2.1.5 办公领域:Microsoft 365 Copilot 借助大模型,Office 的办公效率有质的飞跃。 在 Word 里,你可以让 Copilot 给你写文章、改文字、做总结。 在PPT中,你跟它说说你的想法,它就自动给你做出一整套 PPT,美观的页面自动给你设计好。 在 Excel 中,Copilot 几秒内就帮你生成清晰的表格,并且搞定任何数据处理。 在 Outlook 中,Copilot 可以帮你写邮件,你起个头,打个底,它就自动给你补完整,顺便**润色你的文字。 2.1.6 阅读领域: ChatPDF https://www.chatpdf.com/ 可以上传 PDF ,然后和 PDF 进行“对话”,对学**效率有极大提升,可以快速找到想要的内容。  2.2 bard http://bard.google.com/ bard 是谷歌研发的大语言模型,近期开始试用申请,目前仅支持美国和英国,仅支持英文,未来会加入更多语言和地区。  Google Bard 和 ChatGPT 的区别;   2.3 文心一言 文心一言是百度研发的大预言模型,发布会已经发布,目前可以预约,感兴趣的同可以申请试用。  2.4 其他 2.4.1 YouChat 已知第一个将聊天助手集成到其搜索结果中的搜索引擎。   YouChat 和 New Bing 的区别:  YouChat 2.0 使用最新的自然语言技术,包括 ChatGPT 和 La**A 等模型,而 New Bing 则是基于最新的 GPT 4 模型。 YouChat 2.0 更注重用户的上下文和偏好,以提供更个性化和相关的答案。New Bing 则更倾向于提供客观和权威的答案,引用可靠的来源。 YouChat 2.0 集成了 AIERNIE Bot 和 CAL 等功能,可以提供很多高级功能,如翻译和计算等。 2.4.2 其他 最近还出现了很多厉害的 AI 工具,比如可以根据描述自动作画;可以根据上传的几段音频自动模仿人的声音;可以根据你的视频自动生成 AI 仿真人去直播;可以跟文章自动制作视频等,感兴趣的同学自行了解学**。  基于 GPT 3 和 GPT 4 的应用不断涌现,大家可以根据自己的需求去选用: https://gpt3demo.com/  https://gpt4demo.com/  2.5 国内免费可用的人工智能工具推荐 【1】ai edu (有网页版也有APP) 网站:https://aigcfun.com/ app: https://aigcfun.com/app-download  【2】chatgpt-sidebar (谷歌浏览器侧边栏,用起来挺方便) https://www.chatgpt-sidebar.com/  三、畅想 3.1 应用 随着 GPT 不断迭代,越发强大,和各行各更好地融合,必然给各行各业带来革命性的效率提升。 近期更多地是通过自然语言和工具交互,让它自动实现一些重复的任务,极大提升工作效率。 对我们的要求是思考如何更好地提问题,表达清楚我们想要什么。  3.2 发展阶段 下面是个人不成熟的想法,仅供参考: 我认为随着 GPT 大模型的出现,人类开始迈入人工智能的半自动化阶段,后面会发展的到全自动化阶段。在半自动阶段,人工智能的应用更多是扮演则辅助的工具的角色,而全自动化阶段则极少需要人的参与就可以自动完成工作。  就像你是一个裁缝,以前你要手工用针去缝制衣服,后来出现了缝纫机,进入半自动化阶段,此时缝纫机是你的辅助工具,你缝制衣服的效率**提高。后面出现全自动化的制衣流水线,那么很多裁缝就要失业了。 就像你是一个司机,以前都要手动挡,现在有了自动挡,又出现了辅助驾驶,开车的门槛和效率**提高,现在无人驾驶也已经出现(只是尚未普及),未来无人驾驶普及之后大量的司机要失业了。  四、我们该怎么办 4.1 学**方式和解决问题的途径已经改变 -> 需要利用好工具 正如 YJango《【渐构】万字科普GPT4为何会颠覆现有工作流;为何你要关注微软Copilot、文心一言等大模型》中说:人工智能的出现,很多人会将它和最高标准进行对比等,进而否定它,这是人的本能反应,因为人们害怕被取代。“然而,工具不会取代人,只会是会用工具的人取代不会用工具的人。”  以前学**技术,需要报培训机构、需要买书,拿来一本书需要看很久才能找到自己想要的内容;以前解决问题,需要去各种技术群里,去大牛请教,问题往往得不到及时的回应。 然而,随着 AI 的运用,一切都变了。   以前需要搜索很多资料,看很多书才能将某个知识理解地不错。现在想学**一个知识,直接让 AI 给你解答,可以通过不断追问,可以让它给你举例等方式,帮助你快速系统掌握一个知识点。 以前写技术文章,需要一些配套的代码示例,需要自己在 IDEA 里面写半天,现在借助 AI 几秒钟就可以写出符合要求的高质量的代码。 以前花几个小时甚至一两天才能排查出的问题,现在遇到一些棘手的问题,可以向 AI 请教,可以快速给你非常靠谱的解决思路。 从 New Bing 到 GitHub Copilot 再到 Microsoft 365 Copilot , 微软目前将这些人工智能工具定位为 “Copilot” (副驾驶员),即定位在帮助你写代码、帮助你办公。  虽然 AI 非常强大,GPT 等大模型的出现让我们和计算机的交互更直接,更像是人与人之间的对话,但依然需要我们能够正确地提出问题,引导它给出我们想要的答案。 使用这些工具和不用这些工具的学**、生活和工作效率的差异将是非常巨大的。推荐大家改变学**方法,利用好工具,更好地学**、生活和工作等。  4.2 新的工具、技术快速涌现 -> 需要**学** 随着深度学**模型参数规模的不断增长,大模型和不同的领域结合产出新的效率工具越来越多。无论是机器翻译、聊天机器人、搜索引擎、自动客服还是知识图谱,大模型都在提升认知智能水平。  在这样一个快速变化的时代,新的技术不断涌现,我们需要保持好奇心和探索精神,持续学**、**学**,学**新工具的使用,学**新的知识,学**新的技术,学**如何更好地利用人工智能解决问题,以适应未来的挑战和机遇。  4.3 换个赛道 所谓换个赛道有多重含义:从普通的软件开发工程师转型做 AI 开发、调试、维护等计算机的其他领域,甚至可以考虑转行;增强人更擅长的能力,而不是和机器去比拼机器更擅长的事情等。  正如阿里巴巴的王坚博士所说:“容易被机器取代的事情,本来就不该让人来做”。 古代有马车夫,工业革命以后,随着汽车而出现,马车夫逐渐被取代,马车夫可以转型做司机、做汽车维修等;就像 BB 机被手机取代了,接线员可以转行做手机相关业务;完全也可以去从事其他行业,做更多更有价值的事情  我们没有必要和机器比,就像人不服输,想要和汽车赛跑一样可笑。我们应该让机器做机器更擅长的事情,比如利用人工智能来自动化一些常规和重复的任务,如编写一些基础代码,进行代码重构,进行 bug 修复和帮我们测试,从而节省时间和精力,提高效率和质量。  在我看来,目前的人工智能的水平,处于初级的半自动化阶段。可以类比于缝纫机的发明对服装行业的影响,它可以替代传统的手工缝制方式,生产效率**提高,但依然需要人来操作。 目前人工智能更多地是扮演助手的角色,虽然很强大,但依赖我们去定义问题,去描述清楚问题,正确地提问,才能得到希望的答案,进而帮助我们创造价值。  这就像随着汽车、火车、高铁、飞机不断出现给我们的出行带来的效率提升一样。 软件工程师将部分编程精力解放出来,可以更专注于高层次和更有价值的认为,比如需求分析、架构设计、产品设计和提升用户体验等。 我们应该重点发展软件工程师除了基础的编码之外的其他能力,如需求分析、架构设计、高效沟通等。 我们还可以参考软件公司底层开发人员晋升后写的代码越来越少,甚至不写代码,他们在做什么,着重发展这些能力。比如更关注与人的沟通,更关注业务价值,思考如何做好、做大业务;更关注如何设计更强大而稳定额架构;更关注如何提升用户体验等。 我们需要做的是思考工具效率普遍提高的时候,我们和其他人的竞争力究竟在哪里?能否超越大多数人。  五、总结 人工智能的时代已经来临,比想象中来的更快,不可逆转,人工智能的广泛应用将为各行各业带来巨大的冲击。 我相信人工智能将产生类似工业革命这种效果,人类的生产力得到极大解放。  短期来看,人工智能只是辅助我们工作的工具,作为软件工程师需要利用好工具,需要做好持续学**甚至**学**的准备,需要从繁琐重复的工作中脱离出来,提高自己与机器,与人打交道的能力,将更多的精力投入到需求的分析、架构的设计等,做更多更有价值的事情。 现在大厂都在研究大模型,都希望“降本增效”,如果大家不能及时掌握并运用好工具,不能及时转变自己的能力重心,很可能被优先替代掉。  如果你有补充或者不同意见,欢迎留言交流。 ———————————————— 版权声明:本文为CSDN博主「明明如月学长」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/w605283073/article/details/129656118 
  • [其他] AI绘画国产开源50亿参数新模型
    AI绘画国产开源50亿参数新模型在 AI 绘画领域,很多研究者都在致力于提升 AI 绘画模型的可控性,即让模型生成的图像更加符合人类要求。一个名为 ControlNet 的模型将这种可控性推上了新的高峰。大约在同一时间,来自阿里巴巴和蚂蚁集团的研究者也在同一领域做出了成果,本文是这一成果的详细介绍。近年在大数据上学习的大规模生成模型能够出色地合成图像,但可控性有限。可控图像生成的关键不仅依赖于条件,而且更重要的是依赖于组合性。后者可以通过引入巨大数量的潜在组合来指数级地扩展控制空间(例如 100 个图像,每个有 8 个表征,产生大约 100^8 种组合)。类似的概念在语言和场景理解领域得到了探索,其中的组合性被称为组合泛化,即从有限的已知成分中识别或生成潜在的无限数量的新组合的技能。最新的一项研究提供了一种新的生成范式 —— 可以在灵活控制输出图像(如空间布局和调色板)的同时保持合成质量和模型创造力。这项研究以组合性为核心思想,首先将图像分解为具有代表性的因子,然后以这些因子为条件训练扩散模型,对输入进行重组。在推理阶段,丰富的中间表征形式作为可组合元素,为可定制内容的创建提供了巨大的设计空间 (即与分解因子的数量成指数比例)。值得注意的是,名为 Composer 的方法支持各种级别的条件,例如将文本描述作为全局信息,将深度图和草图作为局部指导,将颜色直方图作为低级细节等。除了提高可控性之外,该研究还确认了 Composer 可以作为通用框架,在无需再训练的情况下促进广泛的经典生成任务。    论文地址:https://arxiv.org/pdf/2302.09778v2.pdf    项目地址:https://github.com/damo-vilab/composer
  • [其他] 分享强化学习-自动驾驶安全验证新范式大幅减少测试里程
    提高自动驾驶汽车安全性能存在的一个关键瓶颈是安全验证效率低下。目前流行的是通过软件模拟、封闭测试轨道和道路测试相结合的方式来测试自动驾驶汽车的无损检测。这样一来,AV 开发人员必须支付大量的经济和时间成本来评估,从而阻碍了 AV 部署的进展。在 NDE 环境中,进行 AV 安全性能验证非常复杂。例如,驾驶环境在时空上是复杂的,因此定义此类环境所需的变量是高维的。随着变量维数呈指数增长,计算复杂度也呈指数增长。在这种情况下,即使给定大量数据,深度学习模型也很难学习。本文中,来自密歇根大学安娜堡分校、清华大学等机构的研究者,他们提出密集深度强化学习 (D2RL,dense deep-reinforcement-learning) 方法来解决这一挑战。该研究登 Nature 封面。    论文地址:https://www.nature.com/articles/s41586-023-05732-2    项目地址:https://github.com/michigan-traffic-lab/Dense-Deep-Reinforcement-Learning论文一作封硕,目前是清华大学自动化系终身助理教授(Tenure-Track Assistant Professor),此外,他还是密歇根大学交通研究所 (UMTRI) 的助理研究科学家。他于 2014 年和 2019 年在清华大学自动化系获得学士和博士学位,师从张毅教授。2017 年至 2019 年,他在密歇根大学土木与环境工程专业做访问博士,师从 Henry X. Liu 教授(本文通讯作者)。研究介绍D2RL 方法的基本思想是识别和去除非安全关键(non-safety-critical)数据,并利用安全关键数据训练神经网络。由于只有一小部分数据是安全关键的,因此其余数据的信息将被大量密集化。与 DRL 方法相比,D2RL 方法可以在不损失无偏性(unbiasedness)的情况下显著减少多个数量级的策略梯度估计方差。这种显著的方差减少可以使神经网络学习和完成 DRL 方法难以处理的任务。对于 AV 测试,该研究利用 D2RL 方法,通过神经网络训练周围车辆 (background vehicles,BV) 学习何时执行何种对抗性操作,旨在提高测试效率。D2RL 在基于 AI 的对抗性测试环境下可以将 AV 所需的测试里程减少多个数量级,同时确保了测试的无偏性。D2RL 方法可以应用于复杂的驾驶环境,包括多条高速公路、十字路口和环岛,这是以前基于场景的方法无法实现的。并且,该研究提出的方法可以创建智能测试环境,即使用 AI 来验证 AI。这是一种范式转变,它为其他安全关键系统进行加速测试和训练打开了大门。为了证明基于 AI 的测试方法是有效的,该研究使用大规模实际驾驶数据集对 BV 进行了训练,并进行了模拟实验和物理测试轨道的现场实验,实验结果如下图 1 所示。密集深度强化学习为了利用 AI 技术,该研究将 AV 测试问题表述为马尔可夫决策过程 (MDP),其中 BV 的操作是根据当前状态信息决定的。该研究旨在训练一个由神经网络建模的策略(DRL 智能体),它可以控制 BV 与 AV 交互的操作,以最大限度地提高评估效率并确保无偏性。然而,如上文所述,受维数和计算复杂度的限制,如果直接应用 DRL 方法,很难甚至根本无法学习有效策略。由于大多数状态都是非关键的,无法为安全关键事件提供信息,因此 D2RL 的重点是去除这些非关键状态的数据。对于 AV 测试问题,可以利用许多安全指标来识别具有不同效率和有效性的关键状态。该研究利用的关键性度量指标是当前状态特定时间范围内(例如 1 秒)内 AV 碰撞率的外部近似值。然后该研究编辑了马尔可夫过程,丢弃非关键状态的数据,并将剩余数据用于 DRL 训练的策略梯度估计和 Bootstrap。如下图 2 所示,相比于 DRL,D2RL 的优势是能够最大化训练过程中的奖励。参考链接:https://auto.ifeng.com/qichezixun/20200303/1390011.shtmlhttps://www.nature.com/articles/d41586-023-00798-4
  • [其他] 浅谈强化学习网络模型设计
    网络模型设计每一个自主体是由两个神经网络模块组成,即行动网络和评估网络。行动网络是根据当前的状态而决定下一个时刻施加到环境上去的最好动作。对于行动网络,强化学习算法允许它的输出结点进行随机搜索,有了来自评估网络的内部强化信号后,行动网络的输出结点即可有效地完成随机搜索并且大大地提高选择好的动作的可能性,同时可以在线训练整个行动网络。用一个辅助网络来为环境建模,评估网络根据当前的状态和模拟环境用于预测标量值的外部强化信号,这样它可单步和多步预报当前由行动网络施加到环境上的动作强化信号,可以提前向动作网络提供有关将候选动作的强化信号,以及更多的奖惩信息(内部强化信号),以减少不确定性并提高学习速度。进化强化学习对评估网络使用时序差分预测方法TD和反向传播BP算法进行学习,而对行动网络进行遗传操作,使用内部强化信号作为行动网络的适应度函数。网络运算分成两个部分,即前向信号计算和遗传强化计算。在前向信号计算时,对评估网络采用时序差分预测方法,由评估网络对环境建模,可以进行外部强化信号的多步预测,评估网络提供更有效的内部强化信号给行动网络,使它产生更恰当的行动,内部强化信号使行动网络、评估网络在每一步都可以进行学习,而不必等待外部强化信号的到来,从而大大地加速了两个网络的学习。设计考虑一,如何表示状态空间和动作空间。二,如何选择建立信号以及如何通过学习来修正不同状态-动作对的值。三,如何根据这些值来选择适合的动作。用强化学习方法研究未知环境下的机器人导航,由于环境的复杂性和不确定性,这些问题变得更复杂。标准的强化学习,智能体作为学习系统,获取外部环境的当前状态信息s,对环境采取试探行为u,并获取环境反馈的对此动作的评价r和新的环境状态 。如果智能体的某动作u导致环境正的奖赏(立即报酬),那么智能体以后产生这个动作的趋势便会加强;反之,智能体产生这个动作的趋势将减弱。在学习系统的控制行为与环境反馈的状态及评价的反复的交互作用中,以学习的方式不断修改从状态到动作的映射策略,以达到优化系统性能目的。
  • [区域初赛赛题问题] python 提交后:选手程序运行异常
    用python提交的。4张地图,其他三张都能完成跑完分,出错误的地图跑到3152帧时就0分结束了,错误信息只有一个 “选手程序运行异常”,有大佬知道怎么回事吗?
总条数:7893 到第 页
上滑加载中