• [其他] TensorFlow在OBS写入TensorBoard到达5GB时停止
    问题现象ModelArts训练作业出现如下报错:Encountered Unknown Error EntityTooLargeYour proposed upload exceeds the maximum allowed object size.:If the signature check failed. This could be because of a time skew. Attempting to adjust the signer原因分析OBS限制单次上传文件大小为5GB,TensorFlow保存summary可能是本地缓存,在每次触发flush时将该summary文件覆盖OBS上的原文件。当超过5GB后,由于达到了OBS单次导入文件大小的上限,导致无法继续写入。处理方法如果在运行训练作业的过程中出现该问题,建议处理方法如下:推荐使用本地缓存的方式来解决,使用如下方法:import moxing.tensorflow as moxmox.cache()
  • [其他] MindStudio介绍
    MindStudio是一款由微软开发的AI开发平台,它提供了一整套的工具和平台,帮助开发者创建和部署AI应用。以下是一些关于MindStudio的详细介绍:集成开发环境(IDE):MindStudio提供了一个基于Web的集成开发环境(IDE),开发者可以在此环境中编写、调试和测试AI应用。同时,MindStudio还支持各种主流编程语言,如Python、C++等。模型训练:MindStudio提供了各种模型训练工具和算法,包括深度学习框架、优化器、损失函数等。开发者可以使用这些工具和算法来训练自己的模型,并使用MindStudio提供的可视化工具来监视模型训练的过程。模型评估:MindStudio提供了一些模型评估工具和指标,包括准确率、精度、召回率等。开发者可以使用这些工具和指标来评估模型的性能和可靠性,并确定模型是否可以用于实际应用。部署与集成:MindStudio提供了多种部署和集成选项,包括云部署、本地部署、容器化等。开发者可以根据实际需求选择最适合的部署和集成方式,并将MindStudio集成到自己的应用程序中。数据管理:MindStudio提供了一些数据管理工具和功能,包括数据集管理、数据标签、数据标注等。开发者可以使用这些工具来处理和管理数据,并使用MindStudio提供的数据可视化工具来查看和分析数据。总的来说,MindStudio是一个功能强大、易于使用、集成全面的AI开发平台,适用于各种类型的AI应用。无论是初学者还是专业人士,都可以使用MindStudio来创建和部署AI应用。
  • [其他] PyTorch介绍
    PyTorch是一个由Facebook开发的开源机器学习库,也是一个用于构建深度学习模型的动态图框架。以下是一些关于PyTorch的详细介绍:动态图模式:PyTorch使用动态图模式,这意味着在构建神经网络时,计算图是在运行时构建的,而不是在编译时。这种动态图模式使得开发更加灵活和易于理解,也让调试更加方便。张量计算:PyTorch中的基本数据类型是张量(Tensor),它支持各种张量操作,如切片、旋转、缩放、变形等。这些操作可以用于构建深度学习模型的基本构建块,如卷积神经网络、循环神经网络等。优化器:PyTorch提供了各种优化器,如随机梯度下降(SGD)、Adam等,可以用于训练深度学习模型。这些优化器可以帮助我们在训练过程中更新模型参数,从而提高模型的性能。损失函数:PyTorch提供了各种损失函数,如均方误差(MSE)、交叉熵损失等,可以用于评估模型的性能。这些损失函数可以帮助我们在训练过程中衡量模型的预测结果与实际结果之间的差异。强大的GPU支持:PyTorch支持GPU加速,这使得训练深度学习模型更加快速和高效。PyTorch的GPU支持通过使用CUDA、cuDNN等库来实现。社区支持:PyTorch有一个活跃的社区,有许多开发者、研究人员和使用者共享他们的经验和知识。这个社区支持可以通过论坛、博客、社交媒体等方式获得。总的来说,PyTorch是一个功能强大、灵活、易于使用的深度学习框架,适用于各种应用,如图像识别、自然语言处理、推荐系统等。无论是初学者还是专业人士,都可以使用PyTorch来构建和训练深度学习模型。
  • TensorFlow框架
    TensorFlow的主要特点包括:灵活的语法和API:TensorFlow提供了一种简单而灵活的语法和API,使得用户可以轻松地创建和训练深度学习模型,无论是传统的神经网络还是最新的模型,都可以使用TensorFlow实现。多平台支持:TensorFlow支持多种硬件和平台,包括CPU、GPU、TPU等,并且可以在不同的操作系统上运行,例如Windows、Linux、macOS等。分布式训练:TensorFlow支持分布式训练,可以在多个机器上分布计算任务的多个部分,从而提高训练速度和效率。可扩展性:TensorFlow可以扩展到大规模数据集和模型,并且可以通过使用TensorFlow Reescale和TensorFlow Extended(TFX)来实现自动化机器学习(AutoML)。社区支持:TensorFlow拥有庞大的社区支持,包括Google工程师和其他开发者,可以在Stack Overflow、GitHub等平台上获得帮助。TensorFlow是一个由Google开发的深度学习框架,它提供了一个方便的工具来创建和训练深度学习模型,并可以在各种硬件和平台上运行。动态图模式和静态图模式:TensorFlow支持两种图模式,即动态图模式和静态图模式。动态图模式允许在运行时构建计算图,而静态图模式需要在编译时构建计算图。动态图模式可以更加灵活地构建模型,而静态图模式可以更加高效地执行模型。张量操作:TensorFlow提供了许多张量操作,例如矩阵乘法、卷积、池化等。这些操作可以用于创建深度学习模型的基本构建块。此外,TensorFlow还支持自定义张量操作,可以根据具体的需求自定义张量操作。模型训练:TensorFlow提供了一个内置的优化器,可以用于训练深度学习模型。它还提供了一些损失函数和评估指标,例如均方误差、准确率等,可以用于评估模型的性能。TensorFlow还支持分布式计算,可以将模型分布在多个计算机上进行训练,从而提高训练效率。可视化工具:TensorFlow提供了一些可视化工具,例如TensorBoard,可以用于监视模型的训练过程、查看训练数据、可视化模型结构等。这些工具可以帮助开发者更好地理解和调试模型。语言支持:除了Python,TensorFlow还支持Java、C++等语言。这使得开发者可以使用自己熟悉的语言来创建和训练深度学习模型。总之,TensorFlow是一个强大而灵活的深度学习框架,可以帮助用户创建各种深度学习模型,并且可以在各种硬件和平台上运行,具有广泛的应用前景。
  • [其他] 人工智能干货合集(2023年6月)
    6月份人工智能整理了如下干货合集:1. AI开发平台ModelArts新功能6月份的没有新功能上线,因为5月份已经上线了挺多新功能。2. 人工智能相关直播合集6月份的大会直播还是比较丰富的。共享技术盛宴:华为开发者联创日-深圳站联创日主要是围绕AI技术领域,包括AI技术趋势解读、行业应用实践解析等等。第一个演讲是关于金融科技的,FIRST。第二个演讲是关于大模型的发展和演进的,这个讲的挺好,值得一看。比如提示工程:关于大模型的正确打开方式。你要是打开方式不正确,可能就得不到自己想要的效果。也就是说,本来是个好东西的,不会用的人,可能就发挥不出它的好处。第三个演讲是夏飞老师来讲的,脱稿,挺不错,主要是讲的文生图的AI方向,即AIGC、内容创作方面。当然少不了华为云ModelArts AIGC体验案例的分享。包括云原生Notebook一键运行--ControlNet涂鸦生图、Instruct-pix2pix文字编辑图片。第四个演讲是关于昇腾的:昇腾CANN调优引擎夯实AI网络性能底座,释放昇腾澎湃算力。第五个演讲是关于Harmony的,如何通过 IoT+OpenHarmony 方案打造极致万物互联的新时代。华为云 IoT 把 IoT SDK 开源至 OpenHarmony,使用 OpenHarmony 加载 IoT 组件,并提供 OpenHarmony L0/L1/L2版本联云的功能,这意味着物联网设备开发者调用2个接口即可实现设备上鸿就上云。第六个演讲是关于大模型中的协助编码能力、大模型与研发工具的结合。介绍了CodeArts Snap智能编程助手如何协助编程。第七个演讲是一个使用ModelArts的应用案例介绍:对恶性皮肤肿瘤诊断系统的智慧升级,可以大幅缩短诊断时间,提升诊断准确度。而且使用简便,使用一个鸿蒙APP或其他网页方式就可以使用。该演讲者也是2022华为开发者大赛-最佳学生团队成员。人工智能框架生态峰会2023峰会提出了“共建人工智能框架生态,繁荣中国人工智能产业”的倡议,举行了上海昇思AI框架&大模型创新中心启动暨伙伴入驻仪式。举行了国家全民数字素养与技能培训基地授牌仪式,举行了昇思MindSpore开源社区理事会成立仪式,并举行了昇思MindSpore开源社区技术委员会专家聘请仪式(12位专家)。至此仪式就举行完了。下面是嘉宾演讲。第一个演讲是:从微观分子到地球生态:AI加速水分子奥秘探索。演讲者是研究计算化学的,演讲听起来也很有意思。水确实是一个很奇妙的物质。不过有些瑕疵的是,这个演讲时间严重超时了....第二个演讲是:紫东.太初2.0:基于昇思的全球首个全模态大模型。“紫东.太初”大模型一开始就是沿着多模态的技术路线在进行,通过这个演讲学到了不少新的知识。特别是,通过文本描述,和少量的图像打标签,可以让大模型学习到压实线的交通违规,让人印象深刻。而且我也感觉到,与chatGPT大出风头相比,国内的大模型在技术路线上并不差,甚至更先进。并且与实体经济、社会治理结合的更紧密。第三个演讲是:凝心聚力,共建AI框架开源新生态。主要介绍AI框架MindSpore2.0的各种功能和特性,生态建设等。第四个演讲是:开放、融合、共享,以大算力赋能AI产业生态。介绍了AI的性能测试行业标准:MLPerf;OAM Open acceleration Module等。第五个演讲是:云从携手昇思联创 打造AI自主方案。讲人机协同操作系统。案例:智慧机场。第六个演讲是:电力行业加速推动人工智能生态建设。对于飞无人机巡检拍图,AI看图,用电的AI预测等,很有电网的特色。其他的如客服、财务等领域的AI应用,就不太有行业特色,因为其他大企业应该是通用的。说到算子,国产的比NVIDIA还是要少一些,通过赛马的方式来加速开发。第七个演讲是:新时代的AI框架:昇思2.0全新技术升级。比如各种AI领域的开发套件,动静统一(动态图和静态图)、pytorch到mindspore的迁移支持、大模型套件、合作很多,大模型能力非常完整了。第八个演讲是:科技赋能产教融合,开创人工智能人才培养新模式。讲产教融合的。然后是:昇思MindSpore开源社区卓越贡献者颁奖,奖励了3个做出价值的团队、以及一些个人贡献者。以上是主论坛。还有TechDay,和各专题论坛。内容简直不要太丰富。感兴趣的可以去看:https://new.mindspore.cn/zh/summit/summit2023/
  • [技术干货] 零基础AI入门【转】
    ​  最近大家肯定被各种AI大模型刷屏了,从ChatGPT到Alpaca,从ChatGLM到Bloom,各种大模型层出不穷,给人感觉“再不上车就来不及了”。然而要上车大模型可不简单,首先,得准备至少几百张炼丹卡,或者直接上超算,普通人看看预算就自觉放弃了。但是,AI时代已经来临,时代从来不会抛弃那些跟不上时代的人,而是直接从他们身上碾压过去。因此,普通人也有必要学习一点AI知识。网上很多铺天盖地地在很高的层次大讲特讲人工智能对产业和人类的影响,看完后没有收获知识,但收获了焦虑。本文和热点网文则不同,本文以工程师的视角从零开始搭建并运行一个AI小模型,并把它完全运行起来以理解AI的工作原理,非常接地气。AI模型是如何工作的神经网络是AI的一种重要的计算模型,深度学习是通过神经网络实现特征学习和模式分析,大量用于图像识别等领域。我们以最基础的手写数字识别为例,看看一个神经网络的AI模型是如何工作的。MNIST(Modified National Institute of Stands and Technology)是一个开源的数据集,它包含了6万个手写的数字图像,每个图像都是28x28黑底白字:有了这个开源的数据集,我们就可以训练一个识别手写数字的AI模型,这个练习堪称AI界的“Hello, world”。要编写这个AI模型,我们需要使用一种称为卷积神经网络(CNN:Convolutional Neural Network)的神经网络结构,具体到代码层面,则需要使用PyTorch这样的训练框架。PyTorch底层用C++开发,外层用Python调用,非常方便易用。先确保机器安装了Python3,然后,安装PyTorch 2:pip install torch torchvision torchaudio如果本机有CUDA环境,也可以安装GPU版本,训练速度更快。编写模型准备好环境后,我们开始编写模型。先让AI写一个用CNN识别MNIST数据集的PyTorch代码:import torch.nn as nnclass NeuralNetwork(nn.Module):    def __init__(self):        super().__init__()        self.conv1 = nn.Conv2d(1, 32, 3, 1)        self.conv2 = nn.Conv2d(32, 64, 3, 1)        self.fc1 = nn.Linear(in_features=64 * 5 * 5, out_features=128)        self.fc2 = nn.Linear(in_features=128, out_features=10)    def forward(self, x):        x = nn.functional.relu(self.conv1(x))        x = nn.functional.max_pool2d(x, kernel_size=2)        x = nn.functional.relu(self.conv2(x))        x = nn.functional.max_pool2d(x, kernel_size=2)        x = x.view(-1, 64 * 5 * 5)        x = nn.functional.relu(self.fc1(x))        x = self.fc2(x)        return x看不懂不要紧,可以接着问AI,它会告诉我们,这个神经网络定义了两个CNN卷积层和两个全连接层,总的来说就是,这个模型定义了2层卷积网络加2层全连接层,输入为1通道图片,经过卷积和池化后进入全连接层,最后输出10个分类结果,分别代表0~9这10个数字。训练接下来我们要使用MNIST数据集来训练这个模型。受益于PyTorch这个框架,我们连下载和读取数据集都省了,因为PyTorch已经集成了这个数据集,直接下载、加载、训练,一步到位:from time import timeimport torchimport torch.nn as nnimport torch.optim as optimfrom torchvision import datasetsfrom torch.utils.data import DataLoaderfrom torchvision.transforms import ToTensorfrom model import NeuralNetworkdef train(dataloader, device, model, loss_fn, optimizer):    model.train()    running_loss = 0.0    for batch, (inputs, labels) in enumerate(dataloader):        inputs = inputs.to(device)        labels = labels.to(device)        optimizer.zero_grad()        outputs = model(inputs)        loss = loss_fn(outputs, labels)        loss.backward()        optimizer.step()        running_loss += loss.item()    print(f'loss: {running_loss/len(dataloader):>0.3f}')def test(dataloader, device, model):    model.eval()    correct = 0    total = 0    with torch.no_grad():        for inputs, labels in dataloader:            inputs = inputs.to(device)            labels = labels.to(device)            outputs = model(inputs)            _, predicted = torch.max(outputs.data, 1)            total += labels.size(0)            correct += (predicted == labels).sum().item()    print(f'accuracy: {100.0*correct/total:>0.2f} %')def main():    print('loading training data...')    train_data = datasets.MNIST(        root='./data', train=True, download=True, transform=ToTensor())    print('loading test data...')    test_data = datasets.MNIST(        root='./data', train=False, download=True, transform=ToTensor())    train_dataloader = DataLoader(train_data, batch_size=64)    test_dataloader = DataLoader(test_data, batch_size=64)    device = 'cuda' if torch.cuda.is_available() else 'cpu'    print(f'using {device}')    model = NeuralNetwork().to(device)    print(model)    loss_fn = nn.CrossEntropyLoss()    optimizer = optim.Adam(model.parameters(), lr=0.001)    epochs = 5    for t in range(epochs):        start_time = time()        print(f'epoch {t+1} / {epochs}\n--------------------')        train(train_dataloader, device, model, loss_fn, optimizer)        test(test_dataloader, device, model)        end_time = time()        print(f'time: {end_time-start_time:>0.2f} seconds')    print('done!')    path = 'mnist.pth'    torch.save(model.state_dict(), path)    print(f'model saved: {path}')if __name__ == '__main__':    main()数据集分两部分:一个用于训练,一个用于测试训练效果,用PyTorch的datasets.MNIST()自动下载、解压并加载数据集(解压后约55M数据,仅第一次需要下载)。然后,定义损失函数和优化器,用train()做训练,用test()测试训练效果,训练5次,运行结果如下:$ python3 train.pyloading training data...Downloading http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz...第一次运行会自动下载数据到data目录并解压...loading test data...using cpuNeuralNetwork(  (conv1): Conv2d(1, 32, kernel_size=(3, 3), stride=(1, 1))  (conv2): Conv2d(32, 64, kernel_size=(3, 3), stride=(1, 1))  (fc1): Linear(in_features=1600, out_features=128, bias=True)  (fc2): Linear(in_features=128, out_features=10, bias=True))epoch 1 / 5--------------------loss: 0.177accuracy: 97.21 %time: 30.96 secondsepoch 2 / 5--------------------loss: 0.053accuracy: 98.62 %time: 32.24 secondsepoch 3 / 5--------------------loss: 0.035accuracy: 98.70 %time: 33.70 secondsepoch 4 / 5--------------------loss: 0.025accuracy: 98.90 %time: 35.10 secondsepoch 5 / 5--------------------loss: 0.018accuracy: 98.95 %time: 32.02 secondsdone!model saved: mnist.pth经过5轮训练,每轮耗时约30秒(这里用CPU训练,如果是GPU则可以大大提速),准确率可以达到99%。训练结束后,将模型保存至mnist.pth文件。使用模型有了预训练的模型后,我们就可以用实际的手写图片测试一下。用PS手绘几张手写数字图片,测试代码如下:import torchfrom torchvision import transformsfrom PIL import Image, ImageOpsfrom model import NeuralNetworkdevice = 'cuda' if torch.cuda.is_available() else 'cpu'print(f'using {device}')model = NeuralNetwork().to(device)path = './mnist.pth'model.load_state_dict(torch.load(path))print(f'loaded model from {path}')print(model)def test(path):    print(f'test {path}...')    image = Image.open(path).convert('RGB').resize((28, 28))    image = ImageOps.invert(image)    trans = transforms.Compose([        transforms.Grayscale(1),        transforms.ToTensor()    ])    image_tensor = trans(image).unsqueeze(0).to(device)    model.eval()    with torch.no_grad():        output = model(image_tensor)        probs = torch.nn.functional.softmax(output[0], 0)    predict = torch.argmax(probs).item()    return predict, probs[predict], probsdef main():    for i in range(10):        predict, prob, probs = test(f'./input/test-{i}.png')        print(f'expected {i}, actual {predict}, {prob}, {probs}')if __name__ == '__main__':    main()因为训练时输入的图片是黑底白字,而测试图片是白底黑字,所以先用PIL把图片处理成28x28的黑底白字,再测试,结果如下:$ python3 test.py using cpuloaded model from ./mnist.pthNeuralNetwork(  (conv1): Conv2d(1, 32, kernel_size=(3, 3), stride=(1, 1))  (conv2): Conv2d(32, 64, kernel_size=(3, 3), stride=(1, 1))  (fc1): Linear(in_features=1600, out_features=128, bias=True)  (fc2): Linear(in_features=128, out_features=10, bias=True))test ./input/test-0.png...expected 0, actual 0, 0.9999996423721313, tensor([1.0000e+00, 2.3184e-10, 1.7075e-08, 7.6250e-16, 1.2966e-12, 5.7179e-11,        2.1766e-07, 1.8820e-12, 1.1260e-07, 2.2463e-09])...以图片0为例,我们要使用模型,需要把输入图片变成模型可接受的参数,实际上是一个Tensor(张量),可以理解为任意维度的数组,而模型的输出也是一个Tensor,它是一个包含10个元素的1维数组,分别表示每个输出的概率。对图片0的输出如下:1.0000e+002.3184e-101.7075e-087.6250e-161.2966e-125.7179e-112.1766e-071.8820e-121.1260e-072.2463e-09除了第一个输出为1,其他输出都非常接近于0,可见模型以99.99996423721313%的概率认为图片是0,是其他数字的概率低到接近于0。因此,这个MNIST模型实际上是一个图片分类器,或者说预测器,它针对任意图片输入,都会以概率形式给出10个预测,我们找出接近于1的输出,就是分类器给出的预测。产品化虽然我们已经有了预训练模型,也可以用模型进行手写数字识别,但是,要让用户能方便地使用这个模型,还需要进一步优化,至少需要提供一个UI。我们让AI写一个简单的页面,允许用户在页面用鼠标手写数字,然后,通过API获得识别结果:因此,最后一步是把模型的输入输出用API封装一下。因为模型基于PyTorch,所以使用Python的Flask框架是最简单的。API实现如下:import base64import torchfrom io import BytesIOfrom PIL import Imagefrom flask import Flask, request, redirect, jsonifyfrom torchvision import transformsfrom model import NeuralNetworkdevice = 'cuda' if torch.cuda.is_available() else 'cpu'print(f'using {device}')model = NeuralNetwork().to(device)path = './mnist.pth'model.load_state_dict(torch.load(path))print(f'loaded model from {path}')print(model)params = model.state_dict()print(params)app = Flask(__name__)@app.route('/')def index():    return redirect('/static/index.html')@app.route('/api', methods=['POST'])def api():    data = request.get_json()    image_data = base64.b64decode(data['image'])    image = Image.open(BytesIO(image_data))    trans = transforms.Compose([        transforms.Grayscale(1),        transforms.ToTensor()    ])    image_tensor = trans(image).unsqueeze(0).to(device)    model.eval()    with torch.no_grad():        output = model(image_tensor)        probs = torch.nn.functional.softmax(output[0], 0)    predict = torch.argmax(probs).item()    prob = probs[predict]    print(f'predict: {predict}, prob: {prob}, probs: {probs}')    return jsonify({        'result': predict,        'probability': prob.item()    })if __name__ == '__main__':    app.run(port=5000)上述代码实现了一个简单的API服务,注意尚未对并发访问做处理,所以只能算一个可用的DEMO。思考对于AI程序,我们发现,模型定义非常简单,一共也就20行代码。训练代码也很少,不超过100行。它和传统的程序最大的区别在哪呢?无论是传统的程序,还是AI程序,在计算机看来,本质上是一样的,即给定一个输入,通过一个函数计算,获得输出。不同点在于,对于传统程序,输入是非常简单的,例如用户注册,仅仅需要几个字段,而处理函数少则几千行,多则几十万行。虽然代码量很大,但执行路径却非常清晰,通过跟踪执行,能轻易获得一个确定的执行路径,从而最终获得一个确定性的结果。确定性就是传统程序的特点,或者说,传统程序的代码量虽然大,但输入简单,路径清晰:f(x1, x2, x3)  │  ▼ ┌─┐◀─┐ └─┘  │  │   │  ▼   │ ┌─┐  │ └─┘  │  │   │  ▼   │ ┌─┐──┘ └─┘  │  ▼ ┌─┐ └─┘AI程序则不同,它只经过几层计算,复杂的大模型也就100来层,就可以输出结果。但是,它的输入数据量大,每一层的数据量更大,就像一个扁平的巨大函数:       f(x1, x2, x3, ... , x998, x999, x1000)         │   │   │   │   │   │   │   │   │         ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼        ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐        └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘         │   │   │   │   │   │   │   │   │ ┌───┬───┼───┼───┼───┼───┼───┼───┼───┼───┼───┬───┐ ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼   ▼┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐└─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ └─┘ │   │   │   │   │   │   │   │   │   │   │   │   │ └───┴───┴───┴───┼───┼───┼───┼───┼───┴───┴───┴───┘                 ▼   ▼   ▼   ▼   ▼                ┌─┐ ┌─┐ ┌─┐ ┌─┐ ┌─┐                └─┘ └─┘ └─┘ └─┘ └─┘这个函数的计算并不复杂,每一层都是简单的矩阵计算,但并行程度很高,所以需要用GPU加速。复杂度在于每一层都有大量的参数,这些参数不是开发者写死的,而是通过训练确定的,每次对参数进行微调,然后根据效果是变得更好还是更坏决定微调方向。我们这个简单的神经网络模型参数仅几万个,训练的目的实际上就是为了把这几万个参数确定下来,目标是使得识别率最高。训练这几万个参数就花了几分钟时间,如果是几亿个甚至几百亿个参数,可想而知训练所需的时间和算力都需要百万倍的增长,所以,AI模型的代码并不复杂,模型规模大但本身结构并不复杂,但为了确定模型中每一层的成千上万个参数,时间和算力主要消耗在训练上。比较一下传统程序和AI程序的差异:传统程序AI程序代码量大少输入参数少多输出结果精确输出不确定性输出代码参数由开发设定由训练决定执行层次可达数百万行仅若干层网络执行路径能精确跟踪无法跟踪并行串行或少量并行大规模并行计算以CPU为主以GPU为主开发时间主要消耗在编写代码主要消耗在训练数据主要存储用户产生的数据需要预备大量训练数据程序质量取决于设计架构、代码优化等取决于神经网络模型和训练数据质量传统程序的特点是精确性:精确的输入可以实现精确地执行路径,最终获得精确的结果。而AI程序则是一种概率输出,由于模型的参数是训练生成的,因此,就连开发者自己也无法知道训练后的某个参数比如0.123究竟是什么意义,调大或者调小对输出有什么影响。传统程序的逻辑是白盒,AI程序的逻辑就是黑盒,只能通过调整神经网络的规模、层次、训练集和训练方式来评估输出结果,无法事先给出一个准确的预估。转自: https://www.liaoxuefeng.com/article/1543329456062498​
  • [热门活动] 【HDC.Cloud2023丨技术梦工厂】AI涂鸦,简笔画秒变艺术作品
    参与活动前请先报名HDC.Cloud2023开发者社区活动【点击报名】活动奖励:本次活动结束后,如参与技术梦工厂相关体验活动人数≥200人,将由华为云工作人员将符合抽奖条件的用户名单优先导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。将抽取80位符合条件的开发者,每人奖励无线鼠标1个,以及1位幸运开发者,获取总价值4000元终极电子产品礼包(HUAWEI Sound X 智能音箱、任天堂 Nintendo Switch 国行游戏机)。活动时间:6月20日-7月16日 参与方式:开发者根据案例指导体验AI涂鸦生图,并将最后运行的结果截图(如下所示)回复至活动帖内,视为完成本次任务。【点击立即体验AI涂鸦生图案例】活动规则:回复非示例要求图片或其他无效信息,视为无效楼层,并取消抽奖资格。  Tips:1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】2)填写时间截至2023年8月1日3)在【2023】HDC.Cloud开发者社区活动获奖信息收集表中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳cid:link_3
  • 动漫
    kkkkkkkkkkkkkkkkkkkkkkkk
  • 山水
    山水 水墨 动漫 粒子 五行
  • 抽象的日出
    AI-这是抽象的日出
  • [其他] 浅谈AI Gallery
    AI Gallery算法、镜像、模型、Workflow等AI数字资产的共享,为高校科研机构、AI应用开发商、解决方案集成商、企业级/个人开发者等群体,提供安全、开放的共享及交易环节,加速AI资产的开发与落地,保障AI开发生态链上各参与方高效地实现各自的商业价值。AI说介绍AI Gallery的AI说模块为开发者提供自由分享各类AI领域内知识和经验的平台。开发者既可以发布个人技术文章,也可以阅读和学习他人分享的技术文章。案例库介绍AI Gallery的案例库是面向场景化交付的AI资产的组合和使用案例。案例中沉淀了基于业务场景的AI知识、经验和部分通用的业务逻辑,能够为某些具体的业务场景提供AI环节的解决方案。AI Gallery使用限制    目前自动学习产生的模型暂不支持发布到AI Gallery。    订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。    使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用情况,由华为云ModelArts等管理控制台向使用方收取。    已发布的AI资产,如果不需要在资产列表中展示该资产,可以将资产下架。下架后,已发布资产仅发布者可见。已经被订阅的资产,即便资产下架后,基于配额资源的约束,仍然可有效使用该资产,不会因为该资产的下架而产生使用问题。AI Gallery中,“资产集市”支持Notebook代码样例、数据集、算法、镜像、模型、Workflow等AI资产的共享。    “资产集市 > Notebook”:共享了Notebook代码样例。    AI Gallery的Notebook模块为开发者提供免费分享和灵活使用Notebook代码样例的功能。您可以将优秀的Notebook代码样例发布在AI Gallery社区,供其他开发者学习使用;也可以在AI Gallery上查看其他人共享的Notebook案例的详细描述、代码信息等,通过“Run in ModelArts”将Notebook案例在ModelArts控制台快速打开、运行以及进行二次开发等操作。    “资产集市 > 数据集”:共享了数据集。    AI Gallery的数据模块支持数据集的共享和下载。在AI Gallery的“数据”中,可以查找并下载满足业务需要的数据集。也可以将自己本地的数据集发布至AI Gallery中,共享给其他用户使用。    “资产集市 > 算法”:共享了算法。    AI Gallery的算法模块支持算法的共享和订阅。在AI Gallery的“算法”中,可以查找您想要的算法,订阅满足业务需要的资产,最后推送至ModelArts控制台中使用。也可以将个人开发的算法分享发布至AI Gallery中,共享给其他用户使用。    “资产集市 > 镜像”:共享了ModelArts镜像。    AI Gallery的ModelArts镜像支持发布和使用共享的镜像。在AI Gallrey的“镜像”中,可以查找您想要的ModelArts镜像,最后在ModelArts管理控制台中使用。也可以将个人开发的ModelArts镜像分享发布至AI Gallery中,共享给其他用户使用。    “资产集市 > 模型”:共享了ModelArts模型和HiLens技能。    AI Gallery的模型模块包括ModelArts模型和HiLens技能,支持发布和订阅共享的模型。在AI Gallery的“模型”中,可以查找您想要的ModelArts模型或HiLens技能,订阅满足业务需要的资产,最后推送至ModelArts或HiLens等管理控制台中使用。也可以将个人开发的ModelArts模型或HiLens技能分享发布至AI Gallery中,共享给其他用户使用。其中,HiLens技能为HiLens服务的技能市场功能,详细指导请参见《HiLens用户指南》。    “资产集市 > Workflow”:共享了Workflow。    AI Gallery的Workflow模块支持Workflow的共享和订阅。在AI Gallery的Workflow中,可以查找您想要的Workflow,订阅满足业务需要的资产,最后推送至ModelArts控制台中使用。也可以将个人开发的Workflow分享发布至AI Gallery中,共享给其他用户使用。
  • [其他] 循环神经网络算法(RNN)
    循环神经网络算法(RNN)是一种人工神经网络模型,主要用于处理序列数据,例如文本、语音、视频等。RNN的循环指的是在网络中存在反馈连接,即当前时刻的输出不仅与当前输入有关,还与之前时刻的输入有关。这种反馈机制使得RNN能够记忆之前的信息,从而在处理序列数据时能够更好地捕捉时序信息。RNN的应用非常广泛,其中最成功的应用之一是自然语言处理领域。在自然语言处理中,RNN常常被用于序列标注、机器翻译、文本生成等任务。此外,RNN还被广泛应用于语音识别、图像描述生成、视频分析等领域。以机器翻译为例,传统的翻译系统需要先对源文本进行分词、语法分析等预处理,然后进行翻译,最后再将翻译结果重新组合成合法的目标语言文本。这种方法忽略了源文本中蕴含的时序信息,导致翻译结果不够准确。而使用RNN的机器翻译系统可以将源文本输入到网络中,通过网络自动学习到翻译模型,然后将翻译结果直接输出到目标语言文本中,避免了繁琐的预处理过程。在RNN的基础上,还有一些改进的算法,如长短时记忆网络(LSTM)、门控循环单元(GRU)等,它们都在自然语言处理领域取得了很好的效果。其中,LSTM是一种能够更好地处理长序列信息的RNN变体,它在自然语言处理、语音识别、图像分析等领域都得到了广泛应用。GRU是一种比LSTM更简单、更高效的循环神经网络算法,也在许多应用中取得了良好的效果。
  • [其他] 浅谈自组织映射算法(SOM)
    自组织映射算法(SOM)是一种无导师学习方法,它模拟了人脑对信号处理的特点,通过神经网络的自组织能力对输入数据进行分类和可视化。SOM 模型将输入数据映射到二维或三维的网格中,每个节点都有一个权重,表示该节点在数据中的位置。当新的输入数据到来时,算法会将其分配到最接近的节点,这个过程称为竞争。节点会不断地更新自己的权重,以使自己在未来的竞争中更有优势。这个过程模拟了大脑皮层中的神经元之间的连接形成过程。SOM 的应用非常广泛,包括模式识别、信号处理、数据挖掘等。由于该算法具有简单易用、可视化效果好等优点,因此在实际应用中得到了广泛的应用和研究。SOM 可以用于发现数据中的规律和模式,同时也可以将高维数据可视化。例如,在数据分析中,SOM 可以将高维数据降低到二维或三维空间,从而方便地进行可视化分析。此外,SOM 还可以用于聚类分析、异常检测、预测模型等方面。SOM 的工作原理包括竞争和合作两个过程。竞争过程是指输入数据被映射到网络节点,节点根据其权重值和距离计算得到一个相似度得分,从而确定其在竞争中的胜负。合作过程是指节点根据竞争结果调整其权重值,使得权重值相近的节点互相连接,从而形成神经元之间的连接。这个过程不断迭代,直到网络达到稳定状态,即节点之间的权重值不再发生变化。SOM 的优点包括简单易用、可视化效果好、能够自动进行特征提取、能够处理噪声数据等。缺点包括需要手动调整网络结构、难以进行在线学习、容易受到初始化权重的影响等。
  • [其他] 生成对抗网络算法
    生成对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,主要用于生成与真实数据相似的人工数据。GAN包括两个神经网络,即生成器和判别器。生成器从随机向量中生成假数据,而判别器负责判断输入的数据是真实的还是伪造的。通过不断迭代训练过程,GAN可以生成与真实数据相似的新数据。GAN的基本思想是通过对抗训练来生成与真实数据相似的人工数据。生成器生成的假数据会被判别器判断,如果判别器无法区分真假数据,那么生成器就成功了。GAN的训练过程包括两个步骤。首先训练判别器,通过给定真实数据和生成器的输出,训练判别器来区分真实数据和伪造数据。然后训练生成器,通过利用判别器的输出来调整生成器的参数,使得它生成的假数据能够欺骗判别器。GAN可以应用于各种领域,如图像生成、图像修复、图像增强等。它还可以用于自然语言处理中的文本生成和对话生成。GAN的主要优点是可以生成与真实数据相似的新数据,缺点是训练不稳定,容易陷入局部最优解。GAN的应用非常广泛,例如可以使用GAN来生成图像的水印、头像、手写字体等,也可以用于生成音乐、诗歌、故事等。GAN的优点是可以生成与真实数据相似的人工数据,因此可以用于各种创意产业中。同时,GAN也可以用于图像修复、图像增强、图像合成等任务中。然而,GAN的训练过程比较复杂,需要仔细地选择超参数和训练策略,否则容易陷入局部最优解或出现其他问题。此外,GAN的训练结果也具有一定的不确定性,因此需要多次训练和尝试来获得满意的结果。总之,GAN是一种强大的深度学习模型,可以用于生成各种类型的数据。尽管它的训练过程比较复杂,但它的应用前景非常广阔,可以为许多领域带来创新性的解决方案。
  • [其他] 逻辑回归算法
    逻辑回归是一种用于分类和预测的算法,通过使用逻辑函数将线性回归的结果映射到(0,1)的范围内,从而显示概率。它是属于广义线性回归的一种,可以用来描述二分类或多分类问题。逻辑回归原理:逻辑回归是一种线性分类模型,通过将线性回归的结果映射到(0,1)的范围内,从而显示概率。它使用逻辑函数作为联系函数,将线性回归的结果映射到(0,1)的范围内。逻辑函数的表达式如下:Sigmoid(Score)=1/(1+e^(-Score))其中Score是线性回归的结果,Sigmoid是逻辑函数。逻辑回归与线性回归的联系与区别:联系:逻辑回归和线性回归都是用来描述自变量x和因变量Y之间的关系,或者说自变量X对因变量Y的影响程度。区别:线性回归是用来描述数值变量之间的关系的,而逻辑回归是用来描述分类变量之间的关系的。逻辑回归算法的应用场景:二分类问题:逻辑回归最常用于二分类问题,例如垃圾邮件过滤、医学诊断等。多分类问题:逻辑回归也可以用于多分类问题,通过将多个逻辑回归模型组合在一起来解决多分类问题。预测问题:逻辑回归可以用于预测问题,例如在市场营销领域中进行客户行为的预测。总之,逻辑回归算法是一种强大的工具,可以用于解决各种分类和预测问题。
总条数:3416 到第 页
上滑加载中