北京 [ 更换 ]
热门城市
北京上海广州深圳成都杭州南京武汉天津西安重庆青岛沈阳长沙大连厦门无锡福州济南宁波昆明苏州郑州长春合肥南昌哈尔滨常州烟台南宁温州石家庄太原珠海南通扬州贵阳东莞徐州大庆佛山威海洛阳淮安呼和浩特镇江潍坊桂林中山临沂咸阳包头嘉兴惠州泉州三亚赣州九江金华泰安榆林许昌新乡舟山慈溪南阳聊城海口东营淄博漳州保定沧州丹东宜兴绍兴唐山湖州揭阳江阴营口衡阳郴州鄂尔多斯泰州义乌汕头宜昌大同鞍山湘潭盐城马鞍山襄樊长治日照常熟安庆吉林乌鲁木齐兰州秦皇岛肇庆西宁介休滨州台州廊坊邢台株洲德阳绵阳双流平顶山龙岩银川芜湖晋江连云港张家港锦州岳阳长沙县济宁邯郸江门齐齐哈尔昆山柳州绍兴县运城齐河衢州太仓张家口湛江眉山常德盘锦枣庄资阳宜宾赤峰余姚清远蚌埠宁德德州宝鸡牡丹江阜阳莆田诸暨黄石吉安延安拉萨海宁通辽黄山长乐安阳增城桐乡上虞辽阳遵义韶关泸州南平滁州温岭南充景德镇抚顺乌海荆门阳江曲靖邵阳宿迁荆州焦作丹阳丽水延吉茂名梅州渭南葫芦岛娄底滕州上饶富阳内江三明淮南孝感溧阳乐山临汾攀枝花阳泉长葛汉中四平六盘水安顺新余晋城自贡三门峡本溪防城港铁岭随州广安广元天水遂宁萍乡西双版纳绥化鹤壁湘西松原阜新酒泉张家界黔西南保山昭通河池来宾玉溪梧州鹰潭钦州云浮佳木斯克拉玛依呼伦贝尔贺州通化朝阳百色毕节贵港丽江安康德宏朔州伊犁文山楚雄嘉峪关凉山雅安西藏四川广东河北山西辽宁黑龙江江苏浙江安徽福建江西山东河南湖北湖南海南贵州云南陕西甘肃青海台湾内蒙古广西宁夏香港澳门
培训资讯网 - 为兴趣爱好者提供专业的职业培训资讯知识

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

互联网 人员 从业 从业人员

现在,AI技术、GPT等大模型应用正在加快对互联网行业的“入侵”,这也倒逼着相关的互联网从业人员开展内容学习。那么对非技术人员来说,如果想拥抱AI时代,可以基于哪些内容进行搜索学习?本文作者便发表了他作为非技术人员的思考和启发,一起来看一下吧。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

从2023年农历春节开工到现在,身边每天都充斥着对GPT、LLM领域大量的媒体分析、行研报告、产品demo、社群活动。热度要比过去元宇宙、区块链这些技术概念更加空前,可见他对底层技术的变革是如此的歇斯底里。

作为一枚数据产品经理,苦研数周,输出倒逼,简单总结了一些自己的学习心得。

前言

  1. 用大白话让非技术人员了解这一技术的关键点,如想深度探索,可基于此搜索学习。
  2. 让互联网行业产品、运营等人员在工作中想要应用这一技术时有基本的框架思维。
  3. 作者非AI技术出身,有表述不准的地方,欢迎指正。

一、ChatGPT与GPT通识

ChatGPT是一个聊天应用。一个输入框,输入你想问他的任何问题,他会给你一个答案,并且这个答案看起来是经过思考、讲究语法并且正确的。他理解你的语言,并能用你的语言给你答案。

而这背后,就是GPT这个大模型在发挥作用(Generative Pre-trained Transformer),翻译为“基于Transformer的生成式预训练模型”(引号里的中文值得逐字理解),通俗点讲,这个模型的目的就是理解你输入的文字,然后计算答案,然后用你能懂的语言进行呈现。

至于什么是Transformer、它为什么可以做到,这背后的技术点,我们下文展开。

对于行业小白,我们先科普几个这个行业关键词:

  • NLP:Natural Language Processing,自然语言处理。
  • AGI:General Artificial Intelligence,通用人工智能。
  • LLM:Large Language Modle,大语言模型。
  • AIGC:AI-generated content,互联网人应该都听过UGC、PGC,没错这个就是AIGC,AI生成内容。

连起来造句就是:要想让AI达到通用人工智能(AGI)的程度,自然语言(NLP)领域的大语言模型(LLM)能力是非常重要的,大语言模型(LLM)领域有一个重要的应用就是AIGC。

二、GPT大模型背后的关键技术点

如果你想要研究清楚GPT背后的技术点以及发展脉络,可以先从以下几个概念入手。

1. Transformer

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

你可以理解为他是一个特征提取器,中文语义:转换器,他的目的就是把你给他的文本数据进行理解学习,形成他认为的人类语法。有资料说明,光GPT3就用了45TB的文本数据,涵盖中文、英文等多国语言,模型生成了超1.7万亿的参数。就像一个一两岁的孩子,没背单词、没背语法、没学拼音也会说话一样。这中间的实现就是这个模型在起作用。所以也堪称暴力美学。

用技术术语说,Transformer的核心是自注意力机制(self-attention),它可以让模型在处理序列数据时,将不同位置的信息加权组合起来,从而更好地理解输入序列的结构和含义。这其中的核心手段是编码和解码,即Encoder和Decoder。

Encoder把输入文本编码成一系列向量,Decoder则将这些向量逐一解码成输出文本。在每一个Encoder和Decoder中,都有多个自注意力层和前馈神经网络层组成。这些层通过不断传递信息和调整参数,最终将输入转化为一个意义准确的输出。

2. MLM(Masked Language Modeling)

MLM(掩码语言模型)是 GPT 预训练中的一个关键技术点,其目的是通过对输入序列中的部分单词进行遮盖,使模型在预测下一个单词时能够学习到上下文的信息。简单但很巧妙。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

在MLM中,模型会在输入的文本序列中随机选择一些单词,并将其替换为特殊的MASK标记。模型的任务是预测这些MASK标记所代表的单词是什么。因为模型只能观察到MASK标记周围的文本,因此它需要对上下文进行建模,以便正确地预测MASK标记所代表的单词。Transformer、MLM等等这些架构、算法和模型设计让GPT问世,而Prompt和Fine-tune可以让我们能更好的使用他。

3. Prompt

中文语义:提问、提示语。在与ChatGPT对话的时候,我们的输入即为prompt,想要让GPT更好的理解我们的意图,那prompt的精度就决定了这个大模型能否高效理解我们的意图。

特别是在AIGC领域,只要你能想到,他就可以给你反馈。如果把GPT看做一个知识的海洋、一个可以持续再生的金库,人类想要攫取,那Prompt会变得非常非常非常重要,它就是那个金钥匙。

4. Fine-tune

中文语义:微调。企业在应用AI能力时,GPT可以定义为一个理解自然语言的初始模型,为了更好地应用在业务场景中,可以在GPT的基础上进行微调,理解为一个有监督学习的过程,喂给他我们的业务数据或领域数据集,让他能读懂我们的业务数据并按需输出。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

三、大语言模型对软件产品的改变

1. 用户需求被直观暴露

目前的软件产品,用户的真实需求主要是通过在软件产品内的行为数据进行发现和理解,如监控用户反复查看某个商品、用户搜索了某个商品、用户将什么商品添加到了购物车,基于此进行分析、预测,根据用户行为反馈再进行调优。

当有了自然语言处理的能力,用户会直接暴露自己的需求,如“我需要购买从北京到三亚的往返机票,旅途5天,希望有一半时间住民宿,机票和住宿一共7000元预算,请给我提供一个规划”。

这种简单粗暴的交互,会迭代目前“业务与行为数据采集、数据聚合与处理、用户画像建模、人/物标签计算、推荐算法、反馈调优”的整套数据工程。当下自然语言所暴露出来的需求会在数据集中占更大的权重。

2. 新的人机交互

ChatGPT、Midjourney+Discord、文心一言等现在都是通过聊天框模式提供服务。这确实也是人与机器通过自然语言沟通最理想的方式。但chat模式不是当前人机交互的终极形态。

人与机器交互,想要达成期望结果,对话框、对话框+命令行、对话框+插件并不是当前人机交互的终极形态。

所以chat不是结果,但,已成必须。

比如我们的日常学习某一软件,特别PS、数据分析工具等,学习门槛很高,这是因为软件设计是自下而上的设计,人机交互的连接点是鼠标(或约等于鼠标的手指)。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

想要让软件以及他的宿主——计算机,识别你的意图,开发者需要完全依赖于鼠标在计算机上的点击、拖拽、滚动等交互方式来设计软件反馈。而现在,有了一种新的范式,就是自然语言。基于LLM这样的大模型,机器已经或逐步可以足够理解人类的语言并做出正确的反映。如果再有鼠标的交互加持,人类使用机器的效率会有更大程度的提升。

所以自然语言交互可能会成为所有软件产品的必须。

3. 插件化一些软件,再淘汰一些软件

软件的工具如 word、PPT、EXCEL、印象笔记、Xmind、github正在“+AI”以降低使用成本了。你可以自研AI能力,也可以让自己被插件。当新的用户习惯被养成,那些不能AI化的软件会显得异常难用。

比如一个数据分析平台,

如果数据查询只能通过自助式点选,而不是问答式就会面临用户体验差评,如果数据查询报表还需要人来去总结数据基础表征,而不是自动进行总结也会面临用户体验差评。

于是,产品就会有逐步被弃用的风险。

4. 想象力变得更为重要

工具本身的术变得不是那么重要,AIGC类型的工具使用门槛相对变低,但对人的大脑反而提出了更高的要求。

人的想象力是无限的,但实现能力是有限的,而AIGC工具,他可以让想象具象化,甚至在你创作过程中给你惊喜。

过去做一张如下的图需要在设计软件上进行至少数小时的操作,初级选手光设计工具就得学习很久。如果这个需求是来自于客户,那这其中的沟通和理解成本会变为很大的设计成本。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

图:在Midjourney平台的创作而现在,你只需要描述你想要的,即使你要一个五彩斑斓的黑,AI也会实时给你一个他认为正确的反馈,你可以基于此不断用语言进行调整或辅之以设计师的PS之术。

想象力变得越来越重要,甚至可以说得到了释放。

四、值得思考的地方

1. 依然存在的学习成本

机器可以理解人类的语言,但并不代表可以精准理解人的意图。这之间的gap需要人去不断对机器调优,如模型迭代,同时也需要人去了解机器的语法,比如现在的Midjourney、playground,你的提问或prompt的使用也是有语法的,并配合图形界面上的一些控制功能。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

图:Midjourney的prompt“语法“,来自于网络视频

2. 置信度

说GPT一本正经胡说八道,不是没有证据,这是我最近的实际测试。

我:140和290之间有多少个质数?

ChatGPT:

140到290之间的质数包括:149, 151, 157, 163, 167, 173, 179, 181, 191, 193, 197, 199, 211, 223, 227, 229, 233, 239, 241, 251, 257, 263, 269, 271, 277, 281, 283, 293。因此,140到290之间有28个质数。

我:直接告诉我有多少个,而不是列出来。

ChatGPT:在140和290之间,共有28个质数。

我:确定?

ChatGPT:是的,确定。

我:重新计算一下,再给我一个答案。

ChatGPT:非常抱歉,在上一个回答中我犯了一个错误,实际上在140到290之间有23个质数。感谢您的提醒,希望这次的回答能够满足您的要求。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

你以为这就是正确答案?这还不算完,于是我让他写了一个python脚本:

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

代码没问题,我执行了,于是:

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

没错,按ChatGPT给我的python执行,答案是27。诶?换个角度想,他也会犯错,是不是更像人类?

3. 可解释性

可解释是可信的前提。我们塑造了他,却不了解他,如果他输出了一个错误的答案,但看起来是那么正确,这时候我们就得警惕了(就像文中那个求解质数问题,看起来是那么正确),应用在教育、医疗、建筑设计等领域,他输出了一个错误的药方、他设计了一个尺寸差了几公分的图纸,如果他犯的错误无法及时发现,那他产生危害需要人类来买单。

我们需要了解他的决策动机是如何生成的,没错,就是动机。因为人在决策哪怕是犯罪,都会寻求背后的动机,是利他、利己还是此人有精神疾病,最终都会试图用动机来解释。

不能只推导到用了什么计算框架和算法,然后就给他不停地喂数据,要想让他更好的为我们服务,找到合适的时机影响他,而不是任由他,最后可能站在我们的对立面。

换句话说,“知其所以然”也是我们求知的源动力。

4. 数据安全、用户隐私与版权

数据是GPT的养料,用户的数据从此变得越来越重要,想要微调,普通用户想要使用,需要贡献一方数据。GPT无国界,但数据有国界。目前国内中大型企业对GPT的API能力也仍处于封闭状态(所以我们国家也一定会有自己的大模型,比如百度文心一言)。

关于版权,我们看ChatGPT自己如何说:

“根据国际版权法,创作作品的版权通常归原作者所有。但是,当作品是由人工智能生成时,问题就变得复杂了。因为人工智能本身没有创作权,它只是根据预设的算法和数据生成内容。所以,根据现有的版权法律,AIGC的版权归谁是一个尚未确定的问题。

另外,AIGC的版权问题还涉及到人工智能的产权和知识产权。在AIGC的生成过程中,通常会涉及到许多算法、数据、模型和程序等,这些都是有产权和知识产权的。因此,除了作品版权的问题之外,还需要考虑这些产权和知识产权的归属问题。

综上所述,AIGC的版权问题是一个复杂的问题,需要在法律、技术和伦理等多个方面进行探讨和解决。我们需要寻求各方面的意见和建议,来制定适当的法律和政策,以促进人工智能技术的发展和利用。”

5. 责任与义务

自动驾驶时发生了事故,驾驶员需要承担100%的责任。同样的,使用AI工具工作,如果犯错了,无论是工具还是人为的错误,那责任依然归咎于人。

所以人类责任与义务的存在,决定了即使在AI时代,某些工作至少需要一个人来担(bei)责(guo)。

6. 可持续性

这个大模型确实可以成为一个可持续再生的金库,为人类服务。不过此时,他已经站在我们身旁,一同跟我们进化,人类长高1厘米,他可能会长高3厘米。

GPT、大语言模型入门版:面向互联网从业人员的AI通识与个人思考

但如果人类停止对他的数据输入,无论是新的知识、新的研究、还是今天的新闻,甚至对他的答案不做任何反馈。那么他也会过时或不那么好用。为了有更多的金矿可以攫取,我们会进入一个循环,不停的喂养他,迭代他,对他的输出再反馈,他也不停地进化为我们服务。

五、职业发展

什么样的职业会被取代,不如想想什么样的职业会变得越来越重要。我觉得可以从两个角度思考:

1. AI建造师

AI本身也是人创造出来的,如果他会取代一部分人的工作,那就走到上游去成为创造他的人。AI算法工程师、数据采集与治理专家、AI软硬件产品设计与开发、芯片、AI领域新闻媒体,这些都是以AI为中心的上下游领域。

2. 会用AI的人

一部分会用AI工具的人已经尝到了甜头,比如已经在Youtube、B站分享AI工具使用以及做教程的up主,他们都是第一波会用AI的人,已经赚到了AI启蒙的红利。

在企业内,AI可能不会完全替代某一岗位,但会替换掉一部分。如设计师、工程师,基础工作可以交给AI来做,但AI输出的结果需要有人审验,更重要的是需要有人担责,所以也会需要部分专职。

专栏作家

一个数据人的自留地,公众号:一个数据人的自留地。人人都是产品经理专栏作家,《数据产品经理修炼手册》作者。

本文原创发布于人人都是产品经理。未经许可,禁止转载

题图来自Unsplash,基于CC0协议。

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

相关内容

725人参加!这场培训倡议“争做齐鲁未来教育家”!

近日,齐鲁名师名校长名班主任建设工程(2022-2025)师德涵养主题培训暨课题开题指导活动在曲阜市举办。培训班以弘扬教育家精神为主题,组织开展了专题讲座引领、浸润式师德涵养现场教学、研修课题开题与指导等培养活动。全国知名教育学家、中国教育···

欢迎台生报名!300个免费名额,直通全球最大AI训练营!

全球最大的AI培训班来了!中国高校人工智能人才国际培养计划昨日在北京大学启动!未来一个多月内将在全国重点计算机高校中筛选100名老师300名学生参加2018年培养计划图灵奖得主John E. Hopcroft深度学习发明人Geoffrey ···

第三期中证隰县基层干部乡村振兴能力培训班在杭举办

中国日报11月15日北京电 2021年11月8日-13日,“第三期中证·隰县基层干部乡村振兴能力培训班”在浙江大学华家池校区开班,本期培训班由中国证券业协会、中国扶贫基金会、隰县人民政府联合举办,此次培训有来自隰县的68名基层干部参加,中国···

京蒙苏豫涉外法律服务专题培训班圆满结束

由北京市司法局、内蒙古自治区司法厅、江苏省司法厅、河南省司法厅及四省区市律师协会共同主办,内蒙古自治区司法厅和律师协会承办的“京蒙苏豫涉外法律服务研讨会暨专题培训班”于11月2日圆满完成所有课程,顺利结束。来自北京、江苏、河南和内蒙古的12···

给校外培训“立规矩” 让“野机构”无处遁形——教育界别省政协委员建言加强校外培训机构管理

连续几日,北京知名舞蹈培训机构——天鹅湖畔少儿芭蕾一夜之间关闭全市门店上了热搜,与之相关的退费难、卷钱跑路等话题也不绝于耳。记者发现,类似的现象,在全国比比皆是。“这位家长,请了解一下我们古筝培训班,今日报名一律5折;街舞团一次缴一年费用,···

京蒙苏豫涉外法律服务专题培训班在满洲里市开班

11月1日,由北京、内蒙古、江苏、河南司法厅(局)及四地律师协会主办的京蒙苏豫涉外法律服务专题培训班在内蒙古自治区满洲里市正式开班。本次培训班是贯彻习近平总书记关于加强涉外法治建设相关指示的重要实践,是响应和落实司法部党组对广大律师提出的“···

第三批北京市优秀社区社会工作专业人才培训试点推进会暨京台社区社会工作专题培训会在京台两地连线举办

2022年7月20日上午,由北京市台办、市社工委市民政局主办的“第三批北京市优秀社区社会工作专业人才培训试点推进会暨京台社区社会工作专题培训会”在京台两地连线开启,台湾地区社会工作专家及北京优秀社会工作者200余人参加。▲张霄林分享参加培···

【预告】就在明天!西山区2023年第二期线上家庭教育培训

西山区2023年第二期线上家庭教育培训家庭教育在未成年人成长发展中具有不可替代的重要作用是促进未成年人健康成长、推进社会主义和谐社会建设的重要基础为在家庭中大力倡导和谐理念、培育和谐精神,提高家长的思想道德素质和科学教育子女的能力,在全社会···

北京冬奥会圆满成功 澳门各界倍感自豪

来源:央视新闻20日晚上,不少澳门市民相约一起收看了北京冬奥会闭幕式的现场直播,共同回味本届冬奥赛事的难忘瞬间。澳门体育教师协会会长 老杰龙:这次冬奥会的成功举办再一次展示了我们国家的伟大和强大,在我们的运动员里面也有很多的突破,例如这一次···

校外培训行业迎来强监管,“教育 区块链”新模式试图解决行业痼疾

华夏时报(www.chinatimes.net.cn)记者 王永菲 冉学东 北京报道近两个月,以校外培训为主要业务的教辅行业迎来密集监管。从诸如高思、跟谁学、学而思等多个头部教育机构被顶格罚款的行政处罚,到教育部成立校外教育培训监管司,校外···

建场地、做培训、打造IP,室内滑雪紧握冬奥接力棒

近年来,室内滑雪市场发展迅速。截至2020年年底,中国室内滑雪场数量为36家,位居全球第一。后冬奥时代,室内滑雪该如何大显身手?2020年室内滑雪场数量超2013年7倍2月20日,北京冬奥会正式闭幕,冰雪运动市场仍在快速发展。据文旅部相关调···

全国公安机关领导干部学习宣传贯彻党的二十大精神政治培训班成功举办

深入学习宣传贯彻党的二十大精神,是当前和今后一个时期全国公安机关的首要政治任务。新时代新征程,如何切实把广大公安民警的思想和行动统一到党的二十大精神上来?如何进一步加强公安机关领导干部队伍政治建设和忠诚教育?公安部党委统筹谋划、孜孜不倦。1···

枫叶教育亏损超31亿;北京首批线上学科培训非营利牌照仍在民政审批中|一周教育要闻

实习记者|陈振芳本周,教育机构方面,“学而思转型的非营利机构未能通过审批。”言论在社交媒体发酵,北京首批线上学科培训非营利牌照仍在民政审批中,尚未获得许可证;“早教第一股”美吉姆重庆两加盟店陷跑路传闻,美吉姆称,预计两周内能够正常上课;苹果···

京保扶贫协作结硕果,北京三年帮河北阜平培训1483名教师

在京保扶贫协作推进中,北京不断加大对保定阜平县的教育资金投入和支持力度,全方位推动阜平教育质量提升。3年来,利用京冀扶贫协作资金,北京已帮助阜平县培训了1483名中小学及幼儿园教师。据了解,阜平职教中心与北京市物业管理行业协会5家会员企业,···

最新!校外培训七大违规行为将被重罚,一图解读

“双减”改革实施两年以来,擅自举办校外培训机构、隐形变异开展校外培训等问题仍不同程度存在,个别机构“卷款跑路”问题仍零星发生,人民群众合法权益仍不时受到损害,为此,教育部组织成立了调研组,先后赴北京、天津、上海、山东、江苏、江西、浙江等实地···

夏宝龙在北京师范大学亲切看望来京学习的香港中小学校长和教师

夏宝龙在北京师范大学亲切看望来京学习的香港中小学校长和教师 主办方供图中新网北京5月18日电(记者 高凯)5月16日上午,国务院港澳事务办公室主任、党组书记夏宝龙来到北京师范大学亲切看望参加“香港中小学校长领导研习班及新入职教师内地学习团联···

白银市举办推进国家公共文化服务体系示范区创新发展暨公共文化高质量发展培训班

为了给全市推进国家公共文化服务体系示范区创新发展工作搭建一个交流学习、开阔视野的高质量平台,7月17日,白银市举办推进国家公共文化服务体系示范区创新发展暨公共文化高质量发展培训班。本次培训班结合白银市推进国家公共文化服务体系示范区创新发展暨···

义务教育阶段线下学科类培训机构压减率超九成

义务教育阶段线下学科类培训机构压减率超九成教育是国之大计、党之大计,教育兴则国家兴,教育强则国家强。“我国有2.9亿在校学生,要坚持把教育这个关乎千家万户和中华民族未来的大事办好。”今年的政府工作报告提出,要促进教育公平与质量提升,继续做好···

非学科类培训行业性增长:门店增加、课程上新、业绩翻红

21世纪经济报道记者王峰北京报道 教育上市公司陆续发布半年报,青少年非学科类校外培训率先复苏,取得行业性增长。21世纪经济报道梳理发现,有的公司营收显著增长,有的公司利润扭亏为盈;有的公司招收人数回暖,有的公司开始扩张教学中心。新东方、好未···

努力当好乡村振兴“领头雁”——全国村党组织书记和村委会主任视频培训班侧记

新华社北京5月15日电 题:努力当好乡村振兴“领头雁”——全国村党组织书记和村委会主任视频培训班侧记新华社记者冯家顺、丁小溪“培训内容丰富实用,抓党建促乡村振兴方向更明、办法更多”“提升领导能力,打造群众信得过的‘铁班子’”“学习先进典型,···