九哥带你--分享前沿知识，交流技能应用；服务数据、信息分析处理；推广高端科研技术成果；普惠学习工作生活。
汇总，大数据开源框架技术扫盲主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。
目录
系统平台（Hadoop、CDH、HDP）
监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）
文件系统（HDFS、GPFS、Ceph、GlusterFS、Swift、BeeGFS、Alluxio）
资源调度（YARN、Mesos、）
协调框架（ZooKeeper、Etcd、Consul）
数据存储（HBase、Cassandra、ScyllaDB、MongoDB、Accumulo、Redis、Ignite、Arrow、Geode、CouchDB、Kudu、CarbonData）
数据处理（MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron）
查询分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、Phoenix）
数据收集（Flume、Filebeat、Logstash、Chukwa）
数据交换（Sqoop、Kettle、DataX、NiFi）
消息系统（Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ）
任务调度（Azkaban、Oozie、Airflow）
数据治理（Ranger、Sentry、Atlas）
可视化（Kibana、D3.js、ECharts）
数据挖掘（Mahout、MADlib、SparkML、TensorFlow、Keras）
云平台（AmazonS3、GCP、MicrosoftAzure）
系统平台Hadoop：ApacheHadoop是一个开源的分布式系统基础框架，离线数据的分布式存储和计算的解决方案。Hadoop最早起源于Nutch，Nutch基于年、年谷歌发表的两篇论文分布式文件系统GFS和分布式计算框架MapReduce的开源实现HDFS和MapReduce。年推出，年1月成为Apache顶级项目。Hadoop分布式文件系统(HDFS)是革命性的一大改进，它将服务器与普通硬盘驱动器结合，并将它们转变为能够由Java应用程序兼容并行IO的分布式存储系统。Hadoop作为数据分布式处理系统的典型代表，形了成完整的生态圈，已经成为事实上的大数据标准，开源大数据目前已经成为互联网企业的基础设施。Hadoop主要包含分布式存储HDFS、离线计算引擎MapRduce、资源调度ApacheYARN三部分。Hadoop2.0引入了ApacheYARN作为资源调度。Hadoop3.0以后的版本对MR做了大量优化，增加了基于内存计算模型，提高了计算效率。比较普及的稳定版本是2.x，目前最新版本为3.2.0。
相关网站：ApacheHadoop
CDH：ClouderaCDH是Cloudera基于稳定版Hadoop及相关项目最成型的发行版本。CDH中提供的各种组件能让用户在一个可视化的UI界面中方便地管理，配置和监控Hadoop以及其它所有相关组件。Cloudera成立于年，在年Cloudera发行了第一个Hadoop集成版本CDH，到目前为止，因为其易用、易于升级、安装组件和减少维护成本等特性，成为企业部署最广泛的大数据系统。在Hadoop的世界中，规模最大、知名度最高的公司就是Cloudera。CDH提供强大的部署、管理和监控工具，通过ClouderaManager的WebUI安装和管理集群，并且通过Hue浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。随着云计算的发展，催生了亚马逊AWS等巨头，他们也会提供托管的Hadoop/Spark服务，如AWS的ElasticMapReduce(EMR)，不仅集成在云平台内部而且成本也更低。而对象存储服务，如AWSS3，AzureBlob存储和Google云端存储，从成本上来说，也低于Hadoop的存储成本。但是，对于重视数据资产的企业来说依旧需要Cloudera产品。Cloudera也一直致力于向云计算转型。年10月Cloudera合并Hortonworks，表示新的公司将成为行业领导者，为客户提供更好的平台，创建世界首个企业数据云，并将在云计算、物联网和容器技术等领域继续发力。这对Hadoop的发展方向是一个打击，但也意味着Hadoop的标准将更加统一，将有更多资金投入新技术的研究。CDH目前最新版本为6.2.0。
相关网站：ClouderaCDH
HDP：HDP是Hortonworks在基于Hadoop的发行版本。年Hortonworks上市，是企业级全球数据管理平台，同时也是服务和解决方案的领先供应商，为强企业中的一多半提供“任何类型数据”的可操作信息，已经成为世界第二大数据服务商。Hortonworks是第一家使用了ApacheHCatalog的元数据服务特性的提供商。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得ApacheHadoop能够在包括WindowsServer和WindowsAzure在内的MicrosftWindows平台上本地运行，相比于CDH只能运行在Linux系统中。使用Ambari提供WebUI管理集群。HDP好处是完全开源，可以在其基础上进行二次开发，但对于技术比较薄弱中小型企业来说稳定性没有CDH高。年10月Cloudera合并Hortonworks，方向暂时未知。HDP目前最新版本为3.1。
相关网站：HortonworksHDP
集群管理与监控CloderaManager：CM是Cloudera开发的一个基于Web的用于部署和管理CDH集群的软件。它具有集群自动化安装、中心化管理、集群监控、报警等功能，大大节省集群部署时间，降低了运维成本，极大的提高集群管理的效率。(非开源)
相关网站：CloderaManager
Hue：Hue是由Cloudera贡献给开源社区的HadoopUI系统（HadoopUserExperience），最早是由ClouderaDesktop演化而来，它是基于PythonWeb框架Django实现的。Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。使用Hue可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据、运行MapReduceJob、执行Hive的SQL语句、浏览HBase数据库、运行Sqoop，编写Oozie工作流等等大量工作。Hue是Hadoop平台大数据分析开发的可视化分析利器。
网站：Hue
Ambari：ApacheAmbari是Hortonworks贡献给Apache基金会的Hadoop平台管理软件，年11月20日成为Apache顶级项目。它具备Hadoop组件的安装、管理、运维等基本功能，提供WebUI进行可视化的集群管理，简化了大数据平台的安装、使用难度。
相关网站：ApacheAmbari
Dr.Elephant：Dr.elephant是一款对Hadoop和Spark任务进行性能监控和调优的工具，它由LinkedIn的团队于年开源，开源之前已经在公司运行使用2年。它能自动采集作业的度量指标并分析，然后以简单明了的方式展现出来。Dr.elephant的设计思想是通过作业分析结果来指导开发者进行作业调优，从而提升开发者效率和集群资源的利用率。
相关网址：Dr.Elephant
Ganglia：Ganglia是UCBerkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。
相关网站：Ganglia
Zabbix：Zabbix是一个的基于Web界面的开源的分布式企业级监控解决方案。于年zabbix1.0正式发布，由AlexeiVladishev团队维护更新，ZabbixSIA提供支持。Zabbix通过C/S模式采集数据，通过B/S模式在web端展示和配置。它能够实时监控从成千上万台服务器、虚拟机和网络设备中收集到的数以百万计的指标。Zabbix能监视各种网络参数，保证服务器系统的安全运营，并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。还能够利用存储数据提供杰出的报表及实时的图形化数据处理，实现对监控主机7x24小时集中监控。
相关网站：Zabbix
Eagle：ApacheEagle是一个开源监视和警报解决方案，用于智能实时地识别大数据平台上的安全和性能问题，例如ApacheHadoop，ApacheSpark等。Eagle起源于eBay，最早用于解决大规模Hadoop集群的监控问题，于年10月提交给Apache孵化器，年12月21日成为Apache顶级项目。Eagle主要包括：高可扩展、高可伸缩、低延时、动态协同等特点，支持数据行为实时监控，能立即监测出对敏感数据的访问或恶意的操作，并立即采取应对的措施。Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对用户行为建立Profile以实现实时智能实时地保护Hadoop生态系统中大数据的安全。
相关网站：ApacheEagle
文件系统HDFS：HDFS（HadoopDistributedFileSystem）分布式文件系统，是分布式计算中数据存储管理的基础。是HadoopCore项目的核心子项目。HDFS是基于流数据模式访问和处理超大文件的需求而开发的，效仿谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。
相关网站：HadoopHDFS
GPFS：GPFS（GeneralParallelFileSystem）是IBM推出的基于Hadoop的并行分布式集群文件系统。IBM认为GPFS不共享集群版本比HDFS快得多，因为它在内核级别中运行，而不是像HDFS在操作系统中运行。GPFS是一个共享磁盘的文件系统，集群内的所有节点可以并行地访问所有共享磁盘，并通过分布式的Token管理机制和条带化技术来管理和优化节点的访问。GPFS支持完整的Posix文件系统语义。GPFS的应用范围非常广泛，从多节点文件共享服务、实时多媒体处理、到大型的高性能计算集群，我们都可以看到GPFS的优秀表现。GPFS在这些应用里面都表现出了非常出色的性能和高可用性。
相关网站：GPFS
Ceph：Ceph是一个开源的统一的分布式存储系统，是高性能的并行文件系统。Ceph是加州大学SantaCruz分校的SageWeil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自年毕业之后，Sage开始全职投入到Ceph开发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。年3月，LinusTorvalds将Cephclient合并到内核2.6.34中。它基于CRUSH算法，没有中心节点，可以无限扩展。Ceph提供三种存储方式分别是对象存储，块存储和文件系统。在虚拟化领域里，比较常用到的是Ceph的块设备存储。Ceph以其稳定、高可用、可扩展的特性，乘着开源云计算管理系统OpenStack的东风，迅速成为最热门的开源分布式存储系统。Ceph是目前最火的分布式存储软件，Ceph开源存储项目已经成为全球众多海量存储项目的主要选择。Ceph现在是云计算、虚拟机部署的最火开源存储解决方案，是私有云事实上的标准。
相关网站：Ceph、Ceph中文网
GlusterFS：GlusterFS(GNUClusterFileSystem)是一种全对称的开源分布式文件系统，所谓全对称是指GlusterFS采用弹性哈希算法，没有中心节点，所有节点全部平等。GlusterFS配置方便，稳定性好，可轻松达到PB级容量，数千个节点。年被红帽收购，之后推出了基于GlusterFS的RedHatStorageServer，增加了针对KVM的许多特性，可用作为KVM存储image存储集群，也可以为LB或HA提供存储。
相关网站：GlusterFS
Swift：Swift最初是由Rackspace公司开发的高可用分布式对象存储服务。于年贡献给OpenStack开源社区作为其最初的核心子项目之一，为其Nova子项目提供虚机镜像存储服务。Swift构筑在比较便宜的标准硬件存储基础设施之上，无需采用RAID（磁盘冗余阵列），通过在软件层面引入一致性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可用性和可伸缩性，支持多租户模式、容器和对象读写操作，适合解决互联网的应用场景下非结构化数据存储问题。Swift是一种比较通用的存储解决方案，能够可靠地存储数量非常多的大小不一的文件。
相关网站：OpenStackSwift
BeeGFS：BeeGFS（原FhGFS）既是一个网络文件系统也是一个并行文件系统。是由FraunhoferInstitute为工业数学计算而设计开发，由于在欧洲和美国的中小型HPC系统性能表现良好，在年改名注册为BeeGFS并受到科研和商业的广泛应用。客户端通过网络与存储服务器进行通信(具有TCP/IP或任何具有RDMA功能的互连，如InfiniBand，RoCE或Omni-Path，支持nativeverbs接口)。通过BeeGFS添加更多的服务器，其容量和性能被聚合在单个命名空间中。BeeGFS是遵循GPL的“免费开源”产品，文件系统没有许可证费用。由ThinkParQ提供专业支持，系统集成商可以为客户构建使用BeeGFS的解决方案。
相关网站：BeeGFS
Alluxio：Alluxio（原Tachyon）是以内存为中心的虚拟的分布式存储系统。诞生于UCBerkeley的AMPLab，它统一了数据访问的方式，为上层计算框架和底层存储系统构建了桥梁，应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外，Alluxio的以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。Alluxio介于计算框架(如ApacheSpark，ApacheMapReduce，ApacheHBase，ApacheHive，ApacheFlink)和现有的存储系统（如AmazonS3，OpenStackSwift，GlusterFS，HDFS，MaprFS，Ceph，NFS，OSS）之间。
相关网站：Alluxio
资源调度YARN：（YetAnotherResourceNegotiator）是Hadoop的资源管理和作业调度系统。作为ApacheHadoop的核心组件之一，YARN负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度在不同集群节点上执行的任务。YARN是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。YARN的基本思想是将资源管理和作业调度/监视的功能分解为单独的daemon（守护进程），其拥有一个全局ResourceManager、每个应用程序的ApplicationMaster及每台机器框架代理NodeManager。ResourceManager负责所有应用程序之间资源分配。NodeManager负责Containers，监视其资源使用情况（CPU，内存，磁盘，网络）并将其报告给ResourceManager。ApplicationMaster负责是协调来自ResourceManager的资源，并与NodeManager一起执行和监视任务。
相关网址：HadoopYarn
Mesos：ApacheMesos是一个集群管理器，可跨分布式应用程序或框架提供有效的资源隔离和共享。Mesos最初是由加州大学伯克利分校的AMPLab开发的，Mesos项目发布于是年，年12月进入Apache孵化器，年6月19日成为Apache顶级项目。Twitter公司则是Mesos项目的早期支持者和使用者之一。它位于应用程序层和操作系统之间，可以更加轻松地在大规模集群环境中更有效地部署和管理应用程序。它可以在动态共享节点池上运行许多应用程序。对数据中心而言它就像一个单一的资源池，从物理或虚拟机器中抽离了CPU、内存、存储以及其它计算资源，很容易建立和有效运行具备容错性和弹性的分布式系统。年5月，Twitter宣布放弃Mesos，基础设施从Mesos全面转向Kubernetes。
相关网址：ApacheMesos
协调框架Zookeeper：ApacheZooKeeper是一个开源的分布式协调服务，是Google的Chubby一个开源的实现，是Hadoop，HBase和其他分布式框架使用的有组织服务的标准。由雅虎开源并于年11月成为Apache顶级项目。ZooKeeper是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。ZooKeeper是以FastPaxos算法为基础的，Paxos算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而FastPaxos作了一些优化，通过选举产生一个leader(领导者)，只有leader才能提交proposer。ZooKeeper使用ZAB协议作为其保证数据一致性的核心算法。ZAB（ZooKeeperAtomicBroadcast原子广播）协议是为分布式协调服务ZooKeeper专门设计的一种支持崩溃恢复的原子广播协议。
相关网址：ApacheZookeeper
Etcd：Etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现。Etcd是一种分布式kv存储设施，由CoreOS于年6月发起的开源并维护的项目，它感来自于ZooKeeper和Doozer，基于Go语言实现。它类似的Zookeeper，但没有Zookeeper那么重型，功能也没有覆盖那么多，通过Raft一致性算法处理日志复制以保证强一致性。Raft是一个新的一致性算法，适用于分布式系统的日志复制，Raft通过选举的方式来实现一致性。Google的容器集群管理系统Kubernetes、开源PaaS平台CloudFoundry和CoreOS的Fleet都广泛使用了Etcd。在分布式系统中，如何管理节点间的状态一直是一个难题，etcd像是专门为集群环境的服务发现和注册而设计，它提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能，可以方便的跟踪并管理集群节点的状态。
相关网站：Etcd
Consul：Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置共享。Consul用Go语言实现，因此具有天然可移植性(支持Linux、windows和MacOSX)。与其他分布式服务注册与发现的方案不同，Consul的方案更"一站式"，内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如ZooKeeper等）。采用Raft算法一致性协议，支持多数据中心分布式高可用，服务发现和配置共享，使用gossip协议管理成员和消息广播，支持ACL访问控制。最新的Consul提供了一个新特性“Mesh网关”，实现透明、跨网络的连接。这些特性可以跨平台工作，对Kubernetes提供一流的支持，并且在任何云或专用网络上都可以轻松地部署到更传统的环境中，实现了Consul多云服务网络的目标。
相关网站：Consul
数据存储Hbase：ApacheHBase（HadoopDatabase）是一个分布式的、面向列的NoSQL开源数据库。是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。初期的目标是弥补MapReduce在实时操作上的缺失，方便用户可随时操作大规模的数据集。HBase原来是Apache的Hadoop项目的子项目，随着大数据与NoSQL的流行和迅速发展，年5月ApacheHBase脱离了Hadoop成为Apache基金的顶级项目。HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用HadoopMapReduce来处理HBase中的海量数据；GoogleBigtable利用Chubby作为协同服务，HBase利用Zookeeper作为协调服务。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，另外HBase是基于列的而不是基于行的模式。
相关网址：ApacheHbase
Cassandra：ApacheCassandra是一个开源的、分布式的混合型NoSQL数据库。它最初由Facebook开发，于年开源，年2月17日成为Apache顶级项目。主要用于储存海量数据。以Amazon专有的完全分布式Dynamo为基础，结合了GoogleBigTable基于列族的数据模型。P2P去中心化的存储。很多方面都可以称之为Dynamo2.0。Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra的一个写操作，会被复制到其它节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能是比较简单的事情，只管在群集里面添加节点就可以了。它提供了高可用性，没有单点故障。它是一个网络社交云计算方面理想的数据库。
相关网站：ApacheCassandra
ScyllaDB：ScyllaDB是用C++重写的Cassandra，
ApacheCalcite:AFoundationalFrameworkforOptimizedQueryProcessingOverHeterogeneousDataSources
//5for数据库系统调优——挑选的是sigmod的一篇论文
ABSTRACTApacheCalciteisafoundationalsoftwareframeworkthatprovidesqueryprocessing,optimization,andquerylanguagesupporttomanypopularopen-sourcedataprocessingsystemssuchasApacheHive,ApacheStorm,ApacheFlink,Druid,andMapD.Calcite’sarchitectureconsistsofamodularandextensiblequeryoptimizerwithhundredsofbuilt-inoptimizationrules,aqueryprocessorcapableofprocessingavarietyofquerylanguages,anadapterarchitecturedesignedforextensibility,andsupportforheterogeneousdatamodelsandstores(relational,semi-structured,streaming,andgeospatial).Thisflexible,embeddable,andextensiblearchitectureiswhatmakesCalciteanattractivechoiceforadoptioninbigdataframeworks.Itisanactiveprojectthatcontinuestointroducesupportforthenewtypesofdatasources,querylanguages,andapproachestoqueryprocessingandoptimization.
ApacheCalcite是一个基础软件框架，可为许多流行的开源数据处理系统（例如ApacheHive，ApacheStorm，ApacheFlink，Druid和MapD）提供查询处理，优化和查询语言支持。Calcite的体系结构由具有数百种内置优化规则的模块化可扩展查询优化器，能够处理多种查询语言的查询处理器，为可扩展性设计的适配器体系结构以及对异构数据模型和存储（关系，半结构化，流式传输和地理空间）。这种灵活，可嵌入和可扩展的架构使Calcite成为在大数据框架中采用的有吸引力的选择。这是一个活跃的项目，继续引入对新型数据源，查询语言以及查询处理和优化方法的支持。
INTRODUCTIONFollowingtheseminalSystemR,conventionalrelationaldatabaseenginesdominatedthedataprocessinglandscape.Yet,asfarbackas,Stonebrakerand?etintemel[49]predictedthatwewouldseetheriseacollectionofspecializedenginessuchascolumnstores,streamprocessingengines,textsearchengines,andsoforth.Theyarguedthatspecializedenginescanoffermorecost-effectiveperformanceandthattheywouldbringtheendofthe“onesizefitsall”paradigm.Theirvisionseemstodaymorerelevantthanever.Indeed,manyspecializedopen-sourcedatasystemshavesincebe
年首个工作日，一项事关上海未来城市发展的重磅文件——《关于全面推进上海城市数字化转型的意见》（以下简称《意见》）正式对外发布。根据《意见》提出的目标，到年，上海全面推进城市数字化转型取得显著成效，国际数字之都建设形成基本框架。到年，成为具有世界影响力的国际数字之都。
当前，数字化正以不可逆转的趋势改变人类社会，特别是新冠肺炎疫情进一步加速推动数字时代的全面到来。整体看，《意见》从深刻认识转型的重大意义、总体要求、坚持整体性转变、坚持全方位赋能、坚持革命性重塑、创新工作推进机制等六个方面提出15条举措。
《意见》指出，作为超大城市，上海人口多、流量大、功能密，具有复杂巨系统的特征，城市建设、发展、运行、治理各方面情形交织、错综复杂，必须充分运用数字化方式探索超大城市社会治理新路子，回应人民对美好生活的新期待。
《意见》在总体要求部分明确，要把数字化转型作为上海“十四五”经济社会发展主攻方向之一，从“城市是生命体、有机体”的全局出发，统筹推进城市经济、生活、治理全面数字化转型——率先探索新经验，用数字化方式创造性解决超大城市治理和发展难题；率先应用新技术，用数字化场景牵引技术创新和广阔市场空间；率先转换新动能，用数据要素配置链接全球资源、大力激发社会创造力和市场潜力，全面提升城市治理能力和治理水平现代化，创造人民城市数字化美好生活体验，打造城市高质量发展的强劲引擎，为加快建设具有世界影响力的社会主义现代化国际大都市奠定扎实基础。
在具体实现路径上，《意见》提出三个坚持，即：坚持整体性转变、坚持全方位赋能、坚持革命性重塑。
坚持整体性转变方面，要推动“经济、生活、治理”全面数字化转型。其中提出，要强化系统集成、整体提升，实现经济数字化形成新供给、生活数字化满足新需求、治理数字化优化新环境，推动三大领域相互协同、互为促进，整体推进城市数字化转型。
坚持全方位赋能方面，要构建数据驱动的数字城市基本框架。《意见》表示，要加快构筑数据新要素体系、数字新技术体系和城市数字新底座，充分释放数字化蕴含的巨大能量，以数字维度全方位赋能城市迭代进化、加速创新。
坚持革命性重塑方面，要引导全社会共建共治共享数字城市。以全面数字化转型，推动城市各领域全方面的流程再造、规则重构、功能塑造、生态构建，创造全新的生产生活方式和发展路径。
为科学有序全面推进城市数字化转型，《意见》特别提出要创新工作推进机制，强化动态调整和供需匹配，通过数字化转型，将各领域堵点难点转化为发展亮点，形成*府引导、市场主导、全社会共同参与的城市数字化转型工作格局。
通过上述一系列举措，到年，要实现以下具体目标：上海数字化基础设施国际一流，数字经济全国领先，数字贸易国际枢纽港功能完善，建成世界级数字产业集群，成为具有全球竞争力的金融科技中心和数字经济创新高地。数字生活成为新风尚，公共服务质量和效率进一步提升，构建充满活力的数字生活服务生态，形成人人享有更具品质、更加美好的数字生活新范式。治理能力全面跃升，数字规则更加完备，数据要素高效流动，形成引领全国的超大城市数字治理新模式。
附：《关于全面推进上海城市数字化转型的意见》
为深入贯彻习近平总书记关于网络强国、数字中国、智慧社会战略部署，践行“人民城市人民建、人民城市为人民”重要理念，巩固提升城市能级和核心竞争力，构筑上海未来新的战略优势，现就全面推进上海城市数字化转型提出如下意见。
一、深刻认识上海进入新发展阶段全面推进城市数字化转型的重大意义
全面推进数字化转型是面向未来塑造城市核心竞争力的关键之举。数字化正以不可逆转的趋势改变人类社会，特别是新冠肺炎疫情进一步加速推动数字时代的全面到来。数字化越来越成为推动经济社会发展的核心驱动力，深刻变革全球生产组织和贸易结构，重新定义生产力和生产关系，全面重塑城市治理模式和生活方式。随着数据资源在链接服务国内大循环和国内国际双循环中的引领型、功能型、关键型要素地位不断突出，全面推进城市数字化转型成为上海主动服务新发展格局的重要战略。
全面推进数字化转型是超大城市治理体系和治理能力现代化的必然要求。作为超大城市，上海人口多、流量大、功能密，具有复杂巨系统的特征，城市建设、发展、运行、治理各方面情形交织、错综复杂，必须充分运用数字化方式探索超大城市社会治理新路子，回应人民对美好生活的新期待。上海重点推进*务服务“一网通办”、城市运行“一网统管”，加快建设新型智慧城市，大力发展在线新经济，打造一流数字基础设施，为城市数字化转型打下了坚实基础。面对新发展阶段的新机遇新挑战，要认清形势、抢抓机遇、乘势而上，牢牢把握城市数字化转型这项事关全局、事关长远的重大战略，进一步增强坚定性和紧迫感，坚持整体性转变、全方位赋能、革命性重塑，全力做好全面推进城市数字化转型这篇大文章，奋力创造新时代上海发展新奇迹。
二、明确城市数字化转型的总体要求
以习近平新时代中国特色社会主义思想为指导，全面贯彻*的十九大和十九届二中、三中、四中、五中全会精神，深入贯彻习近平总书记考察上海重要讲话和在浦东开发开放30周年庆祝大会上重要讲话精神，把数字化转型作为上海“十四五”经济社会发展主攻方向之一，主动顺应和掌握数字化时代带来的新趋势新机遇，科学遵循城市运行和发展规律，持续深化上海各领域数字化发展的先发优势，从“城市是生命体、有机体”的全局出发，统筹推进城市经济、生活、治理全面数字化转型。率先探索新经验，用数字化方式创造性解决超大城市治理和发展难题；率先应用新技术，用数字化场景牵引技术创新和广阔市场空间；率先转换新动能，用数据要素配置链接全球资源、大力激发社会创造力和市场潜力，全面提升城市治理能力和治理水平现代化，创造人民城市数字化美好生活体验，打造城市高质量发展的强劲引擎，为加快建设具有世界影响力的社会主义现代化国际大都市奠定扎实基础。
到年，上海全面推进城市数字化转型取得显著成效，国际数字之都建设形成基本框架。数字化基础设施国际一流，数字经济全国领先，数字贸易国际枢纽港功能完善，建成世界级数字产业集群，成为具有全球竞争力的金融科技中心和数字经济创新高地。数字生活成为新风尚，公共服务质量和效率进一步提升，构建充满活力的数字生活服务生态，形成人人享有更具品质、更加美好的数字生活新范式。治理能力全面跃升，数字规则更加完备，数据要素高效流动，形成引领全国的超大城市数字治理新模式。到年，成为具有世界影响力的国际数字之都。
三、坚持整体性转变，推动“经济、生活、治理”全面数字化转型
强化系统集成、整体提升，实现经济数字化形成新供给、生活数字化满足新需求、治理数字化优化新环境，推动三大领域相互协同、互为促进，整体推进城市数字化转型。
（一）推动经济数字化转型，提高经济发展质量。加快推动数字产业化、产业数字化，放大数字经济的辐射带动作用，做优做强城市核心功能，助力“五型经济”发展。加快建设集成电路、人工智能等世界级数字产业集群，以数据流动牵引资金、人才、技术、知识等要素的全球化配置，建立跨地域科技资源的协作网络，疏通基础研究、应用研究和产业化双向链接快车道。加快生产制造、科技研发、金融服务、商贸流通、航运物流、专业服务、农业等领域的数字化转型，推动产业互联网和消费互联网贯通发展，推进智慧口岸建设，大力发展数字贸易，助力提升产业链供应链的安全性、稳定性。引领在线新经济蓬勃发展，全力打响新生代互联网经济品牌，大力发展新应用、创造新业态、探索新模式、培育新职业，做大新兴消费市场，以互惠互利为价值导向，形成数字经济的竞争新优势。
（二）推动生活数字化转型，提高城市生活品质。满足市民对美好生活的向往，打造智能便捷的数字化公共服务体系，加强*府、企业、社会等各类信息系统的业务协同、数据联动。结合新技术和新制度的供给，以数字化推动公共卫生、健康、教育、养老、就业、社保等基本民生保障更均衡、更精准、更充分，医院、数字校园、社区生活服务等一批数字化示范场景。发挥社会和市场活力，推进商业、文娱、体育、出行、旅游等质量民生服务数字化新模式、新业态健康发展，加快城市公共设施的数字化转型，构建数字商圈平台、社区智慧物流网络、新能源设施终端等生活“新基建”。加快新闻出版、广播影视等行业融入数字化进程，不断丰富数字文创、数字内容等相关服务供给。着力解决“数字鸿沟”问题，倡导各类公共服务“数字无障碍”，面向老年人和残障人士推进相关服务的适应性改造，创造无处不在、优质普惠的数字生活新图景。
（三）推动治理数字化转型，提高现代化治理效能。把牢人民城市的生命体征，打造科学化、精细化、智能化的超大城市“数治”新范式。以“云网端边安”一体化数据资源服务平台为载体，形成“一网通办”“一网统管”互为表里、相辅相成、融合创新的发展格局。拓展“一网通办”建设，围绕企业群众实际需求，深化“高效办成一件事”，实现“一件事”基本覆盖高频事项，构建全方位、全覆盖服务体系。深化“一网统管”建设，聚焦公共安全、应急管理、规划建设、城市网格化管理、交通管理、市场监管、生态环境等重点领域，实现态势全面感知、风险监测预警、趋势智能研判、资源统筹调度、行动人机协同。以*建为引领，加强数字赋能多元化社会治理，推进基层治理、法治建设、群团组织等领域数字化转型。
四、坚持全方位赋能，构建数据驱动的数字城市基本框架
加快构筑数据新要素体系、数字新技术体系和城市数字新底座，充分释放数字化蕴含的巨大能量，以数字维度全方位赋能城市迭代进化、加速创新。
（四）以数据要素为核心，形成新治理力和生产力。以城市治理与民生服务为导向，全闭环、系统性优化数据采集、协同、共享、应用等各流程环节，推动公共数据和社会数据更大范围、更深层次开放共享，逐步建立完善城市数据资源体系，实现*府决策科学化、公共服务高效化、社会治理精准化。加快释放数据要素改革红利，建立数据要素市场，健全数据要素生产、确权、流通、应用、收益分配机制，构建具有活力的数据运营服务生态，积极完善数字贸易要素流动机制，探索形成信息便利化体系，引导建立数据治理和安全保障体系，促进数据价值最大化发掘，进一步提升社会生产力和运行效率。
（五）以新技术广泛应用为重点，大力提升城市创新能级。加快建设数字基础设施，推动千兆宽带、5G、卫星互联网等高速网络覆盖，建设高性能公共算力中心，打造人工智能、区块链、工业互联网等数字平台，坚实支撑经济发展、市民生活和城市治理等各领域的数字化应用。支持下一代信息通信、高端芯片、核心软件、V2X车路协同等新技术在城市数字化转型中先试先用，率先规模化落地，进一步巩固数字技术优势。聚焦类脑智能、量子通信等前沿技术重点领域，与城市数字化转型深度融合，加强关键核心技术攻关、功能型平台建设，大力提升城市数字化创新策源能力。
（六）以数字底座为支撑，全面赋能城市复杂巨系统。按照“统筹规划、共建共享”的原则，打造“物联、数联、智联”的城市数字底座。构建城市运行生命体征指标体系，纳入地理空间、生态环境、建筑结构、物品标识、人员活动、车辆状态、安全监测、能源状态、设施设备运行等数据。系统规划“城市神经元系统”，科学部署视频图像、监测传感、控制执行等感知终端，实现城市要素全面AIoT化。搭建“轻量化、集中化、共享化”的城市智能中枢，围绕数据协同、技术协同、业务协同，汇聚*务服务、城市运行感知、市场与社会主体等多源异构数据，制定统一的数据标准、接口规范、调用规则，实现跨部门、跨行业的系统平台数据对接。
五、坚持革命性重塑，引导全社会共建共治共享数字城市
以全面数字化转型，推动城市各领域全方面的流程再造、规则重构、功能塑造、生态构建，创造全新的生产生活方式和发展路径。
（七）再造数字时代的社会运转流程。引导企业实现基于数据的“决策革命”，化解复杂市场环境的不确定性，优化资源配置效率，构筑新型数字化能力和竞争优势。引导市民重塑数字时代的认知能力与思维模式，更加注重自身数据管理、信用维护、隐私保护、协同共治，使人人都成为数据的生产者、治理者、使用者、获益者，以数字化激发城市生命体每一个细胞的活力。推动*府以数据驱动流程再造，践行“整体*府”服务理念，以数据为基础精准施策和科学治理，变“人找*策”为“*策找人”，变被动响应为主动发现。
（八）重构数字时代的社会管理规则。深入落实“管行业也要管数字化转型”的新理念新要求，推动管理手段、管理模式、管理理念变革。实施包容审慎、支持创新的监管制度，试点监管沙箱等创新支持机制，着力消除数字化转型过程中新技术、新业态、新模式发展的*策性门槛，为千行百业的数字化转型提供制度保障。全面审视数字化发展的法治问题，建立健全相关制度规范，完善数字规则，强化知识产权等保护力度。开展伦理道德等社会规则研究和风险防范干预。加强数据、系统、网络、产品、安全等标准体系建设。围绕数据安全、网络安全，加快构建与城市数字化转型相适应的大安全格局。
（九）塑造数字时代的城市全新功能。融合应用数字孪生城市、大数据与人工智能等技术，推动城市“规建管用”一体化闭环运转，实现城市决策“一张图”、城市治理“一盘棋”，为城市精细管理和科学决策提供“说明书”。推进城市建筑、市*设施和地下管线的数字化管理系统建设和信息备案，实时监测感知建筑设施运行态势，利用城市运行数据，前瞻规划和动态推演，科学设计、合理布局城市公共基础设施，逐步实现城市可视化、可验证、可诊断、可预测、可学习、可决策、可交互的“七可能力”，使城市更聪明、更智慧。
（十）重建数字时代的城市运行生态。从企业市民和城市运行高频急难的问题难点中发现数字化转型的应用场景，形成“揭榜挂帅”的建设机制，引导市场主体参与数字化转型场景运营，全面激发社会创造力和市场活力。大力引导、支持建设各类数字化公共平台，吸引各类创新要素、创新资源集聚，打造成为链接协同创新的开放平台，链接产业发展的赋能平台，链接城市治理的智慧平台，链接美好生活的服务平台，形成共建共治共享的数字城市创新生态圈。
六、创新工作推进机制，科学有序全面推进城市数字化转型
强化动态调整和供需匹配，通过数字化转型，将各领域堵点难点转化为发展亮点，形成*府引导、市场主导、全社会共同参与的城市数字化转型工作格局。
（十一）健全组织实施机制。充分发挥上海市城市数字化转型工作领导小组作用，充实领导小组办公室工作力量，建立健全统筹协调和推进机制，做好重大*策举措的统筹推进和考核评估，加强跨区域、跨部门、跨层级的组织联动。形成城市数字化转型专家咨询机制，成立社会化专业研究机构和应用促进中心。各区、各部门要强化责任落实，充分整合、归并原有的相关领导机制和议事协调组织，参照成立本地区、本部门数字化转型工作领导小组，加强工作专班，通过深入开展大调研，科学制定行动方案，强化各级财*资金等要素保障，系统规划、分步实施、扎实推进，避免低水平重复建设。
（十二）提高专业能力本领。各级领导干部要提高专业化能力，增强补课充电的紧迫感，不断学习数字化新知识新本领，掌握和遵循超大城市发展规律，培养运用数字化思维解决实际问题的能力，自觉赶上时代潮流。各级*校（行*学院）要增加城市数字化转型的培训内容，各部门要加强相关专业培训。强化全民“数字素养”教育，鼓励高校、社会机构等面向各类群体建立数字化技术终身学习平台和培训体系。
（十三）激发市场主体活力。充分发挥市场主导作用，将场景和数据开放作为育商招商的重要力量，不断培育壮大数字化转型标杆企业。进一步整合资源，引导金融资本有效支持数字化转型，加强具有国际视野的高素质专业人才培育和引进。强化载体建设，打造一批特色鲜明、功能错位、相对集聚的数字产业特色园区和在线新经济生态园，形成生态链强大吸附力。鼓励面向数字化的创新创业，支持解决方案集成商快速发展，为各行业数字化转型提供有力支撑。
（十四）加大先行先试和示范建设力度。加快重点区域率先数字化转型，支持自贸试验区临港新片区建设国际数据港，开展国际合作规则先行先试，积极参与数字技术、贸易、税收等国际规则制定，推动五大新城、长三角生态绿色一体化示范区等重点地区数字化建设更新。支持企业共建“数字长三角”和“数字丝绸之路”，深化国内国际合作交流。支持各区因地制宜、凸显特色，打造一批综合性强、带动面广的应用场景，形成一批可复制可推广的示范案例，为全市乃至全国数字化转型创造经验、提供样板。
（十五）营造浓厚社会氛围。坚持面向市民、基层、市场，更多运用群众喜闻乐见的方式、更多搭建群众便于参与的平台，最大限度调动各方面的主动性、积极性、创造性，以数字化转型践行“人民城市人民建，人民城市为人民”重要理念。加强宣传报道力度，及时总结推广各方面的经验创造，不断提升广大主体的获得感、幸福感、安全感，奋力谱写人民城市建设的新篇章。
----------------------------------------------------------------------
代理记账:内资、外资、进出口外贸、生产型代账;
工商代理:内外资公司注册、进出口经营权、工商变更;
财税代理：税务注销、税务迁移、股权变更、财务内审、清账;
增值服务：财务外包、审计评估、财务体系建设、高新技术企业审计、民营企业内部股改；
涉税服务：财税顾问、税收筹划、税务尽职调查报告、研发费用辅助账建账、高新技术企业认定前、新三板、四板企业上市前账务辅导。
资质代办：食品经营许可证（预包装食品、餐饮、保健品、含冷冻冷藏）、医疗器械二类备案、医疗器械三类备案（零售、批发）、出版物经营许可证、网络文化经营许可证，广播电视节目制作许可证、电影放映许可证、人力资源（劳务派遣）资质、道路运输许可证、进出口经营权、外国人工作证新办及续期。
如果您需要注册公司、注销公司、代理记账、出审计报告等服务可以添加以下老师