Robin's blog

标签 · 大数据

首页

关于

归档

loading..
大数据JupyterSQL Notebooks

结合Jupyter和SQL编辑器的力量进行数据分析

在Meta,内部数据工具是数据科学家到生产工程师的主要渠道。因此,对我们来说,让我们的科学家和工程师不仅能够利用数据做出决策,而且能够以安全和合规的方式做出决策,这一点非常重要。 我们已经开发了SQL Notebooks,一个结合了SQL IDEs和Jupyter Notebooks的力量的新工具。它允许基于SQL的分析以比传统笔记本更可扩展和安全的方式进行,同时仍然提供来自笔记本和基本[SQL编辑]的功能,如多个相互依赖的单元和Python后处理。 在推出后的一年里,SQL笔记本已经被Meta公司的大多数数据科学家和数据工程师内部采用。以下是我们如何将两个普遍存在的工具结合起来,创造出比其各部分之和更大的东西。 SQL+Python效果就像“槟榔加烟,法力无边”, 当然不会有那么大的毒害。 SQL的优势..

更多
loading..
AI大数据新零售

AI如何改善零售业的11种发力点

AI如何改善零售业的11种发力点 人工智能(AI)时代的到来,很多零售业公司都想尽可能的去拥抱和尝试这个变化,但是从哪里开始去尝试呢?在零售业中使用人工智能的发力点没有限制。然而,可以从一些典型的举措开始实施,使您的零售业务更具竞争力。在这里,我列举涵盖了人工智能可以在零售业的11种发力点: 1. 预测消费者偏好的变化机器学习算法可以分析大量的历史和新兴数据,以识别行业模式和转变。零售商可以利用这些洞察力来预测消费者偏好即将发生的变化,然后采取积极主动的措施来保持公司战略的正确性。 2. 改善客户体验创新的购物应用为零售商提供了改造客户体验的重要机会。这可以从线上开始,根据购物者的喜好定制更有针对性的广告,但也可以扩展到使用地理定位等功能,分享基于购物者位置的实时推荐。但它也可以扩展到使用地理定位等功能,根..

更多
loading..
大数据数据湖IIOT

(技)现代工业物联网(IIoT)大数据+AI场景实战-风力发电机优化

工业物联网(IIoT)在过去的几年里,从一个主要在石油和天然气行业进行试点的草根技术栈,如今发展到在制造、化工、公用事业、运输和能源行业广泛采用和生产使用。传统的物联网系统,如Scada、Historians甚至Hadoop,由于以下因素,无法提供大多数组织所需的大数据分析能力,无法对工业资产进行预测性优化。 挑战 所需能力 数据量显著增大且更加频繁 从物联网设备中可靠地采集和存储亚秒级颗粒读数的能力,且成本效益要高,每天的数据流为TB级。 数据处理需求更加复杂 符合ACID标准的数据处理–基于时间的窗口、聚合、枢轴、回填、移动,并能轻松地重新处理旧数据。 更多的用户角色希望访问数据 数据是一种开放的格式,易于与运营工程师、数据分析师、数据工程师和数据科学家共享,而不会形成孤岛。 决..

更多
loading..
大数据数据湖

数据体系要简单直接,BI应该叫商业情报

对非技术行业公司(非IT,DT公司),千万不要太过痴迷于数据技术本身,能cloud的绝不OP,也不要把自己的数据体系搞得各种技术术语堆叠。这是非常错位的举动。 数据意图本质是为了洞悉数据背后所暗含的的商业规律和现象,并对进一步的商业运作决策给予依据。 很可惜,看到了太多只玩技术,忽略商业目标的事情。醒醒吧, 花那么多钱买的资源,浪费那么多算力和电力得到一堆不知所云的东西,不如去挖矿。建议做数据的人先把手上的《21天精通Hadoop》《万事不求人掌握spark》先放放,静心回顾一遍《情报学》《军事情报学》。 还是不明白,就品品“经管之家” 和“CSDN”的区别, 你品,你细品。避免技术很先进, 业务不成功。 情报学课本中讲到过,情报的转化需要经历data—information—intelligence(数..

更多
123