理解数据可视化和人工智能（第 2 部分）

2023 年，围绕人工智能相关的所有事物的新发展和讨论激增。

在最近围绕Metaverse和NFT 的炒作之后，人们可能很容易将所有围绕人工智能的讨论视为最新的噱头，但当你排除分散注意力的噪音并集中关注人工智能的具体产品时，很明显我们是面临着技术进步的重大新时代。

在这一系列文章中，我试图盘点我所知道的、我不知道的、我所想的以及我只能推测的与人工智能进步相关的内容，以及这对我的世界意味着什么：对数据可视化的影响。

我已经推迟写这篇文章几个月了。变化的步伐是如此之快，随之而来的话语和可供学习的阅读量的扩展也是如此。坦率地说，有太多需要理解的地方，但与其进一步拖延并等待一个难以捉摸的时刻，让我感觉自己“掌握”了这个主题（这永远不会到来），不如继续出版。

为了明确你对某个主题的了解和不了解，我总觉得你可以从挑战自己开始为别人写一些关于它的东西。一年来，我在不同的时间点与该领域的同事进行了很多讨论，我清楚地感觉到，我们中有很多人试图理解这一切，但可能很难轻松地将其全部装进清晰的理解容器中。

我认为这些帖子类似于分享我的笔记、传递我的书签，以及通常降低绳梯以帮助其他人提升到下一个意识水平，即使这仍然有些分散和初级。我预计随着开发的继续，其中一些内容将在几个月内过时、过时或丢失全部相关参考资料。但它也可以起到划定时间线的作用，并表明这就是我现在正在考虑的事情。

这篇文章是单人的，然后变成了四人的，最后又回到了两人的。这里有相当多的东西需要费力地浏览，但将其捆绑成两个不同的配套部分感觉更简单。每个部分都有几个不同的标题，我试图为这个广泛的主题带来一些连贯性和组织性：

在 第 1 部分中 我试图从总体上理解人工智能这一主题，介绍新兴的常见生成式人工智能产品，提供进一步收集的关于该主题的一些多样化的一般阅读参考资料，这些参考资料我认为有帮助，最后重点介绍了一些技术- 提出的道德问题和风险。

在第 2 部分中，我从数据可视化的角度更具体地看待这个主题，因为我考虑如何应用人工智能或如何有益于数据可视化的准备、构思和生产中的任何不同的离散任务解决方案。本节还包括（当前）一些已通过显式人工智能集成启动的数据可视化工具的集合。

本文选择的特色图片描绘了 1980 年经典电影《飞机》中的充气自动驾驶仪奥托(Otto) 。它捕捉到了我的总结感觉，即人工智能在数据可视化中的作用将（应该）是为客观、重复或复杂的任务提供智能帮助，然后更好地使人类创造者将精力集中在本质上主观和/或有创造力的。

第2部分

人工智能如何影响数据可视化过程？

这是关于人工智能可能对数据可视化设计过程产生影响的方式的想法目录，或者也许是我希望它如何产生影响的想法。它是与开发可视化的可见​​步骤和隐藏步骤相关的应用程序的混合体，并且涵盖了作为观众创建和消费可视化时的好处。

我主要是从充满希望的角度来处理这个问题，考虑可以帮助或加强我们的工作实践的积极方式。记录的一些想法是由我自己的猜测或想象形成的——当然是围绕我认为有用的事情——其他的是已经有证据表明和/或由其他人提出的应用程序或功能。在每种情况下，我都会考虑一些我认为有助于使我的工作更高效、更可靠、最适合其目的的事情。

可以合理地承认，我可能在这里提出的想法已经作为工具的一个功能存在，但我只是还没有遇到过它们。此外，我可能提出的一些想法并没有明确展示人工智能的应用，而只是计算效率或能力的特征。尽管我试图在第一部分中理解这种区别，但界限可能有点模糊（尤其是工具和这些工具的供应商声称他们最新的闪亮事物是人工智能，而实际上它可能只是一个传统但有用的功能一般技术）。

可视化设计流程

我可以看到独立数据可视化人工智能副驾驶的好处，不集成到任何可视化创建工具中，可以帮助创建者浏览整个数据可视化设计过程并促进相关决策：

• 根据之前的工作流程告知创意路径是什么/正在出现的路径，为流程中立即进行的后续步骤以及后续任务提供提示（但不要忽略所有可能的路径，以防它误读您当前的项目是什么）塑造成）
• 从时间管理的角​​度来看，通过监控先前流程的任务持续时间，帮助传达所取得的总体进展以及潜在时间承诺方面的剩余内容
• 从以前的流程中学习，就典型方法提出建议（例如，条形图中通常首选的网格线样式），或者当进展缓慢时，提供建议，以便返回几个步骤，以探索数据的新方面（如果没有新的内容）到目前为止已经发现了见解
• 呈现一系列潜在选项，以实现设计过程每个步骤的进展（类似于 Tableau 的“显示我”功能，但扩展到所有步骤）。提供的这些选项应该附带有关影响每个选择的因素的指导，融合经验规则、现实世界背景（“视情况而定”），但也要在相关时推动本能判断。

发布前评估/评估他人的作品

我可以看到由自动化设备评估接近最终作品的巨大价值。通常这一步是由创作者自己完成的，试图脱离他们与作品的距离，并占据典型观众的心态。它可能由同事或附近的熟人进行。拥有一个基于人工智能的流程来充当评估可视化设计有效性的查看器可能非常有用。这可以应用于您创建的工作（预发布）和您遇到的工作（由其他人创建）。

• 您可以拥有不同的查看者配置文件，从专家级、领域专家级到外行。
• 专家级相当于可视化设计师，通过可视化设计通用原则的棱镜来检查设计的细节，包括可信度、可访问性以及对设计优雅程度的判断等。
• 可信度——是否有任何理由怀疑数据材料的可靠性（来源、假设、处理、计算、包含或豁免）或数据的设计（扭曲、不正确的图表结构、混淆的设计选择）
• 可访问性——可访问性检查对于没有障碍的创作者来说特别有益，他们能够预测和理解可能无意中出现的障碍——评估视觉可访问性、物理可访问性、技术可访问性、感知可访问性和解释可访问性的不同层次。
• 优雅 – 即使对于人类来说，这始终是非常主观的，但您可以校准评估以指定上下文相关的定义，以检查您想要的设计目标是否已实现，例如是否美观、是否平衡、是否令人难忘、是否有吸引力、是否引人注目、是否具有权威性？非常主观，但在“快速通过”意义上可能是有用的帮助。

促进理解

（有用的）可视化的目的是促进理解，因此增强这一过程的人工智能助手将是非常宝贵的。这可以再次应用于检查您创建的工作（发布前）——检查您期望被看到和理解的东西确实是将会出现的东西。不过，它主要是为了帮助可视化的接受者帮助他们阅读、解释和理解，特别是如果他们有无障碍障碍的话。我已经看到了足够多的示例片段，表明这已经在某些工具中得到了演示，特别是在语音辅助开发方面，所以不是一个新想法，而是为了完整性而记录。

• 这可以作为文本输出（通过一些集成的聊天框）和/或语音音频输出来传递。
• 它显示什么（感知）——浏览图表装置（标题、x 轴、y 轴上的内容），使用模式识别来描述绘制的数据的关键特征（突出的形状、大小观察结果、趋势、共同点或差异）
• 这意味着什么（解释）——考虑到主题，我们可以从这个展示中得出什么，什么是重要的或值得注意的？什么是好或坏？
• 这对我来说意味着什么（理解）——将其人性化，观众可以从中得到什么，用它做什么，感受它，采取行动？
• 这自然可以扩展到帮助接收者和创作者翻译用不同语言创建的可视化效果。

背景和意图

这些是与定义、要求和任何给定可视化创建任务的目标有关的上下文问题，无论是一次性的定制解决方案还是更频繁出现的解决方案。

受众：考虑到上面提到的功能，人工智能功能是否可以模拟目标受众档案的特征，以检查可视化设计是否适合他们？也许，从另一个角度来看，人工智能辅助可以建议你的作品似乎符合什么样的受众特征。

可交付成果：此功能已在某些工具中部分可用（例如 Tableau 仪表板设计模式中的设备预览），但可以显着增强，以帮助您设想以各种不同格式、维度、和设置。

• 对于数字化，这将预览从移动设备、平板电脑、笔记本电脑、台式机、会议室显示器或投影仪、家庭电视屏幕到会议厅以及跨不同输出渠道（如社交媒体）的输出，在网络文章的页面内，作为电视新闻报道等的背景
• 对于打印，自然会预览一系列输出尺寸，但可以扩展到在不同的物理环境中设想这些输出尺寸，例如在会议中快速浏览的打印报告或在咖啡桌上阅读的报纸图片，在墙上看到的海报，移动中使用的地图，画廊中探索的实体化
• 对于数字或印刷品，它们的场景是在室内与室外、白天与夜间、在忙碌的情况下还是平静的情况下、与其他人在一起还是独自一人。
• 当您模拟这些不同的输出时，它可以就如何改进每个输出以响应每个输出提出建议（例如建议不同的字体大小、图表方向、内容排序、过渡、包含或排除的详细程度）。
• 可以提供帮助来帮助预测可视化可能需要多长时间才能完全阅读、解释和理解，这样您就可以（也许尤其是）缩短潜在的相遇。

演示：如果正在制作的作品旨在作为视觉辅助工具来陪伴人们口头演示关键见解，那么不难想象准备演示者的评论笔记来帮助叙述发现。想象一个静态图表以一种使其看起来动画的方式呈现（通常需要这样的编排来实现这一点）也可能是一个很好的功能，这样当您呈现时，更多的图表功能和内容开始显示在屏幕上。

频率：我确信，更新一次性或非常定制的手工可视化设计背后的数据的能力对于许多人来说将是变革性的。

敏感性：在整个设计过程中，可以提供有用的提示来建议现有设计选择对于政治、文化、法律、环境敏感性等外部问题的任何潜在后果。

技术：稍后我将更多地介绍图表制作工具，但一个有用的功能是预测特别繁重的技术解决方案可能会带来多大的风险，导致平台兼容性问题、速度可靠性和性能一致性问题，或者会破坏的数据处理负载用户的体验。

创意：任何能够提供增强的手段来快速且令人信服地以数字方式绘制概念并启动创意思维的生成工具都将很有用。此外，使用更智能的搜索（这在很多方面都是许多人工智能产品所做的），您可以更精确地从其他相关作品中寻找灵感，无论是关于您正在分析的主题还是您正在分析的工作风格。追求。

造型：人工智能可以学习你的技术、你的设计风格或偏好，以便在你完成整个过程时提出改进建议吗？当在需要遵守正式设计指南和品牌规则的企业环境中工作时，这一点尤其重要（因此这些参数将被输入到人工智能工具中）。随着DALLE-2或Midjourney等 gen-AI 工具的进一步发展，想象它们被用来根据提示提供造型建议并不是不可想象的（这是一个相当原始的演示，但提供了行进方向的线索）。

采购、处理和探索数据

数据检查：具有总结数据统计描述和特征或帮助配置它们为图表创建阶段做准备的工具已经存在，尽管我确信人工智能工具可以使这个过程更加顺利。 

见解：关于基于人工智能的数据工具最响亮的声音（正如您将在下面编译的内容中看到的那样）往往关注它们如何自动化发现、按需提供快速见解以及扩展预测分析的可能性。尽管所有这些在很多层面上都是有用的，尽管可能只适用于某些数据集或问题上下文，但我对这些东西不太感兴趣，因为我有信任问题，并且总是想要并且需要自己检查这些东西。也许如果赢得了这样的信任，那么我对这些类型功能的看法和态度将会发生变化。我当然可以看到在处理新的和/或大的数据集时至少接收一些自动的“首次通过”发现或相关探索性查询的建议以进一步追求的好处。

定性来源：我发现最有趣的是能够从非结构化定性来源释放更多潜力的可能性。能够加速从文本、印刷品、图像、音频和视频等源材料中获取结构化数据将是非常有益的。

数据查找：接收关于获取数据的更明智的建议也将极大地增强数据可视化过程，特别是在查看利基主题或数据分散且需要大量手动搜寻的主题时。

高级计算：使用人工智能来增强您拥有的数据以及从数据中得出的计算，无疑是令人兴奋的，正如哈里·史蒂文斯为《华盛顿邮报》撰写的这篇伟大文章所证明的那样——“ 一艘船漆黑了”。找到它可以帮助拯救世界上的鱼类。 ”——他在其中描述了如何使用机器学习来发现原本看不见的非法捕鱼趋势。

图表数据提取：我很确定这样的东西已经存在了一段时间（也许是用于 d3.js 生成的可视化？），但是可以对可视化进行逆向工程并将绘制的数据值输出到表格形式的功能可能会很有用，尤其是检查所包含内容的可靠性。

视觉设计

人工智能工具如何协助创建数据可视化设计可能是这一切的最终问题。同样，这是一个有点复杂的部分，需要整理一些想法，因为一般情况下计算可以提供帮助的内容和人工智能具体可以提供帮助的内容之间的区别并不那么明确。

我的出发点始终是，我个人对任何可视化工具或功能（人工智能品牌或其他）的希望是让我能够制作（1）尽可能多的不同图表，和/或（2）使我能够从尽可能多的不同编码成分中炮制出配方，(3) 使我能够定制可视化演示设计的所有方面，(4) 准确、一致、有才华、高效地完成上述所有工作。用户友好的无代码/低代码方式。我的要求不多吧！

数据表示：我发现一些对图表制作很有帮助的功能：

• 快速制作不同图表选项的原型，以从不同角度探索数据，同时也尝试图表设计的变化，让我感到惊讶！类型特征。可能不太需要切换个人想法，而是在单个可浏览视图中查看大量模型变化以供快速考虑（例如对谷歌图像查询的响应）。
• 根据书面提示创建图表，围绕数据问题或“显示我…”命令构建，已经是一件事了（正如您将在下面看到的，特别是使用像Bard和Noteable.io这样的工具），这很棒，因为对我来说，问题和好奇心是这种实践应该驱动的
• 图表指导，当你考虑超越二元的可行选项时，“这个图表是否甚至可以远程应用？”，当不同路径各有利弊时，人工智能可以阐明这些利弊，并帮助你权衡所涉及的权衡思考，特别是基于可能的调整，例如“如果我们在此分析中再添加 10 年的数据或包含另外 10 个类别，另一种选择是否会更好”？
• 用于生成非视觉表示的增强方法，例如用于创建基于声音的输出的可访问工具（请参阅下面的AudioCraft ）。

交互性：可能包含允许用户发起动态调整、导航和/或询问数据可视化的功能。

• 人工智能功能的最大潜在帮助是使交互式体验的创建变得更容易（通过无代码/低代码方法）。像下面介绍的“ Make real ”这样的工具提供了一个非常有前途的粗略点击界面来实现自动化界面设计。
• 同样，以语言为主导的提示来描述您想要启用哪些交互功能，然后该工具在设计中生成它们将是我认为非常有价值的最明显的增强功能。
• 通过再次提供利弊以及权衡的方法，提供更智能的帮助，帮助用户考虑和部署潜在的交互功能。
  
• 忽略无代码/低代码的愿望，对于像我这样不具备高级编程技能的人来说，有新的机会可以通过我们不知道的语言更快地找到和部署编程解决方案诸如聊天 GPT 之类的环境。我已经找到了快速解决方案，可以帮助我使用 Python 中的特定包自动执行技术和重复性任务，而我从未有过使用该包的经验。

注释：在开发可视化时，注释涉及帮助观看者理解的辅助层，因此包括标题、简介、摘要、用户指南、标签、图表装置、方法语句等功能。

• 在本页下方，我提供了研究链接，这些研究可以提供自动化方法来编写更好的标题，这将非常有用 – 特别是如果它扩展到图表区域内此类标题的巧妙样式和定位。即使这些建议的标题仅提供“第一遍”草稿文本，编辑和完善的任务将使事情比从头开始编写更快。
• 这些自动生成标题的功能可以扩展到标题生成，从而自动提出图表和/或整体可视化项目标题将非常有用，也许可以提供问题式标题、基于陈述/调查结果的标题或更描述性标题的变体。
• 通过发布自定义 GPT，现在可以采用在您自己的模型上构建和训练的 ChatGPT 所体验到的语言驱动提示来服务于特定的定义目的。这种方法可用于提供一个动态环境，用于共享和访问与用户指南、图表阅读说明、数据定义、数据处理描述、源数据访问、方法声明和其他常见问题解答相关的信息。
• 关于轴、刻度、刻度线和网格线等图表工具的决策是“我是否需要包含它们”和“如果是这样，我将如何明智地包含它们？”的组合。人工智能辅助对于预览不同设备变体的包容程度和设计风格非常有帮助（从强调可读性和精确度的重型，到强调“要点”的轻触）
• 自动生成与数据警告、计算基础等相关的脚注在某些工具中已经可用，尽管
• 自动生成数据处理过程描述可以根据您从收集、清理、计算到配置图表背后的数据的所有操作记录为简单的英语
• 自动生成正文（“副本”）已经是生成式 AI 的一个广泛展示的功能，例如Elementor AI ，尽管是在为网站编写内容的情况下。
• 上面已经提到了，自动翻译成其他语言的可能性将是一个很好的增强，尽管可能存在轻微的风险，因为大多数创作者可能无法轻松检查准确性和/或适当的含义。
• 这有点超出了我撰写本文的意图范围，但值得注意的是，当然，有很多机会包含摄影、图像、插图、视频和音频文件来增强可视化作品。这些独立的创意媒体将以自己的方式受到生成人工智能发展的影响/影响/破坏/危害，其中版权问题和它们如何创建的道德问题是最受关注的，尽管超出了所有这些可能会提供一些有趣的增强创造力的途径。

颜色：与色标的数据关联以及作品的整体功能装饰是这里的主要关注点

• 研究不同类型数据的适当色阶已经在许多长期存在的工具中建立起来，但不难想象如何将其更无缝、更自动地集成到可视化创建工具环境中。
• 根据主题和/或色调建议调色板可能是一个有用的功能。同样，我可以想象一个显示器提供一个 Google 图像类型页面，其中充满了预览模型变体，使您能够比较和对比选项。这不仅仅涉及数据颜色，还涉及背景、文本、交互式控件、所有图表设备等的整体配色方案。
• 也许扩展的智能搜索可以从基于主题 X、技术 Y 或风格 Z 的其他可视化项目中提供灵感（请阅读来自 Data Rocks 的 T 的 ChatGPT 中类似提示的演示）。
• 人工智能驱动的检查将有助于自动确保与企业颜色的合规性和/或兼容性、视觉可访问性、以及一项工作将在其中消耗的潜在设置/环境（例如，一个大型的黑暗会议厅将需要不同的颜色来表示不同的颜色）。与小型轻型会议室相比的可视化）

组成：优化所有可视化设计元素（包括可用空间内的图表、交互式控件和注释）的排列（相对大小、位置和顺序）可以归结为第一个词：优化。

• 我可以想象根据布局建议自动安排仪表板或信息图的布局的提示，例如“使其具有充足的空白空间”、“围绕五列架构进行组织”或“针对移动设备进行重新设计”或“呈现超过 5 个独立页面”。
• 例如，修改布局以适应阅读方向的区域差异可以通过智能工具轻松处理（同样，无论这是否一定是人工智能的事情，它都会很有用）。
• 围绕构图的大量工作都归结为轻推事物、对齐事物、调整事物大小以找到难以捉摸的视觉平衡，因此这可以自动完成，而无需尝试抓住选择范围的边缘并将其向左移动 1 像素，而在行驶的火车上的危险小桌板上，那就更好了。

一些与人工智能集成的数据可视化工具

为了提供迄今为止进入市场的一些技术发展的风味，这是目前正在发布的一些数据可视化工具的非详尽汇编，这些工具与 基于人工智能的增强功能。它首先介绍了一些成熟的“大热门”供应商，然后简要列出了其他一些新兴产品。

警告：由于许多这些工具最初是从技术市场的商业智能/视觉分析角落出现的，因此有大量的流行语在起作用。通常会发现许多相同的语言和重复出现的术语，如“增强分析”和“自动化洞察”，或者与“更快”、“更深”、“更快”和“更容易”等词语结合使用的增强功能声明。我总是对这样的说法持怀疑态度，尤其是当它们仅通过使用异常干净、简单且方便的最佳数据集来证明时（想想经典的产品/销售/区域类型演示）。

我经历过的大多数与数据相关的工作都是复杂的、不完美的和/或微妙的。使处理、分析和交流对这些数据的理解变得更加容易，听起来确实很有吸引力。然而，很多时候，承诺“更容易”的流程往往会导致事情变得更糟或过于简单化。假设这些新发展会出现这种情况，这是不公平和过于愤世嫉俗的，但这只是一个警告，要始终根据经过验证的、可证明的优点来判断每个工具的人工智能驱动增强功能的主张，而不仅仅是源自其精美的营销演讲……

微软副驾驶|具体来说，对于数据可视化工作，“Excel 中的 Copilot”“与您一起工作，帮助分析和探索您的数据。用自然语言（而不仅仅是公式）向 Copilot 询问有关您的数据集的问题。它将揭示相关性，提出假设情景，并根据您的问题生成模型建议新公式，帮助您在不修改数据的情况下探索数据。识别趋势、创建强大的可视化效果或寻求建议以推动不同的结果。”

Tableau AI + Analytics包括 AI 驱动的功能，例如“解释数据”、“询问数据”和“爱因斯坦发现”| “我们的人工智能 (AI) 方法不仅仅是一种算法，它由实际应用驱动，帮助人们和组织回答紧迫的问题。 Tableau 在其平台中构建了透明的 AI，以便每个人都可以轻松了解预测和见解的呈现方式以及它们的相关性，从而帮助您在分析流程中做出更明智的决策。”

Qlik | “Qlik Sense 几乎增强了您使用 AI 所做的一切。自动生成高级分析和见解。获得分析创建和数据准备方面的帮助。通过自然语言搜索、对话分析和 NLG 更轻松地探索数据。”

谷歌吟游诗人|这是一个演示，使用 Bard根据书面提示查找数据、创建表格，然后绘制该数据的图表（还显示生成的 Python 代码）。这是关于类似过程的书面教程。

值得注意的.io | “现在，来自不同背景的用户都可以使用自然语言提示来创建具有探索性分析、可视化、机器学习和数据操作的计算笔记本。” （阅读更多此处和此处）

Highcharts GPT | “使用类似人类的对话，通过自然语言输入在几秒钟内创建可靠且安全的数据可视化。”

专栏.ai | “在 Columns，我们集成了 GPT-4，使我们能够输入一个简短的提示来获得数据可视化。” （阅读更多）

思想点圣人| “人工智能驱动的搜索体验，让法学硕士能够处理您的业务数据。”

维兹GPT | “使用表格数据集中的聊天界面进行上下文数据可视化。”

KAWA 2.0人工智能助手| “我们相信生成式人工智能将彻底改变您与应用程序交互的方式。 KAWA AI Assistant 可帮助您以前所未有的方式分析数据，提供可操作的见解和有价值的建议。轻松做出明智的决定。”

音频工艺| “AudioCraft 是一个一站式代码库，可满足您所有的生成音频需求：音乐、音效以及原始音频信号训练后的压缩。”

实现真实| “是否曾经想过只画一个界面，按下一个按钮，然后得到一个可用的网站？”。无论您希望实际创建一个工作网站还是只是开发概念草图，这个工具及其Excalidraw回声都可能非常有用。

iA 作家 7 | “iA Writer 会使您从 AI 工具粘贴的文本变暗。当您编辑 ChatGPT 的输入并使其成为您自己的输入时，iA Writer 会跟踪哪些是您的，哪些不是。”

视觉文本| “研究人员教授AI编写更好的图表标题：一个新的数据集可以帮助科学家开发自动系统，从而为在线图表生成更丰富，更具描述性的字幕。”

有关AI和数据可视化的进一步通用阅读

这是关于数据可视化和人工智能相交的文章和视频的链接的集合，我发现这些链接与更广泛的理解以及与思考其对数据可视化的特定方面的影响相关的相关性。

Nightingale杂志| [访谈] ‘Marcelo Duhalde的图形将新闻调查带入了生活”

本·琼斯（Ben Jones）在Twitter上| “我很好奇GPT-4图像识别是否会在此图表中捕捉到稍微误导的Y轴选择……？”

乍得·斯凯尔顿| [视频] ‘chatgpt代码解释器与著名插件：哪个最适合数据分析？”

Tim Ngwena | [视频] ‘Chatgpt代码解释器与Tableau | Chatgpt，Tableau GPT＆LLMS’

信息实验室| [视频] ‘如何使用AI来帮助您与会议一样大的事情”
“将我们的AI挑战置于一个新的水平，如果他的AI副驾驶可以帮助他将某些事物形象化为会议之类的复杂事物，那么Sutton的测试也将进行。”

数据viz协会炉边聊天| [视频] “数据：洞察力的艺术”