移动代理非营利组织数据
慈善领域的相关资料记录得格外详尽，这是因为监管机构有此要求。在大多数司法管辖区，年度报告、财务报表和受托人记录都必须向公众公开——问题在于，每个司法管辖区的做法各不相同，而且这些信息更新都存在滞后。
- 向监管机构提交的文件是基础——根据法定义务，年度报告和财务报表必须向公众公开。
- 每个司法管辖区都有自己的监管机构——以及各自的表格、门槛和对慈善机构的定义。
- 一切都会滞后一年或更久——应围绕这一事实来设计分析，而不是与之抗衡。
- 小型慈善机构的报告数量要少得多——报告门槛导致每个数据集中都存在系统性缺口。
直接访问各管辖区的慈善机构登记册。
将回报率和账目作为多年系列进行追踪。
非营利组织数据及其存储位置
慈善领域的资料记录异常详尽，原因很简单：监管机构有此要求。规模超过一定门槛的组织必须提交年度报告和财务报表，而这些文件是依法必须公开的，而非出于自愿。收入、支出、受托人姓名、声明的活动内容以及申报记录等内容均在其中。
之所以成为一个数据收集难题，是因为每个司法管辖区的做法各不相同。美国会发布免税组织的年度信息申报表，有多个服务机构将全部数据以结构化形式重新发布。英格兰和威尔士设有慈善委员会（Charity Commission）注册系统，苏格兰设有OSCR，澳大利亚设有ACNC，而加拿大则通过其税务机构发布慈善机构申报表。 申报表格各不相同，申报门槛各不相同，甚至对“慈善机构”这一概念的定义也各不相同。
| 管辖权 | 调节器还是源 | 字符 |
|---|---|---|
| 美国 | 联邦年度信息申报表，以及结构化再发布者 | 种类非常齐全，延迟较严重，有大量库存 |
| 英格兰和威尔士 | 慈善委员会登记册 | 公开、可搜索，并附有账户信息 |
| 苏格兰 | OSCR | 独立的监管机构，拥有自己的登记册和规则 |
| 澳大利亚 | ACNC | 通过年度信息声明开设登记账户 |
美国申报门槛：990-N、990-EZ、990 和 990-PF
美国的纳税申报表根据规模不同而有所区分。年度总收入低于50,000美元的组织需提交990-N表，这是一种电子明信片，除披露该组织的存续状况和地址外，几乎不包含其他信息。 中型组织需提交简易版990-EZ表格或完整版990表格，这两份表格均包含收入报表、职能支出明细以及管理人员名单。 无论规模大小，私人基金会均需提交990-PF表格，该表格还需披露已支付的拨款、投资收入以及对自我交易规则的遵守情况——即使每年只发放一笔拨款的基金会，仍需提交完整版表格。
自2012年以来，大多数电子申报的纳税申报表均通过公共数据发布以机器可读的XML格式公开，结构化搜索工具会将底层的“企业主文件”（Business Master File）和申报摘要重建为可搜索的数据库，从而无需任何人直接解析XML。 覆盖范围并非全面：在990和990-EZ申报人中，仅约60%至65%选择电子申报而非纸质申报，因此即使未计入下文所述的阈值缺口，该机器可读数据集对该领域规模较小部分的反映也已有所低估。
按管辖区域划分的监管机构备案文件
该数据的两个特性会影响基于它的所有分析，因此需要事先明确说明，而不是等到后来才发现。
首先是滞后问题。年度财务报表是在财政年度结束后提交的，通常是在截止日期临近时，而监管机构随后还需要一段时间才能公布。 从活动发生到在登记册中显示出来，中间间隔十二到十八个月是完全正常的。非营利组织的数据能解答关于发展轨迹和组织结构的问题；但它无法揭示本季度正在发生什么，若将其视为能够揭示当前情况，只会得出看似确凿实则荒谬的结论。
其次是门槛差距。每个监管机构都会设定一个规模阈值，低于该阈值的组织只需提交简短得多的报告，甚至无需提交报告，因此规模最小的慈善机构在数据中往往被系统性地低估。 因此，基于申报资料进行的任何行业分析都会过度体现大型组织的情况。这并非数据收集上的失误，无论进行多少额外的数据爬取都无法解决——但必须明确指出这一点，否则该数据集就会在不知不觉中对其所声称衡量的行业做出错误描述。
行业分类和NTEE代码
申报文件通常会标注“国家免税实体分类法”（NTEE）代码，这是一个由三个字符组成的分类代码，将组织划分为艺术、教育、卫生、社会服务和宗教等主要类别，然后在每个类别下进一步细分为更具体的子类别。 该分类体系在注册时由组织自行申报，且极少进行调整，因此，那些在过去十年间活动领域发生变化的组织，往往仍沿用其原始代码。基于NTEE代码进行的任何行业分类，反映的都是成立时的声明宗旨，而非当前的活动状况，而这一区别对于那些历史悠久、规模庞大且有足够时间发生偏离的组织而言尤为重要。
拨款、资金和项目数据
除了法定申报文件外，更有价值的资料其实在于各组织自行发布的资料：资助名单、项目报告、影响评估报告以及资助方名录。尤其是从事资助工作的基金会，通常会发布资助名单，其中列明受助方、金额、用途和资助期限——这些信息的汇总，比任何单份报告都能更清晰地展现整个行业的资金流向。
在这一点上，本地出口的重要性也开始凸显，因为各国监管机构和资金提供方都是为国内用户服务的。许多机构会降低来自国外IP地址范围的访问质量或对其进行限制，对这些地址实施更严格的机器人防范措施，或者以不同的方式呈现搜索结果。从各域名注册机构的管辖区域内部访问该机构，是体验国内研究人员所见内容的最可靠方式。
评级服务与第三方聚合平台
在基础申报文件之上，还存在一层服务，并为其增添了独特价值：评级机构根据财务效率和透明度对组织进行评分；而数据聚合平台则将多年的历史回报数据整合成一份组织概况，其中包含原始申报文件本身无法体现的趋势线。 这些聚合平台是尽职调查和捐赠方研究的有用起点，但它们继承了底层申报文件的全部特性——同样的滞后性、同样的门槛差距以及同样的自我申报分类——因此，应将评级视为过往申报文件的摘要，而非实时信号。
负责任地收集非营利组织数据
这些是小型组织和公共监管机构，通常基础设施较为简陋，且数据每年都会更新。大张旗鼓地收集数据既没有意义，也不礼貌——年度数据集不值得每天爬取，而每月一次的全面抓取就能捕获所有动态内容。
- 如果存在批量文件，则使用该文件 — 一些监管机构会发布完整的登记册供下载。相比之下，通过爬虫抓取不仅速度较慢，完整性也不足，而且对双方来说都更不利。
- 车牌号说明 — 慈善机构更名并合并；监管机构的识别码是唯一稳定的标识。
- 应记录会计年度，而非申报日期 — 提交日期多集中在截止日期前后，并未说明所描述的时间段。
- 在分析中说明阈值 — 关于该行业的任何结论，都取决于哪些组织被要求提交报告。
- 将受托人视为个人数据 — 公布姓名是为了确保监管透明度，但这并不等同于无限制地重复使用。在汇总不同登记册中的个人信息之前，请先咨询您的法律顾问。
跨登记册的机构匹配
在多个国家开展业务的非营利组织需在每个司法管辖区分别注册，通常使用不同的名称，且始终使用不同的识别码——例如美国的雇主识别号（EIN）、英格兰和威尔士的慈善机构编号，以及澳大利亚的澳大利亚商业编号（ABN）。 由于不存在通用的跨注册识别码，要在两个国家的数据中匹配同一组织，就必须根据名称、地址和声明的活动内容进行比对，并且必须接受相当高的误匹配率。在分析中应将这种不确定性纳入考量，而非将模糊匹配结果作为已确认的关联关系呈现。
关于邻近的公共部门来源，请参见 政府数据，以及关于公司法定记录的， 启动数据.
联系当地各慈善监管机构
PXM2实时数据点——请选择您要研究的慈善行业所在的司法管辖区：
法国
新加坡
印度
常见问题解答
非营利组织的数据究竟来自哪里？
绝大多数是监管机构。在美国，免税组织需提交年度信息申报表，该申报表向公众公开，且有多个服务平台会以结构化形式重新发布全部数据集。英格兰和威尔士设有慈善委员会（Charity Commission）注册处，苏格兰设有OSCR，澳大利亚设有ACNC，而加拿大则通过其税务机构公布慈善组织申报表。 这些机构均记录了收入、支出、受托人姓名、活动内容以及超过其门槛标准的组织的申报历史。
为什么本地出口对监管机构网站有用？
出于同样的原因，这在整个公共部门都很有用：这些是为国内用户建立的国家服务，其中一些会对来自国外IP地址范围的访问进行降级或限制，对这些地址实施更严格的机器人防护措施，或者以不同的方式呈现搜索结果。从各注册机构的管辖区域内部访问它们，才是最可靠的方式，可以亲身体验国内研究人员所看到的内容。
这些信息有多新？
事实并非如此，这一点必须体现在分析中。 年度报告通常在财政年度结束后提交，往往接近截止日期，而监管机构随后还需要时间公布。从实际活动发生到在登记簿中显示出来，存在12至18个月的滞后是正常的。非营利组织的数据旨在揭示发展轨迹和结构，而非反映本季度的具体情况；若将其视为反映当前状况，则会得出看似确凿实则荒谬的结论。
非营利组织数据集存在哪些最大的缺口？
小型组织。每个监管机构都会设定一个门槛，低于该门槛的慈善机构只需提交简短得多的申报表，甚至无需提交，因此规模最小的组织在数据中往往被系统性地低估。 因此，基于这些申报材料进行的任何行业分析都会过度突出大型慈善机构。这并非数据收集方面的失误，也无法通过加强收集力度来解决，但必须予以说明，否则该数据集将悄无声息地对该行业产生误导性描述。
受托人的姓名会造成问题吗？
这些是公共登记册中的个人数据，其地位与公司高管相同。出于监管透明度目的而公开信息，并不等同于无限制地重复使用，多家监管机构在其条款中已明确指出这一点。使用目的和保留期限至关重要，在开发任何将不同登记册中具名个人数据进行聚合的系统之前，建议先寻求专业的法律意见。
相关移动代理指南
慈善机构登记册与该类别中的其他法定资料来源性质相似，通常会与它们一起进行查阅。