USDT第三方支付API接口

菜宝钱包（caibao.it）是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

原题目：到达率99.9%：闲鱼新闻在高速上换引擎（集大成）

简介： 纪录这一年闲鱼新闻的优化之路

在2020年年头的时刻接手了闲鱼的新闻，那时的新闻存在种种问题，网上的舆情也是接连不断：“闲鱼新闻经常丢失”、“新闻用户头像乱了”、“订单状态纰谬”（信赖现在看文章的你还在吐槽闲鱼的新闻）。以是闲鱼的稳固性是一个亟待解决的问题，我们调研了团体的一些解决方案，例如钉钉的IMPass。直接迁徙的成本和风险都是对照大，包罗服务端数据需要双写、新老版本兼容等。

那基于闲鱼现有的新闻架构和系统，若何来保证它的稳固性？治理应该从那里最先？现在闲鱼的稳固性是什么样的？若何权衡稳固性？希望这篇文章，能让人人看到一个不一样的闲鱼新闻。

2. 行业方案

新闻的投递链路大致分为三步：发送者发送，服务端吸收然后落库，服务端通知吸收端。特别是移动端的网络环境对照庞大，可能你发着新闻，网络突然断掉了；可能新闻正在发送中，网络突然好了，需要重发。

在云云庞大的网络环境下，是若何稳固可靠的举行新闻投递的？对发送者来说，它不知道新闻是否有送达，要想做到确定送达，就需要加一个响应机制，类似下面的响应逻辑：

上面流程看似简朴，要害是中心有个服务端转发历程，问题就在于谁往返这个确认信息，什么时刻回这个确认信息。网上查到对照多的是如下一个必达模子，如下图所示：

[发送流程]

• IM-server在乐成处置后，回复A一个新闻响应包，即msg:A1
• 若是此时B在线，则IM-server主动向B发送一个新闻通知包，即msg:N1（固然，若是B不在线，则新闻会存储离线）

[吸收流程]

• B向IM-server发送一个ack请求包，即ack:R2
• IM-server在乐成处置后，回复B一个ack响应包，即ack:A2
• 则IM-server主动向A发送一个ack通知包，即ack:N2

一个可信的新闻送达系统就是靠的6条报文来保证的，有这个投递模子来决议新闻的必达，中心任何一个环节失足，都可以基于这个request-ack机制来判断是否失足并重试。看下在第4.2章中，也是参考了上面这个模子，客户端发送的逻辑是直接基于http的以是暂时不用做重试，主要是在服务端往客户端推送的时刻，会加上重试的逻辑。

3. 闲鱼新闻的问题

刚接手闲鱼新闻，没有稳固相关的数据，以是第一步照样要对闲鱼新闻做一个系统的排查，首先对新闻做了全链路埋点。

基于新闻的整个链路，我们梳理出来了几个要害的指标：发送乐成率、新闻到达率、客户端落库率。整个数据的统计都是基于埋点来做的。在埋点的历程总，发现了一个很大的问题：闲鱼的新闻没有一个全局唯一的ID，导致在全链路埋点的历程中，无法唯一确定这条新闻的生命周期。

3.1 新闻唯一性问题

之前闲鱼的新闻是通过3个变量来唯一确定一个新闻

• SessionID: 当前会话的ID
• SeqID：用户当前内陆发送的新闻序号，服务端是不关心此数据，完全是透传
• Version：这个对照主要，是新闻在当前会话中的序号，已服务端为准，然则客户端也会天生一个假的version

以上图为例，当A和B同时发送新闻的时刻，都会在内陆天生如上几个要害信息，当A发送的新闻（黄色）首先到达服务端，由于前面没有其他version的新闻，以是会将原数据返回给A，客户端A吸收到新闻的时刻，再跟内陆的新闻做合并，只会保留一条新闻。同时服务端也会将此新闻发送给B，由于B内陆也有一个version=1的新闻，以是服务端过来的新闻就会被过滤掉，这就泛起新闻丢失的问题。

当B发送新闻到达服务端后，由于已经有version=1的新闻，以是服务端会将B的新闻version递增，此时新闻的version=2。这条新闻发送给A，和内陆新闻可以正常合并。然则当此新闻返回给B的时刻，和内陆的新闻合并，会泛起2条一样的新闻，泛起新闻重复，这也是为什么闲鱼之前总是泛起新闻丢失和新闻重复最主要的缘故原由。

3.2 新闻推送逻辑问题

之前闲鱼的新闻的推送逻辑也存在很大的问题，发送端使用http请求，发送新闻内容，基本不会出问题，问题是泛起在服务端给另外一端推送的时刻。如下图所示，

服务端在给客户端推送的时刻，会先判断此时客户端是否在线，若是在线才会推送，若是不在线就会推离线新闻。这个做法就异常的简朴粗暴。长毗邻的状态若是不稳固，导致客户端真实状态和服务端的存储状态不一致，就导致新闻不会推送到端上。

3.3 客户端逻辑问题

除了以上跟服务端有关系外，另有一类问题是客户端自己设计的问题，可以归结为以下几种情形：

• 多线程问题

反馈新闻列表页面会泛起结构庞杂，内陆数据还没有完全初始化好，就最先渲染界面

• 未读数和小红点的计数不准确

内陆的显示数据和数据库存储的不一致。

• 新闻合并问题

内陆在合并新闻的时刻，是分段合并的，不能保证新闻的连续性和唯一性。

诸如以上的几种情形，我们首先是对客户端的代码做了梳理与重构，架构如下图所示：

4. 我们的解法 - 引擎升级

举行治理的第一步就是，解决闲鱼新闻的唯一性的问题。我们也调研了钉钉的方案，钉钉是服务端全局维护新闻的唯一ID，考虑到闲鱼新闻的历史负担，我们这边接纳UUID作为新闻的唯一ID，这样就可以在新闻链路埋点以及去重上获得很大的改善。

4.1 新闻唯一性

在新版本的APP上面，客户端会天生一个uuid，对于老版本无法天生的情形，服务端也会弥补上相关信息。

新闻的ID类似a1a3ffa118834033ac7a8b8353b7c6d9，客户端在吸收到新闻后，会先凭据MessageID往复重，然后基于Timestamp排序就可以了，虽然客户端的时间可能不一样，然则重复的概率照样对照小。

- (void)combileMessages:(NSArray<PMessage*>*)messages {

// 1. 凭据新闻MessageId举行去重

NSMutableDictionary *messageMaps = [self containerMessageMap];

for (PMessage *message in msgs) {

[messageMaps setObject:message forKey:message.messageId];

}

Usdt第三方支付接口

菜宝钱包（caibao.it）是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

// 2. 新闻合并后排序

NSMutableArray *tempMsgs = [NSMutableArray array];

[tempMsgs addObjectsFromArray:messageMaps.allValues];

[tempMsgs sortUsingComparator:^NSComparisonResult(PMessage * _Nonnull obj1, PMessage * _Nonnull obj2) {

// 凭据新闻的timestamp举行排序

return obj1.timestamp > obj2.timestamp;

}];

}

4.2 重发重连

基于#2中的重发重连模子，闲鱼完善了服务端的重发的逻辑，客户端完善了重连的逻辑。

1. 客户端会准时检测ACCS长毗邻是否联通
2. 服务端会检测装备是否在线，若是在线会推送新闻，并会有超时守候
3. 客户端吸收到新闻之后，会返回一个Ack

已经有小伙伴揭晓了一篇文章：《向新闻延迟说bybye：闲鱼新闻实时到达方案（详细）》，讲解了下关于网络不稳固给闲鱼新闻带来的问题，在这里就不多赘述了。

4.3 数据同步

重发重连是解决的基础网络层的问题，接下来就要看下营业层的问题，许多庞大情形是通过在营业层增添兼容代码来解决的，闲鱼新闻的数据同步就是一个很典型的场景。在完善数据同步的逻辑之前，我们也调研过钉钉的一整套数据同步方案，他们主要是由服务端来保证的，背后有一个稳固的长毗邻保证，大致流程如下：

闲鱼的服务端暂时还没有这种能力，缘故原由详见4.5的服务端存储模子。以是闲鱼这边只能从客户端来控制数据同步的逻辑，数据同步的方式包罗：拉取会话、拉取新闻、推送新闻等。由于涉及到的场景对照庞大，之前有个场景就是推送会触发增量同步，若是推送过多的话，会同时触发多次网络请求，为了解决这个问题，我们也做了相关的推拉行列隔离。

客户端控制的计谋就是若是在拉取的话，会先将push过来的新闻加到缓存行列内里，等拉取的效果回来，会再跟内陆缓存的逻辑做合并，这样就可以制止多次网络请求的问题。之前同事已经写了一篇关于推拉流控制的逻辑，《若何有用缩短闲鱼新闻处置时长》，这里也不过多赘述了。

4.4 客户端模子

客户端在数据组织形式上，主要分2中：会话和新闻，会话又分为虚拟节点、会话节点和文件夹节点。

在客户端会构建上图一样的树，这棵树主要保留的是会话显示的相关信息，好比未读数、红点以及最新新闻摘要，子节点更新，会顺带更新到父节点，构建树的历程也是已读和未读数更新的历程。其中对照庞大的场景是闲鱼情报社，这个其实是一个文件夹节点，它包含了许多个子的会话，这就决议了他的新闻排序、红点计数以及新闻摘要的更新逻辑会更庞大，服务端见告客户端子会话的列表，然后客户端再去拼接这些数据模子。

4.5 服务端存储模子

在4.3中也许讲了客户端的请求逻辑，历史新闻会分为增量和全量域同步。这个域其实是服务端的一层观点，本质上就是用户新闻的一层缓存，新闻过来之后会暂存在缓存中，加速新闻读取。然则这个设计也存在一个缺陷，就是域环是有长度的，最多保留256条，当用户的新闻数多于256条，只能从数据库中读取。

关于服务端的存储方式，我们也调研过钉钉的方案，是写扩散，优点就是可以很好地对每位用户的新闻做定制化，好比钉的逻辑，瑕玷就是存储量很很大。闲鱼的这套解决方案，应该是介于读扩散和写扩散之间的一种解决方案。这个设计方式不仅使客户端逻辑庞大，服务端的数据读取速率也会对照慢，后续这块也可以做优化。

5. 我们的解法 - 质量监控

在做客户端和服务端的全链路革新的同时，我们也对新闻线上的行为做了监控和排查的逻辑。

5.1 全链路排查

全链路排查是基于用户的实时行为日志，客户端的埋点通过团体实时处置引擎Flink，将数据清洗到SLS内里，用户的行为包罗了新闻引擎对新闻的处置、用户的点击/接见页面的行为、以及用户的网络请求。服务端测会有一些长毗邻推送以及重试的日志，也会清洗到SLS，这样就组成了从服务端到客户端全链路的排查的方案，详情请参考《新闻质量平台系列文章|全链路排查篇》。

5.2 对账系统

固然为了验证新闻的准确性，我们还做了对账系统。

在用户脱离会话的时刻，我们会统计当前会话一定数目的新闻，天生一个md5的校验码，上报到服务端。服务端拿到这个校验码之后再判断是否新闻是准确的，经由抽样数据验证，新闻的准确性基本都在99.99%。

6 焦点数据指标

我们在统计新闻的要害指标的时刻，遇到点问题，之前我们是用用户埋点来统计的，发现会有3%~5%的数据差；以是厥后我们接纳抽样实时上报的数据来盘算数据指标。

新闻到达率=客户端现实收到的新闻量/客户端应该收到的新闻量

客户端现实收到的新闻的界说为新闻落库才算是

该指标不区分离线在线，取用户当日最后一次更新装备时间，理论上当天且在此时间之前下发的新闻都应该收到。

最新版本的到达率已经基本到达99.9%，从舆情上来看，反馈丢新闻的也确实少了许多。

7. 未来计划

整体看来，经由一年的治理，闲鱼的新闻在逐步的变好，但照样存在一些待优化的方面：

• 现在新闻的安全性不足，容易被黑产行使，借助新闻发送一些违规的内容。
• 新闻的扩展性较弱，增添一些卡片或者能力就要发版，缺少了动态化和扩展的能力。
• 现在底层协议对照难扩展，后续照样要规范一下协议。
• 从营业角度看，新闻应该是一个横向支持的工具性或者平台型的产物，计划可以快速对接二方和三方的快速对接。

在2021年，我们会连续关注新闻相关的用户舆情，希望闲鱼新闻能辅助闲鱼用户更好的完成二手交易。

作者：闲鱼手艺——景松